二分类2x2对角矩阵准确率表达式

前面的实验中分别测量了吸引子和鞍点,排斥子和鞍点,吸引子和排斥子的分类网络的准确率。

以吸引子和鞍点为例

r1

r2

   

<1

<1

吸引子

c

>1

>1

排斥子

p

>1

<1

鞍点

a

<1

>1

反鞍点

fa

 

制作一个二分类网络用来分类c和a,通过改变测试集c和a的比例观察网路分类能力的变化,并将得到的数据拟合成数学表达式。

训练集的比例c:a=1:1,

测试集c和a的比例为x:y.

让x:y的比例分别为0:10,1:9,2:8,3:7,4:6,5:5,6:4,7:3,8:2,9:1,10:0。

实验过程

二分类吸引子和鞍点

制作一个4*4*2的网络向这个的左侧输入吸引子,并让左侧网络向1,0收敛;向右侧网络输入鞍点让右侧向0,1收敛,并让4*4*2部分权重共享,前面大量实验表明这种效果相当于将两个弹性系数为k1,k2的弹簧并联成一个弹性系数为k的弹簧,并且让k1=k2=k/2的过程。

 

这个网络的收敛标准是

if (Math.abs(f2[0]-y[0])< δ  &&  Math.abs(f2[1]-y[1])< δ   )

因为对应每个收敛标准δ都有一个特征的迭代次数n与之对应因此可以用迭代次数曲线n(δ)来评价网络性能。

本文尝试了δ从0.5到1e-6在内的36个值.

具体进样顺序

     

进样顺序

迭代次数

   

δ=0.5

     

c

1

 

判断是否达到收敛

a

2

 

判断是否达到收敛

梯度下降

     

c

3

 

判断是否达到收敛

a

4

 

判断是否达到收敛

梯度下降

     

……

     

达到收敛标准测量准确率,记录迭代次数,将这个过程重复199次

   

δ=0.4

     

     

δ=1e-6

     

 

将这个网络简写成

d2(c,a)-4-4-2-(2*k),k∈{0,1}

得到准确率表达式

与之对应

d2(p,c)-4-4-2-(2*k),k∈{0,1}的准确率表达式

d2(p,a)-4-4-2-(2*k),k∈{0,1}的准确率表达式

因此得到这3组数据

p

c

0.2556

1

p

a

0.959284

0.864343

c

a

0.799758

0.939178

 

经过观察发现

 

左侧

右侧

1.235858

1.231751

0.004108

1.160756

1.168032

-0.00728

1.188831

1.180657

0.008174

 

进一步整理这3个等式

实验数据

d2(c,a)-4-4-2-(2*k),k∈{0,1}

《二分类吸引子和鞍点的准确率的表达式ca》

d2(p,a)-4-4-2-(2*k),k∈{0,1}

《二分类排斥子和鞍点和准确率的表达式pa》

d2(c,p)-4-4-2-(2*k),k∈{0,1}

《测试集的构成比例对网络分类性能的影响cp》

 

 

 

 

发布了190 篇原创文章 · 获赞 29 · 访问量 12万+

猜你喜欢

转载自blog.csdn.net/georgesale/article/details/90545691