Project

General

Profile

CNN

CNN Overviw

  • Tool: Matlab
  • Samples: mnist_uint8(手写字体库)
  • CNN的最大特点就是 稀疏连接(局部感受)和权值共享 ,如下面两图所示,左为稀疏连接,右为权值共享。稀疏连接和权值共享可以减少所要训练的参数,减少计算复杂度。

  • CNN的结构,以经典的LeNet5:

  • 关于卷积和子采样的具体过程可以参考下图:

Running Result

1.改变batchsize(每次挑出一个batchsize的batch来训练,也就是每用batchsize个样本就调整一次权值,而不是把所有样本都输入了,计算所有样本的误差了才调整一次权值)

2.改变学习率

3.改变训练次数(用同一批样本训练)

4.训练20epoch所用的时间分配

5.讲参数强化,随训练次数增多 error趋近于稳定。

data20_2.png View (73.3 KB) 涂 正中, 05/05/2015 04:50 PM

data_minerror.png View (46.7 KB) 涂 正中, 05/05/2015 04:50 PM

CNN_chang_alpnha1.png View (27.7 KB) 涂 正中, 05/05/2015 04:50 PM

CNN_chang_batchsize.png View (31.4 KB) 涂 正中, 05/05/2015 04:50 PM

CNN_chang_epoch.png View (40 KB) 涂 正中, 05/05/2015 04:50 PM

data5_2.png View (55.5 KB) 涂 正中, 05/05/2015 04:50 PM

data20_1.png View (59.1 KB) 涂 正中, 05/05/2015 04:50 PM

cnn_tutorial.pdf (140 KB) 涂 正中, 05/05/2015 05:04 PM

data20_2.png View (73.3 KB) 涂 正中, 05/05/2015 05:04 PM

cnn.png View (112 KB) 涂 正中, 05/05/2015 05:12 PM

CNN_f.png View (11.7 KB) 涂 正中, 05/05/2015 05:16 PM

cnn_g.png View (25.2 KB) 涂 正中, 05/05/2015 05:18 PM

cnn_f1.png View (17.4 KB) 涂 正中, 05/05/2015 05:19 PM