深度学习MNIST数据
Deep learning on MNIST data
最近试了一下Deep Learning算法，在Kaggle的Digit Recognizer排行榜上目前排19名。
简单说说经验。
从工具上讲，建议先用Keras来做原型（代码简单，很容易构建复杂的网络，缺点是太占内存／显存），再用Caffe做更细致的调节（计算快，占内存／显存少，但用起来复杂，比如不支持RMSProp，需要手动把数据分成Training/Testing，要手动用proto buffer来构建神经网络）。此外，用GPU加速是必须的，我观察到GPU速度至少是CPU速度的60倍。
从模型上讲，基本上建立不同的Convolution Network。套路似乎都是重复这个结构：Convolution Layer + ReLU Layer + MaxPooling Layer。模型可以更Deep （层数更多），比如VGG网络，但是代价是参数数量多，计算量太大。对于MNIST这个整理好（Pre-processed）的数据，这些网络的效果很相似，一般默认设置都能达到98%正确率以上（用42k数据训练，28k数据测试）。如果要更好的成绩，基本上需要更多的输入数据（比如把原始的图像上下左右移动），更深的模型（比如增加层数），更多的模型（比如重复5遍，再Ensemble结果），这样一般能稳定达到99%以上的正确率。
目前能达到99.486%正确性的模型是：把已有的42k数据按照80%, 20%的比例分成training,testing数据，然后用Lenet（120 convolution layers [kernel = 5] + ReLU + MaxPooling + 200 convolution layer [kernel = 3] + ReLU + MaxPooling + InnerProduct [param = 200] + InnerProduct [param=10]), 迭代60,000次。然后这个过程重复15次，然后选多数Ensemble。
最后放几个神经网络识别起来费劲的图案供欣赏，还有一个介绍性质的Slides。
