最近万力在论文“Regularization of Neural Network using DropConnect”中提出了一种预防深度神经网络过拟合的方法——DropConnect。他们在很多数据集上取得了最好的结果。不过正如Zygmunt在其文章“http://fastml.com/regularizing-neural-networks-with-dropout-and-with-dropconnect/”中提到的，DropConnect和DropOut性能类似，万力在论文中得到的state-of-the-art来源于模型的融合（model ensembling）。

   我们重现了万力在cifar-10以及svhn上的结果。

   cifar-10数据集包括60000个32x32彩色图像，分布在在10类，包括，每个类有6000幅图像。这60000幅图片中分别包括50000幅训练图像和10000幅测试图像。我们在cifar-10上得到了9.46%的错误率，

也就是说目前的技术可以做到在随机的任何十幅图片中，最多识错一幅。

    svhn是从google街景图像得到的一个真实世界的门牌号码图像数据集（http://ufldl.stanford.edu/housenumbers/）。本数据集可以用于自然场景图像数字识别的研究。其中训练图像604388幅，测试图像26032幅。万力在这个数据集上得到的错误率为1.94%。我们在重现时，单个深度神经网络错误率为2.53%：

通过对独立训练多个同结构的网络预测结果进行融合，错误率i进一步下降到2.21%:

也就说目前的技术可以做到在随机的任何一百幅图片中，最多识错三幅。

   如有有任何问题，欢迎联系。