大工至善|大学至真分享 http://blog.sciencenet.cn/u/lcj2212916

博文

[转载]【计算机科学】【2017.08】卷积神经网络结构的分析与优化

已有 2522 次阅读 2019-3-4 06:36 |系统分类:科研笔记|文章来源:转载


本文为德国卡尔斯鲁厄理工学院(作者:Martin Thoma)的硕士论文,共134页。

 

卷积神经网络(CNN)在各种计算机视觉任务中占据主导地位,因为Alex Krizhevsky证明了它们可以有效地训练,并将ImageNet大规模视觉识别挑战中的5项错误率从26.2%降低到15.3%CNN的许多方面都在各种出版物中进行了研究,但是有关神经网络结构的分析和构建的文献却很少。本项工作是缩小这一差距的一步。本文对现有的CNN分析和拓扑结构构建技术进行了全面的综述,提出了一种新的混淆矩阵分类误差可视化方法。在此基础上,对分级分类器进行了描述和评价;此外,对CIFAR-100的一些结果进行了确认和量化。例如,小批量、平均集成、数据扩充和测试时间转换对精确度的积极影响。其他的结果,如学习的颜色转换对测试精度的积极影响无法得到证实。本文开发了一个输入大小为32×32×3100个类别、学习参数只有100万个的模型,它在基准数据集AsirraGTSRBHASYv2STL-10上的性能优于目前最新的技术。

 

Convolutional Neural Networks (CNNs) dominatevarious computer vision tasks since Alex Krizhevsky showed that they can betrained effectively and reduced the top-5 error from 26.2 % to 15.3 % on theImageNet large scale visual recognition challenge. Many aspects of CNNs areexamined in various publications, but literature about the analysis andconstruction of neural network architectures is rare. This work is one step toclose this gap. A comprehensive overview over existing techniques for CNNanalysis and topology construction is provided. A novel way to visualizeclassification errors with confusion matrices was developed. Based on thismethod, hierarchical classifiers are described and evaluated. Additionally,some results are confirmed and quantified for CIFAR-100. For example, the positiveimpact of smaller batch sizes, averaging ensembles, data augmentation andtest-time transformations on the accuracy. Other results, such as the positiveimpact of learned color transformation on the test accuracy could not beconfirmed. A model which has only one million learned parameters for an inputsize of 32 × 32 × 3 and 100 classes and which beats the state of the art on thebenchmark dataset Asirra, GTSRB, HASYv2 and STL-10 was developed.

 

引言

卷积神经网络

2.1 线性图像滤波器

2.2 CNN层的类型

2.3 CNN模块

2.4 过渡层

2.5 分析技术

2.6 提高精度的技术

拓扑学习

3.1 生长法

3.2 修剪法

3.3 遗传法

3.4 强化学习

3.5 卷积神经构造

层次分类

4.1 层次分类的优点

4.2 聚类类别

实验评估

5.1 基准模型和训练设置

5.2 混淆矩阵排序

5.3 谱聚类与CMO

5.4 分类器层次

5.5 增加宽度以加快学习速度

5.6 权值更新

5.7 多个窄层 vs 一个宽层

5.8 批处理归一化

5.9 批处理大小

5.10 偏置

5.11 颜色空间转换的学习

5.12 池化

5.13 激活函数

5.14 标注平滑

5.15 最优化分类器

5.16 早停法 vs 更多数据

5.17 正则化

结论与未来工作展望

附录图片、表格与算法

附录超参数

附录网络特性参数计算

附录普通结构

附录数据集


下载英文原文地址:

http://page2.dfpan.com/fs/5lcj6221f2912666682/  


更多精彩文章请关注微信号:qrcode_for_gh_60b944f6c215_258.jpg



https://blog.sciencenet.cn/blog-69686-1165475.html

上一篇:[转载]【新书推荐】【2018.07】数字化战争
下一篇:[转载]【读书2】【2014】基于MATLAB的雷达信号处理基础(第二版)——雷达截面的复合模型(1)
收藏 IP: 60.169.30.*| 热度|

0

该博文允许注册用户评论 请点击登录 评论 (0 个评论)

数据加载中...
扫一扫,分享此博文

Archiver|手机版|科学网 ( 京ICP备07017567号-12 )

GMT+8, 2024-9-24 06:24

Powered by ScienceNet.cn

Copyright © 2007- 中国科学报社

返回顶部