etreeasky的个人博客分享 http://blog.sciencenet.cn/u/etreeasky

博文

关于不完备性定理和不确定性原理的探讨(十五)(例)

已有 2903 次阅读 2020-8-1 19:17 |系统分类:科研笔记

深度学习模型构建多层次特征的关键,是恰如其分地构建各层次特征元下面以图像识别为例探讨:

ll.jpg

   选择第0层特征元

   1、比如可以选择3*3矩阵,作为第0层像素的特征元:

0.jpg

   2、一般而言,第0层3*3矩阵特征元有无数个。通过稀疏编码(Sparse Coding)重复迭代过程,筛选出n个高频特征元,作为第0层n维特征基。由于剔除了部分低频特征元,可能造成部分特征属性损失,所以需要补充额外的b偏置参数。

152455joj9o79pidizcd0v.jpg

   3、经过上述方式筛选出n个第0层特征基通常是不完备的,还需要找到对偶空间的特征基添加进来(对偶基可由原空间特征基的逆矩阵求得)。从而得到2n个特征元,作为本层的特征基系。



   选择第1层特征元

   1、把第0层的3*3矩阵特征基两两复合乘积,得到2阶特征体元,作为第1层的特征元

1.jpg

   2、第1层2n维2阶张量特征元有2n平方个。为避免维度灾难,同样的,这一层级的特征元也通过稀疏编码(Sparse Coding)重复迭代过程,筛选出m个高频特征元,作为该层m维特征基。由于剔除了部分低频特征元,所以需要补充本层次特征属性的额外偏置参数b。

   3、经过上述方式筛选出m个第1层特征基,同样地也把对偶空间的m个特征基补充进来以此2m个特征元,作为本层的特征基系。



  选择第2层特征元

   1、把第1层的2阶张量特征元(基)两两复合乘积,得到4阶特征体元,作为第2层的特征元

2.jpg

   2、第2层张量特征元也有很多个。同样的,这一层级的特征元,也通过稀疏编码(Sparse Coding)重复迭代过程,筛选出L个高频特征元,作为该层L维特征基。由于剔除了本层次的低频特征元,所以需要弥补本层次特征属性损失额,也添加本层偏置参数b。

   3、经过上述方式筛选出L个第2层特征基,同样地也把对偶空间特征基补充进来以此2L个特征元作为本层的特征基系。


  以此类推,得到各层次的特征体元。继而得到各层次特征元的特征值投影值(w权重参数)集合:







 

 





https://blog.sciencenet.cn/blog-1666470-1244589.html

上一篇:关于不完备性定理和不确定性原理的探讨(十五)(9)
下一篇:闲谈:特斯拉凭什么?
收藏 IP: 115.181.66.*| 热度|

1 段玉聪

该博文允许注册用户评论 请点击登录 评论 (4 个评论)

数据加载中...

Archiver|手机版|科学网 ( 京ICP备07017567号-12 )

GMT+8, 2024-12-28 08:25

Powered by ScienceNet.cn

Copyright © 2007- 中国科学报社

返回顶部