|
深度学习模型构建多层次特征的关键,是恰如其分地构建各层次特征元,下面以图像识别为例探讨:
一、 选择第0层特征元
1、比如可以选择3*3矩阵,作为第0层像素的特征元:
2、一般而言,第0层3*3矩阵特征元有无数个。通过稀疏编码(Sparse Coding)重复迭代过程,筛选出n个高频特征元,作为第0层n维特征基。由于剔除了部分低频特征元,可能造成部分特征属性损失,所以需要补充额外的b偏置参数。
3、经过上述方式筛选出n个第0层特征基通常是不完备的,还需要找到对偶空间的特征基元添加进来(对偶基可由原空间特征基的逆矩阵求得)。从而得到2n个特征元,作为本层的特征基系。
二、 选择第1层特征元
1、把第0层的3*3矩阵特征基两两复合乘积,得到2阶特征体元,作为第1层的特征元:
2、第1层2n维2阶张量特征元有2n平方个。为避免维度灾难,同样的,这一层级的特征元也通过稀疏编码(Sparse Coding)重复迭代过程,筛选出m个高频特征元,作为该层m维特征基。由于剔除了部分低频特征元,所以需要补充本层次特征属性的额外偏置参数b。
3、经过上述方式筛选出m个第1层特征基,同样地也把对偶空间的m个特征基补充进来。以此2m个特征元,作为本层的特征基系。
三、 选择第2层特征元
1、把第1层的2阶张量特征元(基)两两复合乘积,得到4阶特征体元,作为第2层的特征元:
2、第2层张量特征元也有很多个。同样的,这一层级的特征元,也通过稀疏编码(Sparse Coding)重复迭代过程,筛选出L个高频特征元,作为该层L维特征基。由于剔除了本层次的低频特征元,所以需要弥补本层次特征属性损失额,也添加本层偏置参数b。
3、经过上述方式筛选出L个第2层特征基,同样地也把对偶空间特征基补充进来。以此2L个特征元作为本层的特征基系。
以此类推,得到各层次的特征体元。继而得到各层次特征元的特征值投影值(w权重参数)集合:
Archiver|手机版|科学网 ( 京ICP备07017567号-12 )
GMT+8, 2024-12-28 08:25
Powered by ScienceNet.cn
Copyright © 2007- 中国科学报社