||
一、机器学习与深度学习的关系
深度学习是机器学习的一部分,深度学习更加接近人工智能
可以将神经网络视为一种特征提取的方法,特征很重要
机器学习流程:数据获取->特征工程->建立模型->评估与应用
拿到数据之后,要考虑怎样拿到更有价值的特征,哪些特征好,哪些特征不好,哪些特征适合融合
机器学习更多的是人工选数据、特征、模型、得到结果,深度学习更加智能,可以自我学习
二、深度学习中神经网络怎么做的
数据特征决定模型的上线
数据预处理和特征提取是最核心的
算法和参数的选择决定了如何逼近这个上线。特征工程是最重要的
三、特征如何提取?特征如何提取?
传统做法:找特征难,然后确定每个特征的权值
神经网络是个黑盒子,对原始数据做很复杂的运算,有个学习的过程,什么样的特征是最合适的特征
深度学习是真的能学习,解决了怎么样去提特征
四、神经网络的基础
4.1线性函数(得分函数)
从输入->输出的映射
4.2损失函数
神经网络可以做分类也可以做回归,区别在于损失函数怎样定义的
损失函数=数据损失+正则化惩罚项(只考虑权重参数)
4.3前向传播
输入x(值),w(权重),计算得分值,基于得分值和真实标签计算损失函数,再加上R(w)
这部分得到的是一个输入的得分值,如果能转换成概率值更好,可以用sigmod函数
实际使用的多的是:softmax分类器
exp:e的x次幂的映射:放大差异,让结果更加明显(保持秩序的情况下放大差距,且关系是一一映射的)
归一化转化为概率值
回归任务:预测一个值(得分值计算一个损失)
分类任务:预测值计算一个损失
4.4反向传播(链式求导算W权重)
加法门单元:均分
max门单元:给最大的
乘法门单元:互换的感觉
五、神经网络的框架
神经网络是一层一层变换我们的数据,神经元是数据矩阵的大小,
非线性变换的意义:设置一个阈值,让超过阈值的值才能进行下一步传播,还有就是求梯度,有了梯度才能反向传播
5.1神经元个数对结果的影响
神经元(特征)越多越可能产生过拟合
5.2正则化的作用
惩罚力度对结果的影响:力度大,异常点的影响变小
六、数据预处理
参数初始化很重要,通常使用随机策略来生成一组权重参数来进行参数初始化
DROP-OUT(轻量化)
神经网络训练过程中随机杀死一部分神经元(每次随机选一部分,这一次迭代不用)
Archiver|手机版|科学网 ( 京ICP备07017567号-12 )
GMT+8, 2024-9-27 11:09
Powered by ScienceNet.cn
Copyright © 2007- 中国科学报社