一、机器学习与深度学习的关系

深度学习是机器学习的一部分，深度学习更加接近人工智能

可以将神经网络视为一种特征提取的方法，特征很重要

机器学习流程：数据获取->特征工程->建立模型->评估与应用

拿到数据之后，要考虑怎样拿到更有价值的特征，哪些特征好，哪些特征不好，哪些特征适合融合

机器学习更多的是人工选数据、特征、模型、得到结果，深度学习更加智能，可以自我学习

二、深度学习中神经网络怎么做的

数据特征决定模型的上线

数据预处理和特征提取是最核心的

算法和参数的选择决定了如何逼近这个上线。特征工程是最重要的

三、特征如何提取？特征如何提取？

传统做法：找特征难，然后确定每个特征的权值

神经网络是个黑盒子，对原始数据做很复杂的运算，有个学习的过程，什么样的特征是最合适的特征

深度学习是真的能学习，解决了怎么样去提特征

四、神经网络的基础

4.1线性函数（得分函数）

从输入->输出的映射

4.2损失函数

神经网络可以做分类也可以做回归，区别在于损失函数怎样定义的

损失函数=数据损失+正则化惩罚项（只考虑权重参数）

4.3前向传播

输入x（值）,w（权重），计算得分值，基于得分值和真实标签计算损失函数，再加上R(w）

这部分得到的是一个输入的得分值，如果能转换成概率值更好，可以用sigmod函数

实际使用的多的是：softmax分类器

exp：e的x次幂的映射：放大差异，让结果更加明显（保持秩序的情况下放大差距，且关系是一一映射的）

归一化转化为概率值

回归任务：预测一个值（得分值计算一个损失）

分类任务：预测值计算一个损失

4.4反向传播（链式求导算W权重）

加法门单元：均分

max门单元：给最大的

乘法门单元：互换的感觉

五、神经网络的框架

神经网络是一层一层变换我们的数据，神经元是数据矩阵的大小，

非线性变换的意义：设置一个阈值，让超过阈值的值才能进行下一步传播，还有就是求梯度，有了梯度才能反向传播

5.1神经元个数对结果的影响

神经元（特征）越多越可能产生过拟合

5.2正则化的作用

惩罚力度对结果的影响：力度大，异常点的影响变小

六、数据预处理

参数初始化很重要，通常使用随机策略来生成一组权重参数来进行参数初始化

DROP-OUT（轻量化）

神经网络训练过程中随机杀死一部分神经元（每次随机选一部分，这一次迭代不用）