在线看了Andrew Ng关于machine learning 以及feature learning的课程，收获颇丰，很多之前不是很清楚的概念也都了解了。​​​​

大部分都需要公式详解，为了方便，我只在这里分条叙上文字性内容。

感觉machine learning 就是不断的再寻求方法使得cost function 最小。

feature scale 非常重要，否则会影响gradient descent的速度。

learning rate可以初始化成10个值，0.001,0.003,0.009，...找到使cost function下降最快的

如果矩阵不可逆，也叫singular矩阵

用newton方法找到最佳参数方法较快，但是计算量较大，如果训练样本数在1000以下，就可以使用，而且效果比gradient descent好

regularization是为了抑制overfitting

stochastic gradient descent 较为常用，因为他每次循环只需要计算一个example，不用计算所有example的和