博文
- 《机器学习技法》课程开课通知
- 台湾国立大学林轩田(Hsuan-Tien Lin)老师的《机器学习基石》课程的后续课程《机器学习技法 》课程已经在Coursera平台上开设。课程将从支持向量机(SVM)，自主提升算法(AdaBoost)和神经网络(deep learning)三个方面讲述机器学习算法。详细链接：https://class.coursera.org/ntumltwo-001
- 十五讲 Validation
- Minimizes augmented error, where the added regularizer effectively limits model complexity. 1. Model Selection Problem 机器学习需要太多的选择，如迭代次数，学习率的大小，损失函数，正则化参数等等。 我们的终极目标是选择能够使$E_{out}$最小的分类器，但实际上不可行。 那么，我们可以转而 ...
- 十四讲 Regularization
- Overfitting happens with excessive power, stochastic/deterministic noise, and limited data. 1. Regularized Hypothesis Set 在实际训练过程中，复杂的模型容易产生过拟合现象，最终导致得到的训练模型的$E_{out}$变得非常大。一种很自然的想法就是给模型加上一些附加限制，用以避免过拟合现象，同时使得模型尽 ...
- 十三讲 Hazard of Overfitting
- 由于高维映射使得VC维增加，此时，若数据样本个数N有限时，就容易造成过拟合(Overfitting)。 1. What is Overfitting? Overfitting 产生的原因(老师举了驾车的例子)： 2. The Role of Noise and Data Size 当数据样本有限（甚至比较少）时，简单模型比复杂模型性能更优！ 3. D ...
- 十二讲 Nonlinear Transformation
- 这一讲主要介绍当数据线性不可分时，通过非线性映射将数据映射到高维特征空间，使得数据在高维特征空间是线性可分的，进而实现机器学习。 1. Quadratic Hypotheses 2. Nonlinear Transform The Nonlinear Transform Steps： Nonlinear Model via Nonlinear $\Phi$ + Linea ...
- 十一讲 Linear Models for Classification
- 上一讲介绍了Logistic Regression以及其Cross-Entropy错误损失函数，另外还介绍了梯度下降算法。 这一讲主要介绍将线性模型用于分类问题，现有的线性模型有：线性分类、线性回归和Logistic回归。 1. Linear Models for Binary Classification linear scoring function: $s = w^T x$: for binary classificatio ...
- 第十讲 Logistic Regression
- 上一讲讲述了线性回归问题，以及线性回归做二类分类问题。从上一讲我们看到，我们得到的是硬分类，即非彼即此，自然，如果我们想知道对其分类结果的可信度，即以多大可信，就是这一讲的Logistic Regression讲述的内容。 1. Logistic Regression Problem Target function $f(x) = P(+1|x)\in $. Same data as hard ...
- 第九讲 Linear Regression
- 上一讲我们得到 learning can happen with target distribution $P(y|x)$ and low $E_{in}$ w.r.t. error measure. 1. Linear Regression Problem linear regression hypothesis: $h(x) = w^T x$, $h(x)$: like perceptron, but without the $sign$. linear regression: find lines/hyperpla ...
- 第八讲 Noise and Error
- 从上一讲我们得出结论： learning happens if finite $d_{VC}$, large $N$, and low $E_{in}$ .这一讲主要介绍在有噪声情况下的学习问题以及相关损失函数。 1. Noise and Probabilistic Target 2. Error Measure 机器学习的终极目标是$g\approx f$,那么如何度量其相似度呢？ 1）Pointwise Error ...
- 第七讲 The VC Dimension
- 在上一讲中，我们有结论： $E_{out}\approx E_{in}$ possible if $m_H(N)$ breaks somewhere and $N$ large enough. 同时，得到$m_H(N)$的界 可以得到错误界 于是，我们有如下假设，并希望得到这样的结果： 1. VC Dimension VC dimension of $H$, denoted $d_{VC}(H)$ is the largest $N$ ...
