Minimizes augmented error, where the added regularizer effectively limits model complexity.

1. Model Selection Problem

机器学习需要太多的选择，如迭代次数，学习率的大小，损失函数，正则化参数等等。

我们的终极目标是选择能够使$E_{out}$最小的分类器，但实际上不可行。

那么，我们可以转而选择使得在测试集上次错误最小的分类器。

Comparison between $E_{in}$ and $E_{test}$

2. Validation

Model Selection by Best $E_{val}$

3. Leave-One-Out Cross Validation

Theoretical Guarantee of Leave-One-Out Estimate

4. V-Fold Cross Validation