上一讲讲述了线性回归问题,以及线性回归做二类分类问题。从上一讲我们看到,我们得到的是硬分类,即非彼即此,自然,如果我们想知道对其分类结果的可信度,即以多大可信,就是这一讲的Logistic Regression讲述的内容。 1. Logistic Regression Problem Target function $f(x) = P(+1|x)\in $. Same data as hard ...
上一讲我们得到 learning can happen with target distribution $P(y|x)$ and low $E_{in}$ w.r.t. error measure. 1. Linear Regression Problem linear regression hypothesis: $h(x) = w^T x$, $h(x)$: like perceptron, but without the $sign$. linear regression: find lines/hyperpla ...
在上一讲中,我们有结论: $E_{out}\approx E_{in}$ possible if $m_H(N)$ breaks somewhere and $N$ large enough. 同时,得到$m_H(N)$的界 可以得到错误界 于是,我们有如下假设,并希望得到这样的结果: 1. VC Dimension VC dimension of $H$, denoted $d_{VC}(H)$ is the largest $N$ ...
上一讲提到了错误界中$M$的可能取值$m_H(N)$是一个与样本个数$N$有关的函数。期望的结果是$m_H(N)$是随着$N$以多项式方式在增长而不是以指数形式增长,因此,引出了break point的概念。 1.在这一讲中,我们希望给定一个bounding function。Bounding function $B(N; k)$: maximum possible $m_H(N)$ when break point $= k ...
这一讲主要是分析上一讲中联合错误界中常数$M$的分析。在上一讲中,我们得知 If $|H|=M$ finite, $N$ large enouph, for wahtever $g$ picked by $A$, $E_{out}(g)\approx E_{in}(g)$; If $A$ finds one $g$ with $E_{in}(g)\approx 0$, PAC guarantee for $E_{out}(g)\approx 0$. $\Rightarrow $ Lear ...