不动如山分享 http://blog.sciencenet.cn/u/hustliaohh 脚踏实地,稳步向前

博文

按标题搜索
第九讲 Linear Regression
2014-1-15 11:09
上一讲我们得到 learning can happen with target distribution $P(y|x)$ and low $E_{in}$ w.r.t. error measure. 1. Linear Regression Problem linear regression hypothesis: $h(x) = w^T x$, $h(x)$: like perceptron, but without the $sign$. linear regression: find lines/hyperpla ...
个人分类: 科研道路|1812 次阅读|没有评论
第八讲 Noise and Error
2014-1-13 22:46
从上一讲我们得出结论: learning happens if finite $d_{VC}$, large $N$, and low $E_{in}$ .这一讲主要介绍在有噪声情况下的学习问题以及相关损失函数。 1. Noise and Probabilistic Target 2. Error Measure 机器学习的终极目标是$g\approx f$,那么如何度量其相似度呢? 1)Pointwise Error ...
个人分类: 科研道路|1752 次阅读|没有评论
第七讲 The VC Dimension
2014-1-13 21:40
在上一讲中,我们有结论: $E_{out}\approx  E_{in}$ possible if $m_H(N)$ breaks somewhere and $N$ large enough. 同时,得到$m_H(N)$的界 可以得到错误界 于是,我们有如下假设,并希望得到这样的结果: 1. VC Dimension VC dimension of $H$, denoted $d_{VC}(H)$ is the largest $N$ ...
个人分类: 科研道路|2880 次阅读|没有评论
第六讲 Theory of Generalization
2014-1-13 20:34
上一讲提到了错误界中$M$的可能取值$m_H(N)$是一个与样本个数$N$有关的函数。期望的结果是$m_H(N)$是随着$N$以多项式方式在增长而不是以指数形式增长,因此,引出了break point的概念。 1.在这一讲中,我们希望给定一个bounding function。Bounding function $B(N; k)$: maximum possible $m_H(N)$ when break point $= k ...
个人分类: 科研道路|1647 次阅读|没有评论
第五讲 Training versus Testing
2014-1-13 15:39
这一讲主要是分析上一讲中联合错误界中常数$M$的分析。在上一讲中,我们得知 If $|H|=M$ finite, $N$ large enouph, for wahtever $g$ picked by $A$, $E_{out}(g)\approx E_{in}(g)$; If $A$ finds one $g$ with $E_{in}(g)\approx 0$, PAC guarantee for $E_{out}(g)\approx 0$. $\Rightarrow $ Lear ...
个人分类: 科研道路|1536 次阅读|没有评论
第四讲: Feasibility of Learning
2014-1-12 23:50
1、 “no free lunch” 理论告诫我们:如果没有假设条件存在,机器学习就不是不可行的。 2、 Hoeffding’s Inequality $P \leq 2\exp{\left(-\frac{2\epsilon^2 N^2}{\sum_{i=1}^{N}(b_i - a_i)}\right)}$ &n ...
1956 次阅读|没有评论
第三讲 Types of Learning
2014-1-10 17:16
这一讲,林老师从4个不同的角度对机器学习算法做分类。 1、Learning with Different Output Space $\mathcal{Y}$ binary classification: $y = \{+1, -1\}$; multiclass classification: $y = \{1, 2,\cdots ,K \}$; regression: $y = \mathcal{R}$; structured learning: $y = $ structures; ......and ...
个人分类: 科研道路|2074 次阅读|没有评论
第二讲 Learning to Answer Yes/No
2014-1-10 15:06
这一讲主要介绍了第一个二类分类算法——感知学习算法(Perceptron)。感知学习最早是Rosenblatt于1957年提出的,这个算法可以算是开创了机器学习的先河。1962年,Novikoff证明了感知学习算法在线性可分数据集上可以在有限步内达到收敛。这一讲主要介绍了感知学习算法及其收敛性,感知学习算法在不可分数据集上的变异算法— ...
个人分类: 科研道路|3595 次阅读|没有评论
第一讲 The Learning Problem
2014-1-9 22:34
最近在学习台湾国立大学林轩田(Hsuan-Tien Lin)老师的《机器学习基石》课程,现对该课程做一个简单的总结并附上我个人的一些理解。 1、学习与机器学习 学习的目的是为了获取技能,机器学习也不例外。人类学习与机器学习的不同之处在于:人类的学习是从 观察或观测 中学习,而机器学习是通过输入的 数据 进 ...
个人分类: 科研道路|3126 次阅读|没有评论
mexopencv工具箱介绍
2013-5-9 09:23
全文转自: http://www.cs.stonybrook.edu/~kyamagu/mexopencv/ Collection and a development kit of matlab mex functions for OpenCV library This software package provides matlab mex functions that interface a hundred of OpenCV APIs. Also the package contains a C++ class that converts between Matlab ...
个人分类: 科研道路|3972 次阅读|没有评论

Archiver|手机版|科学网 ( 京ICP备07017567号-12 )

GMT+8, 2020-5-31 06:50

Powered by ScienceNet.cn

Copyright © 2007- 中国科学报社

返回顶部