第六讲 Theory of Generalization

廖红虹 2014-1-13 20:34

上一讲提到了错误界中$M$的可能取值$m_H(N)$是一个与样本个数$N$有关的函数。期望的结果是$m_H(N)$是随着$N$以多项式方式在增长而不是以指数形式增长，因此，引出了break point的概念。 1.在这一讲中，我们希望给定一个bounding function。Bounding function $B(N; k)$: maximum possible $m_H(N)$ when break point $= k ...

个人分类: 科研道路|2387 次阅读|没有评论

第五讲 Training versus Testing

廖红虹 2014-1-13 15:39

这一讲主要是分析上一讲中联合错误界中常数$M$的分析。在上一讲中，我们得知 If $|H|=M$ finite, $N$ large enouph, for wahtever $g$ picked by $A$, $E_{out}(g)\approx E_{in}(g)$; If $A$ finds one $g$ with $E_{in}(g)\approx 0$, PAC guarantee for $E_{out}(g)\approx 0$. $\Rightarrow $ Lear ...

个人分类: 科研道路|2145 次阅读|没有评论

第四讲: Feasibility of Learning

廖红虹 2014-1-12 23:50

1、 “no free lunch” 理论告诫我们：如果没有假设条件存在，机器学习就不是不可行的。 2、 Hoeffding’s Inequality $P \leq 2\exp{\left(-\frac{2\epsilon^2 N^2}{\sum_{i=1}^{N}(b_i - a_i)}\right)}$ &n ...

2525 次阅读|没有评论

第三讲 Types of Learning

廖红虹 2014-1-10 17:16

这一讲，林老师从4个不同的角度对机器学习算法做分类。 1、Learning with Different Output Space $\mathcal{Y}$ binary classification: $y = \{+1, -1\}$; multiclass classification: $y = \{1, 2,\cdots ,K \}$; regression: $y = \mathcal{R}$; structured learning: $y = $ structures; ......and ...

个人分类: 科研道路|2753 次阅读|没有评论

第二讲 Learning to Answer Yes/No

廖红虹 2014-1-10 15:06

这一讲主要介绍了第一个二类分类算法——感知学习算法(Perceptron)。感知学习最早是Rosenblatt于1957年提出的，这个算法可以算是开创了机器学习的先河。1962年，Novikoff证明了感知学习算法在线性可分数据集上可以在有限步内达到收敛。这一讲主要介绍了感知学习算法及其收敛性，感知学习算法在不可分数据集上的变异算法— ...

个人分类: 科研道路|4460 次阅读|没有评论

mexopencv工具箱介绍

廖红虹 2013-5-9 09:23

全文转自: http://www.cs.stonybrook.edu/~kyamagu/mexopencv/ Collection and a development kit of matlab mex functions for OpenCV library This software package provides matlab mex functions that interface a hundred of OpenCV APIs. Also the package contains a C++ class that converts between Matlab ...

个人分类: 科研道路|5158 次阅读|没有评论

机器学习应该关注什么？

热度 2 廖红虹 2013-1-14 21:26

今天读了ICML12'一篇有趣的论文《 Machine Learning that Matters 》作者 Kiri Wagstaff 。 下面是这篇论文的摘要： Much of current machine learning (ML) research has lost its connection to problems of import to the larger world of science and society. From this perspective, there exist glaring limitat ...

个人分类: 科研道路|4761 次阅读|4 个评论 热度 2

A New Framework for Machine Learning ---概率图模型

廖红虹 2012-11-26 15:07

前面介绍了贝叶斯方法在机器学习领域的强大优势，这里展示贝叶斯方法的“屠龙刀”----概率图模型。 概率图模型有以下三个方面的优势： 1、给出了概率模型内在结构的一个简单图式展示，尤其是变量之间的独立关系； 2、概率模型的性质与表示该模型的图存在一种等价关系； 3、对概率模型的操作(包括推理 ...

个人分类: 科研道路|6012 次阅读|没有评论

A New Framework for Machine Learning ---贝叶斯方法

热度 1 廖红虹 2012-11-25 11:07

作者： Christopher M. Bishop 出处： J.M. Zurada et al. (Eds.): WCCI 2008 Plenary/Invited Lectures, LNCS5050, pp. 1 – 24, 2008. Abstract ： 过去几年，机器学习以来以下 3 个方面的发展取得了很多实际应用上的成功，即： 1 ）采用了贝叶斯理论， 2 ）使用图模型表示复杂的概率分布； ...

个人分类: 科研道路|5940 次阅读|1 个评论 热度 1

本页有 1 篇博文因作者的隐私设置或未通过审核而隐藏