科学网

 找回密码
  注册
搜索
热搜: 科学 论文
搜索
关于《science》上一篇论文与本人之前一篇论文的对比感想
热度 3 廖红虹 2014-6-30 00:42
最近,美国《科学》杂志刊出了一篇论文《 Clustering by fast search and find of density peaks 》(原文链接为:http://www.sciencemag.org/content/344/6191/1492.full.html),论文的主要思想有两个: 对于数据聚类,聚类中心应该位于数据密度分布高的区域,即类与类(cluster)之间应该有一个数据密度分布很低的地 ...
12492 次阅读|5 个评论 热度 3
十五讲 Validation
廖红虹 2014-1-16 15:47
Minimizes augmented error, where the added regularizer effectively limits model complexity. 1. Model Selection Problem 机器学习需要太多的选择,如迭代次数,学习率的大小,损失函数,正则化参数等等。 我们的终极目标是选择能够使$E_{out}$最小的分类器,但实际上不可行。 那么,我们可以转而 ...
个人分类: 科研道路|2491 次阅读|没有评论
十四讲 Regularization
廖红虹 2014-1-16 15:33
Overfitting happens with excessive power, stochastic/deterministic noise, and limited data. 1. Regularized Hypothesis Set 在实际训练过程中,复杂的模型容易产生过拟合现象,最终导致得到的训练模型的$E_{out}$变得非常大。一种很自然的想法就是给模型加上一些附加限制,用以避免过拟合现象,同时使得模型尽 ...
个人分类: 科研道路|2712 次阅读|没有评论
十三讲 Hazard of Overfitting
廖红虹 2014-1-15 22:40
由于高维映射使得VC维增加,此时,若数据样本个数N有限时,就容易造成过拟合(Overfitting)。 1. What is Overfitting? Overfitting 产生的原因(老师举了驾车的例子): 2. The Role of Noise and Data Size 当数据样本有限(甚至比较少)时,简单模型比复杂模型性能更优! 3. D ...
个人分类: 科研道路|3480 次阅读|没有评论
十二讲 Nonlinear Transformation
廖红虹 2014-1-15 22:34
这一讲主要介绍当数据线性不可分时,通过非线性映射将数据映射到高维特征空间,使得数据在高维特征空间是线性可分的,进而实现机器学习。 1. Quadratic Hypotheses 2. Nonlinear Transform The Nonlinear Transform Steps: Nonlinear Model via Nonlinear $\Phi$  + Linea ...
个人分类: 科研道路|2996 次阅读|没有评论
十一讲 Linear Models for Classification
廖红虹 2014-1-15 14:53
上一讲介绍了Logistic Regression以及其Cross-Entropy错误损失函数,另外还介绍了梯度下降算法。 这一讲主要介绍将线性模型用于分类问题,现有的线性模型有:线性分类、线性回归和Logistic回归。 1. Linear Models for Binary Classification linear scoring function: $s = w^T x$: for binary classificatio ...
个人分类: 科研道路|3306 次阅读|没有评论
第十讲 Logistic Regression
廖红虹 2014-1-15 11:33
上一讲讲述了线性回归问题,以及线性回归做二类分类问题。从上一讲我们看到,我们得到的是硬分类,即非彼即此,自然,如果我们想知道对其分类结果的可信度,即以多大可信,就是这一讲的Logistic Regression讲述的内容。 1. Logistic Regression Problem Target function $f(x) = P(+1|x)\in $. Same data as hard ...
个人分类: 科研道路|2857 次阅读|没有评论
第九讲 Linear Regression
廖红虹 2014-1-15 11:09
上一讲我们得到 learning can happen with target distribution $P(y|x)$ and low $E_{in}$ w.r.t. error measure. 1. Linear Regression Problem linear regression hypothesis: $h(x) = w^T x$, $h(x)$: like perceptron, but without the $sign$. linear regression: find lines/hyperpla ...
个人分类: 科研道路|1811 次阅读|没有评论
第八讲 Noise and Error
廖红虹 2014-1-13 22:46
从上一讲我们得出结论: learning happens if finite $d_{VC}$, large $N$, and low $E_{in}$ .这一讲主要介绍在有噪声情况下的学习问题以及相关损失函数。 1. Noise and Probabilistic Target 2. Error Measure 机器学习的终极目标是$g\approx f$,那么如何度量其相似度呢? 1)Pointwise Error ...
个人分类: 科研道路|1752 次阅读|没有评论
第七讲 The VC Dimension
廖红虹 2014-1-13 21:40
在上一讲中,我们有结论: $E_{out}\approx  E_{in}$ possible if $m_H(N)$ breaks somewhere and $N$ large enough. 同时,得到$m_H(N)$的界 可以得到错误界 于是,我们有如下假设,并希望得到这样的结果: 1. VC Dimension VC dimension of $H$, denoted $d_{VC}(H)$ is the largest $N$ ...
个人分类: 科研道路|2879 次阅读|没有评论

Archiver|手机版|科学网 ( 京ICP备07017567号-12 )

GMT+8, 2020-5-30 04:19

Powered by ScienceNet.cn

Copyright © 2007- 中国科学报社

返回顶部