概率隐语义分析和奇异值分解

热度 1 李建扣 2013-11-10 21:36

推荐系统中经常用到的两个基本模型，一个是概率隐语义分析(Probabilistic Latent Semantic Indexing简称PLSA)，另一个是奇异值分解(SVD)，下面分析一下二者的区别和联系。 从形式上看PLSA和SVD很像，如式(1)和 式(2)， 二者都是隐变量模型，是矩阵分解，都对原矩阵进行了降维，并且都是非监督学习。 ...

个人分类: 机器学习|7337 次阅读|4 个评论 热度 1

概率主成分分析

热度 1 李建扣 2013-10-31 23:20

前面介绍了主成分分析,概率主成分分析是对主成分分析在概率上的一种推广。 概率的引入,为主成分分析带来极大的好处。下面简单介绍概率主成分分析的 导出以及和主成分分析的关系。 在概率主成分分析里面，假设预测数据x是由一个隐变量z生成的,并且隐变量z以及条件概率p(x|z)均服从高斯分布。 根据高斯分布的性质,x ...

个人分类: 机器学习|12788 次阅读|1 个评论 热度 1

主成分分析

李建扣 2013-10-31 20:26

主成分分析是一种降维方法，主要用于数据压缩，数据可视化以及特征提取等方面。 现实中我们经常可以遇到维数很高的数据，如一张28*28的图片，可以看作维度为784。类似图片这样的高维数据，实际上各个维度之间具有高度的关联性，即维度之间并非完全独立的。通过进行主成分分析,可以将数据的主要特征提取出来,忽略非 重要特 ...

个人分类: 机器学习|7082 次阅读|没有评论

马尔可夫链蒙特卡罗算法

热度 1 李建扣 2013-10-16 15:30

抽样算法的主要任务是找到符合给定分布 的一系列样本。对于简单的分布，可以通过基本的抽样算法进行抽样。大多数分布都是不容易直接抽样的，马尔可夫链蒙特卡罗算法解决了不能通过简单抽样算法进行抽样的问题，是一种重要的实用性很强的抽样算法。 马尔可夫链蒙特卡罗算法（简写为MCMC）的核心思想是找到某个状态空间的马 ...

个人分类: 机器学习|11557 次阅读|1 个评论 热度 1

推断和学习

李建扣 2013-10-7 00:17

在机器学习里面经常遇到推断和学习两个词，下面对其进行区分。 图模型通常包括三种节点,观测变量、隐变量和参数, 分别用 表示。习惯上把计算隐变量分布的过程称作推断,把对参数的后验估计称作学习。具体的,推断是指计算 的过程, 而学习是计算 的过程。 在上面的过程中,如果先验分布 是均匀分布,那么 极大后验估 ...

个人分类: 机器学习|3291 次阅读|没有评论

相关向量机

热度 1 李建扣 2013-9-12 20:51

相关向量机是 一种稀疏概率模型，是 一种核函数作为基函数且参数具有独立先验精度（方差）的特殊线性回归模型。相关向量机的出现弥补了支持向量机的一些不足 ，如提供了概率解释，不要求核函数必须是正定的，同时保留了支持向量机的一些优点，如它的解是稀疏的，运用核函数在低维空间处理高维空间的问题。 相关向量机是 ...

个人分类: 机器学习|6795 次阅读|1 个评论 热度 1

拉格朗日对偶性

热度 1 李建扣 2013-9-8 19:51

拉格朗日对偶性是解决带约束的最优化问题的方法，在实际应用中，通过拉格朗日对偶原理将原始问题转换成对偶问题，将原来不容易解决的问题转化为一个容易解决的问题，如支持向量机。 原始问题 假设 是定义在 上的连续可微函数，原始问题如下所示： 引进广义拉格朗日函数 那么原始问题等价于如下问题 ...

个人分类: 机器学习|15766 次阅读|2 个评论 热度 1

本页有 3 篇博文因作者的隐私设置或未通过审核而隐藏