概率隐语义分析和奇异值分解

热度 1 李建扣 2013-11-10 21:36

推荐系统中经常用到的两个基本模型，一个是概率隐语义分析(Probabilistic Latent Semantic Indexing简称PLSA)，另一个是奇异值分解(SVD)，下面分析一下二者的区别和联系。 从形式上看PLSA和SVD很像，如式(1)和 式(2)， 二者都是隐变量模型，是矩阵分解，都对原矩阵进行了降维，并且都是非监督学习。 ...

个人分类: 机器学习|7342 次阅读|4 个评论 热度 1

概率主成分分析

热度 1 李建扣 2013-10-31 23:20

前面介绍了主成分分析,概率主成分分析是对主成分分析在概率上的一种推广。 概率的引入,为主成分分析带来极大的好处。下面简单介绍概率主成分分析的 导出以及和主成分分析的关系。 在概率主成分分析里面，假设预测数据x是由一个隐变量z生成的,并且隐变量z以及条件概率p(x|z)均服从高斯分布。 根据高斯分布的性质,x ...

个人分类: 机器学习|12789 次阅读|1 个评论 热度 1

主成分分析

李建扣 2013-10-31 20:26

主成分分析是一种降维方法，主要用于数据压缩，数据可视化以及特征提取等方面。 现实中我们经常可以遇到维数很高的数据，如一张28*28的图片，可以看作维度为784。类似图片这样的高维数据，实际上各个维度之间具有高度的关联性，即维度之间并非完全独立的。通过进行主成分分析,可以将数据的主要特征提取出来,忽略非 重要特 ...

个人分类: 机器学习|7084 次阅读|没有评论

马尔可夫链蒙特卡罗算法

热度 1 李建扣 2013-10-16 15:30

抽样算法的主要任务是找到符合给定分布 的一系列样本。对于简单的分布，可以通过基本的抽样算法进行抽样。大多数分布都是不容易直接抽样的，马尔可夫链蒙特卡罗算法解决了不能通过简单抽样算法进行抽样的问题，是一种重要的实用性很强的抽样算法。 马尔可夫链蒙特卡罗算法（简写为MCMC）的核心思想是找到某个状态空间的马 ...

个人分类: 机器学习|11560 次阅读|1 个评论 热度 1

推断和学习

李建扣 2013-10-7 00:17

在机器学习里面经常遇到推断和学习两个词，下面对其进行区分。 图模型通常包括三种节点,观测变量、隐变量和参数, 分别用 表示。习惯上把计算隐变量分布的过程称作推断,把对参数的后验估计称作学习。具体的,推断是指计算 的过程, 而学习是计算 的过程。 在上面的过程中,如果先验分布 是均匀分布,那么 极大后验估 ...

个人分类: 机器学习|3292 次阅读|没有评论

本页有 5 篇博文因作者的隐私设置或未通过审核而隐藏