acosmos的个人博客分享 http://blog.sciencenet.cn/u/acosmos

博文

也谈压缩感知和贝叶斯大脑 精选

已有 10619 次阅读 2018-8-8 06:16 |个人分类:科研笔记|系统分类:科研笔记

压缩感知和人工智能都是当下很热很热的研究课题。不过许多论文数学论述高深莫测,加之一大堆各种千奇百怪的数学符号,不仅让人望而生畏,望而却步。笔者对希望用形象的比喻把问题大致轮廓讲清楚就好。

所谓压缩感知是什么呢,根据笔者个人的理解,就是信号变换,这个变换不是随便找的,而是要满足一定条件。什么条件呢?讲个故事吧。

比如牛郎和织女每年只能在鹊桥上会一面,但这厢牛郎有一件急事要跟织女商量,怎么也等不到七月初七了。没有手机电话,只好写信吧。尽管信一周就到天河那一端了,奈何织女文化程度不高,大部分字都不认识,无法完整地理解信上说的内容。织女隔壁住的是雅典娜,娜可是出了名的智慧女神,自学了半年就会认识中国字了,再翻译给织女听。可惜还是太耽误时间。假如织女遇到了扎克伯格(没错就是google的大Boss),情况就大不一样了。小扎说这有什么难的,来我帮你翻译,随即掏出手机,点开有道词典app(对,你没看错,就是网易的有道词典),啪,对着信拍了一张照片,通过拍照翻译把内容翻译成英文,再用中文讲给织女听了(小扎娶了华裔姑娘做老婆,会说中文,不过中文字还是不认识),你看,一下子从半年时间缩短到了几秒钟的事。

这里那封信相当于信号,不管你懂与不懂,信(号)就在这里,不会改变。但是因为织女不识字,情况就显得很复杂。

在如上的限定条件下,雅典娜算是变换1。而小扎这个变换Z加上有道词典的变换Y就是变换2(变换2=Z*Y

压缩感知就是这么一个东东,对于信号(信号所包含信息是不变的),如果遇到一个不那么在点的测量矩阵(比如雅典娜),要花很长时间(或者占用很多的资源)才能把信息恢复出来。但是如果找到好的测量矩阵(比如扎克伯格+网易有道词典),那点事都不叫事,也就几秒的时间。所以说压缩感知的变换是要满足一定条件的,这个条件就是找到一个合适的测量矩阵,信号在这个测量矩阵下有非常简洁的表示形式。

换而言之,对于信号所携带信息的恢复,是要用测量矩阵进行测量,然后根据测量值对信息进行恢复的。比如在傅里叶变换中,测量矩阵就是一系列的正交三角函数。一个信号用某个测量矩阵表示比较复杂,但肯定也有另外一种形式的测量矩阵可以把这个信号用更简洁的形式的表示出来(可能会产生一些微不足道的信息损失)。那么在传输过程中用这个信号的简洁形式就可以了。在接收端,再把信号所携带的信息还原出来。

压缩感知的感性道理就是这样。问题难点在于怎样找到那个能简洁地把信号表示出来的测量矩阵。这里就可以发挥贝叶斯大脑的作用了。


贝叶斯公式本身也并没有什么,只不过是一种基于先验知识的概率分布罢了。可以想想我们的太极图,也许有帮助于理解。贝爷的公式是在17**年代就发展出了的啊,难道贝爷可以预测未来?其实笔者认为这有点类似傍大款。在人工智能初期研究中,AI还是一个一文不名的穷小子,所以一定要拉上一个豪门来说明自己的高大上。简而言之,所谓贝叶斯大脑,其想表达的意思只不过是人类的大脑具有知识归纳,记忆的功能罢了。贝叶斯大脑可以理解为:基于不断试错---先验知识的不断增加---影响后验概率分布。而压缩感知中提到贝叶斯,只不过想表明其试图用归纳和试错的方法来找到一个合适的测量矩阵(变换)罢了。




http://blog.sciencenet.cn/blog-3387120-1128107.html

上一篇:如何发展自主创新
下一篇:人类可以永生吗?— DNA是个啥玩意?

6 刘全慧 彭真明 郭景涛 邹德虎 高义 zjzhaokeqin

该博文允许注册用户评论 请点击登录 评论 (10 个评论)

数据加载中...

Archiver|手机版|科学网 ( 京ICP备07017567号-12 )

GMT+8, 2021-11-30 02:59

Powered by ScienceNet.cn

Copyright © 2007- 中国科学报社

返回顶部