etreeasky的个人博客分享 http://blog.sciencenet.cn/u/etreeasky

博文

关于不完备性定理和不确定性原理的探讨(十四)(5)

已有 2278 次阅读 2018-12-8 20:13 |系统分类:科研笔记

 14.5 通用AI的眼睛

 

    前面8.9 注意力卷积核 章节,我们探讨了在感知阀值以内,变化率越高月容易吸引注意力

    扑捉变化、关注变化、分析变化,准确判断变化率不仅仅是技术上的要点,还是宇宙的基本原理之一。对生物而言,这是所有生物生存之道的第一课。每天,被捕猎者如果不能敏感洞察周围变化就不能预知威胁,会死无葬身之地;捕猎者如果不能感知环境变化就抓不住猎物,将面临饿死的厄运。


   深度学习的CNN(卷积神经网络)图像识别的关键也在于突出像素“变化率”。 象素变化率最大的地方是图形边缘,所以对图形边缘特点的识别,是图像识别关注的重点。





 

    图片识别领域变化率关注点大家已经很熟悉了。那么,在通用范围内,在大数据浩瀚如海的信息中,通用AI又该如何关注有用信息,哪些信息更值得关注呢?





     能够刻在墓碑上的公式,当然充满自豪。更值得夸耀的是,这个公式从物理学神奇跨界到了信息学,很可能成为通用人工智能的眼睛。



2105499536.jpg


    墓碑上那个公式,跨界到信息学,叫“信息熵”,度量了信息的价值。


    如今信息爆炸的时代,人工智能需要关注什么样的信息呢?什么样的信息才是有价值的信息呢?比如,每天你早上8点经过一个智能摄像头去上班,下午6点又从此路过回家,按步就班的重复,没有特别意义,没什么信息价值,不会引起关注。反之,如果你某天在这个路段捡到一个金元宝,一夜成名,这个信息就很有价值,可登上头版头条。换句话说,每天发生的大概率事件的信息价值很低,而突发的小概率事件则具有很强的信息价值。

b8014a90f603738d0e94646db11bb051f919eca7.jpg

   所以,某个事件的信息价值的表达式定义为该事件出现的概率 p 乘以 -log p ,如下:

        201754byfrin772m3mlsmy.jpg

    如果把某部分的多个事件xi的信息价值汇集在一起,则为:


962524875.jpg


 


   相对日常情况变化率越大,“信息熵”就越高,也就是信息价值越大,越需要引起关注,所以说这个公式会成为通用AI捕捉有效信息的眼睛。

 





     高阶张量模型下,“信息熵”这种相对日常情况变化率越大则信息价值越大的度量原则,在傅立叶谱分析中有特殊含义。


  如上图所示,原函数ψ(r)的导数是傅立叶变换函数φ(p),同时傅立叶变换函数φ(p)的导数是原函数ψ(r)。[ 把exp(ipr)看作二阶特征属性基]

  一个分析对象的变化率对应于其对偶空间对偶向量旋转快慢的频率,时空域剧烈变化对应于对偶空间的高频,频域剧烈变化对应时空域的大尺度伸缩。同时,频域和时空域的变化率又受到不确定性原理的限制。所以二阶特征属性空间的小概率的高频率和大尺度事件信息价值较大。

 



  



https://blog.sciencenet.cn/blog-1666470-1150573.html

上一篇:关于不完备性定理和不确定性原理的探讨(十四)(4)
下一篇:关于不完备性定理和不确定性原理的探讨(十四)(6)
收藏 IP: 59.63.206.*| 热度|

1 王安良

该博文允许注册用户评论 请点击登录 评论 (0 个评论)

数据加载中...
扫一扫,分享此博文

Archiver|手机版|科学网 ( 京ICP备07017567号-12 )

GMT+8, 2024-3-28 18:39

Powered by ScienceNet.cn

Copyright © 2007- 中国科学报社

返回顶部