科学网

 找回密码
  注册
置顶 · 首次发表的评论文章:《回顾学习函数和语义信息测度的进化——进而理解深度学习》
2023-7-14 11:40
Entropy 是MDPI出版公司出版的一个专业期刊,汇集了全球许多对熵和信息感兴趣的作者和读者。这篇是我在Entropy上面发表的第4篇文章。这篇文章经过4位审稿人审稿 (可见编辑重视),一致同意修改发表。主要修改:更改了前两章结构;重要文献和述评集中于Introduction部分;添加了本人研究介绍和实验结果。 英文版见: ...
个人分类: 信息的数学和哲学|1531 次阅读|没有评论
置顶 · 我关于鸟和性选择的发现—— 一篇英文介绍含有更多有趣图片
2021-10-27 12:16
最近英文杂志Research Features介绍了我关于鸟、美感和性选择的发现。我以前在博文中介绍过一些,这篇文章包含我对美和性选择难题最简洁也是最严谨的叙述,还包含我最近发现的几个有趣例子。 曾有专家审查了我的有关专著摘要和部分章节,竭力反对,建议我看他的书——看他怎样用鸟雀的食物解释鸟雀羽毛颜色。但是他如何解 ...
个人分类: 美感,需求和进化|3181 次阅读|没有评论
置顶 · 鲁晨光的色觉译码模型和流行的阶段模型比较
2007-6-5 06:26
流行的阶段模型: http://survivor99.com/lcg/books/color/zonemodel/ 我的译码模型: http://survivor99.com/lcg/my/colormodel.htm 和阶段模型相比, 译码模型简洁, 对称,解释色觉变化, 色盲和色觉进化更加简单。 用译码模型解释色盲和色觉进化: 人眼本来只有一种塞敏感细胞, 后来分 ...
个人分类: 色觉问题和分析哲学|6321 次阅读|没有评论
置顶 · 应邀发表了一篇科学哲学长文:P-T概率框架用于语义通信,证伪,确证和贝叶斯推理
热度 1 2020-10-6 14:15
这篇文章英文版应Philosophies的特刊Logic anf Science的客座编辑Dr. Fabien Paillusson的邀请而写(不收版面费)。他邀请我是因为看到我发表在Entropy上关于确证的文章: https://www.mdpi.com/1099-4300/22/4/384 . 应邀文章是一个大统一文章: 1. 统计和逻辑的统一 ———了解人工智能中统计学派和逻辑学派的 ...
个人分类: 信息的数学和哲学|4329 次阅读|5 个评论 热度 1
我捡到大漏了——发现混合模型收敛严格证明方法
热度 1 鲁晨光 2018-4-2 13:11
我一直说EM算法收敛证明有问题,我把它改进为CM算法。我以前提供的CM算法收敛证明要比EM算法的收敛证明好得多,但是还不严格。 现在发现,采用分析Shannon的信息率失真函数用到的变分和迭代方法,可以严格严格证明CM迭代方法收敛。 EM算法的问题和CM算法收敛证明详见: http://survivor99.com/lcg/CM/EMwayout.pd ...
个人分类: 信息的数学和哲学|4361 次阅读|2 个评论 热度 1
一个新的数学框架用于机器学习——挑战流行的贝叶斯主义推理...
鲁晨光 2018-3-14 00:58
我想写一篇《一个新的数学框架用于机器学习——挑战流行的贝叶斯主义推理》, 在人工智能会议上交流。这里是一个提要, 希望赢得知音, 得到知音支持,从而有机会大会发言。 最近两年多, 我一直在努力用语义信息方法改造挑战流行的Bayesian Inference方法。语义信息方法包括: 1)语义信息准 ...
个人分类: 信息的数学和哲学|3302 次阅读|没有评论
通过实指定义词汇澄清塞尔中文屋悖论
鲁晨光 2018-3-11 23:57
塞尔中文屋悖论见附文。 很多人认为塞尔驳倒了图灵。我以为不然。 假如我么测试中文屋里的人, 提出的问题都能用翻字典查到的词汇来回答,确实有可能, 不懂中文字词含义的人照样能给出正确的英文回答。 但是, 如果我们的问题是这样一些涉及实指定义的问题: 请你告诉我哪那一朵花是红的? 橘黄 ...
个人分类: 信息的数学和哲学|3681 次阅读|没有评论
从语义信息论看正则化准则
鲁晨光 2018-3-2 11:05
我在一个群里说, 人工智能碎片化理论多,不构成一个整体, 主要是因为缺少像物理学中“能量”那样”一个贯穿很多公式的概念。我以为人工智能中要有这样的概念, 应该是信息。 信息和似然度(现在知道log似然度就是负的交叉熵)应该可以充当这个概念, 用做优化准则。 可是现在不同准则太多。影响信息准则被广泛接受的最 ...
个人分类: 信息的数学和哲学|3948 次阅读|没有评论
交叉熵是谁最早提出和应用的?
鲁晨光 2018-3-1 14:31
交叉熵 (cross-entropy, 或 CE) 最简单形式就是 H=-∑P(xi)logP(xi|θ). log 后面是似然度或预测的概率。下面是 wikipedia 介绍: https://en.wikipedia.org/wiki/Cross_entropy 我在一个群里说,人工智能需要一个像物理学中“能量”那样的贯穿很多公式的概念,这个概念应该是信息。我用语义信息方法优 ...
个人分类: 信息的数学和哲学|10474 次阅读|1 个评论
EM算法是炼金术吗?
热度 1 鲁晨光 2017-12-17 22:40
人工智能很火, 人工智能大神很火。大神们的神器是什么? 有人说找到了,就是EM算法。 请看这篇: EM 算法的九层境界: Hinton 和 Jordan 理解的 EM 算法 http://mp.weixin.qq.com/s/NbM4sY93kaG5qshzgZzZIQ 但是最近网上引人关注的另一传闻是,一位人工智能论文获奖者在获奖感 ...
个人分类: 信息的数学和哲学|15530 次阅读|3 个评论 热度 1
兼容Shannon, Popper, Fisher, Zadeh思想的语义信息论
热度 3 鲁晨光 2017-8-11 14:09
不久的一个报告,希望把我的语义信息方法讲得更清楚。 PPT见 http://survivor99.com/lcg/semantic.ppt 简单说来就是用反映语义的真值函数产生似然度, 把似然度带进Shannon信息公式, 这样Shannon信息测度就变为语义信息测度, 能够反映Popper和Fisher的假设验思想。 反过来, 用这样的信息测度可以优化真值函数或Za ...
个人分类: 信息的数学和哲学|4471 次阅读|8 个评论 热度 3
绕过香农的瑞典国际信息科学和信息哲学大会
热度 1 鲁晨光 2017-6-19 19:50
瑞典最近召开了国际信息科学和信息哲学会议。我本想参加, 但是由于种种原因没有参加。 我仔细看了网站,并加入了参会者群。谢谢陈志成,邹晓辉等人的分享。我有点感想,特发此贴。 会议网址: http://sciforum.net/conference/IS4SI-2017 三个分会场, 两个是中国专家主持: 钟义信教主持: http:/ ...
个人分类: 信息的数学和哲学|4277 次阅读|5 个评论 热度 1
公布求解最大互信息和最大似然度的信道匹配算法—用以取代EM算法
热度 3 鲁晨光 2017-6-12 12:25
搜索最大似然度, 可见有33万篇文章: http://www.sciencedirect.com/science?_ob=ArticleListURL_method=list_ArticleListID=-1217372240_sort=r_st=13view=cmd5=32025f8bcf94febd17e33e7009f377cdsearchtype=a 搜索EM算法有8万多篇文章: http://www.sciencedirect.com/science?_ob=Article ...
个人分类: 信息的数学和哲学|5850 次阅读|7 个评论 热度 3

Archiver|手机版|科学网 ( 京ICP备07017567号-12 )

GMT+8, 2024-9-23 19:10

Powered by ScienceNet.cn

Copyright © 2007- 中国科学报社

返回顶部