科学网

 找回密码
  注册
置顶 · 首次发表的评论文章:《回顾学习函数和语义信息测度的进化——进而理解深度学习》
2023-7-14 11:40
Entropy 是MDPI出版公司出版的一个专业期刊,汇集了全球许多对熵和信息感兴趣的作者和读者。这篇是我在Entropy上面发表的第4篇文章。这篇文章经过4位审稿人审稿 (可见编辑重视),一致同意修改发表。主要修改:更改了前两章结构;重要文献和述评集中于Introduction部分;添加了本人研究介绍和实验结果。 英文版见: ...
个人分类: 信息的数学和哲学|996 次阅读|没有评论
置顶 · 我关于鸟和性选择的发现—— 一篇英文介绍含有更多有趣图片
2021-10-27 12:16
最近英文杂志Research Features介绍了我关于鸟、美感和性选择的发现。我以前在博文中介绍过一些,这篇文章包含我对美和性选择难题最简洁也是最严谨的叙述,还包含我最近发现的几个有趣例子。 曾有专家审查了我的有关专著摘要和部分章节,竭力反对,建议我看他的书——看他怎样用鸟雀的食物解释鸟雀羽毛颜色。但是他如何解 ...
个人分类: 美感,需求和进化|2491 次阅读|没有评论
置顶 · 鲁晨光的色觉译码模型和流行的阶段模型比较
2007-6-5 06:26
流行的阶段模型: http://survivor99.com/lcg/books/color/zonemodel/ 我的译码模型: http://survivor99.com/lcg/my/colormodel.htm 和阶段模型相比, 译码模型简洁, 对称,解释色觉变化, 色盲和色觉进化更加简单。 用译码模型解释色盲和色觉进化: 人眼本来只有一种塞敏感细胞, 后来分 ...
个人分类: 色觉问题和分析哲学|5840 次阅读|没有评论
置顶 · 应邀发表了一篇科学哲学长文:P-T概率框架用于语义通信,证伪,确证和贝叶斯推理
热度 1 2020-10-6 14:15
这篇文章英文版应Philosophies的特刊Logic anf Science的客座编辑Dr. Fabien Paillusson的邀请而写(不收版面费)。他邀请我是因为看到我发表在Entropy上关于确证的文章: https://www.mdpi.com/1099-4300/22/4/384 . 应邀文章是一个大统一文章: 1. 统计和逻辑的统一 ———了解人工智能中统计学派和逻辑学派的 ...
个人分类: 信息的数学和哲学|3806 次阅读|5 个评论 热度 1
用第三种贝叶斯定理求多标签分类——有简单方法何必用复杂的?
鲁晨光 2018-6-12 12:01
作者以前研究语义信息论,最近研究了多标签分类基本方法,觉得,从语义通信的角度 看, 结合已有的方法,应该能得到更简单更合理的方法。下面是最近研究的一个总结。、 本文使用交叉熵方法,即用样本分布代替样本序列。 参考文献:  Wikipedia 的多标签学习介绍: https://en.wikipedia.org/wiki/M ...
个人分类: 信息的数学和哲学|2847 次阅读|没有评论
令人惊讶的评审
鲁晨光 2018-5-30 23:57
我写了篇文章:《EM算法的问题和出路》,全文见: http://survivor99.com/lcg/CM/EMwayout.pdf 投稿某会议。得到令人惊讶的评审。 我批评EM算法, 认为用Q不可靠, Q也就是负的联合交叉熵。 我说应该用相对熵或最大似然度——两者是等价的(参看Cover的信息论教科书 https://www.google.com.hk/sear ...
个人分类: 信息的数学和哲学|4324 次阅读|没有评论
我捡到大漏了——发现混合模型收敛严格证明方法
热度 1 鲁晨光 2018-4-2 13:11
我一直说EM算法收敛证明有问题,我把它改进为CM算法。我以前提供的CM算法收敛证明要比EM算法的收敛证明好得多,但是还不严格。 现在发现,采用分析Shannon的信息率失真函数用到的变分和迭代方法,可以严格严格证明CM迭代方法收敛。 EM算法的问题和CM算法收敛证明详见: http://survivor99.com/lcg/CM/EMwayout.pd ...
个人分类: 信息的数学和哲学|3998 次阅读|2 个评论 热度 1
一个新的数学框架用于机器学习——挑战流行的贝叶斯主义推理...
鲁晨光 2018-3-14 00:58
我想写一篇《一个新的数学框架用于机器学习——挑战流行的贝叶斯主义推理》, 在人工智能会议上交流。这里是一个提要, 希望赢得知音, 得到知音支持,从而有机会大会发言。 最近两年多, 我一直在努力用语义信息方法改造挑战流行的Bayesian Inference方法。语义信息方法包括: 1)语义信息准 ...
个人分类: 信息的数学和哲学|3027 次阅读|没有评论
通过实指定义词汇澄清塞尔中文屋悖论
鲁晨光 2018-3-11 23:57
塞尔中文屋悖论见附文。 很多人认为塞尔驳倒了图灵。我以为不然。 假如我么测试中文屋里的人, 提出的问题都能用翻字典查到的词汇来回答,确实有可能, 不懂中文字词含义的人照样能给出正确的英文回答。 但是, 如果我们的问题是这样一些涉及实指定义的问题: 请你告诉我哪那一朵花是红的? 橘黄 ...
个人分类: 信息的数学和哲学|3331 次阅读|没有评论
从语义信息论看正则化准则
鲁晨光 2018-3-2 11:05
我在一个群里说, 人工智能碎片化理论多,不构成一个整体, 主要是因为缺少像物理学中“能量”那样”一个贯穿很多公式的概念。我以为人工智能中要有这样的概念, 应该是信息。 信息和似然度(现在知道log似然度就是负的交叉熵)应该可以充当这个概念, 用做优化准则。 可是现在不同准则太多。影响信息准则被广泛接受的最 ...
个人分类: 信息的数学和哲学|3604 次阅读|没有评论

本页有 4 篇博文因作者的隐私设置或未通过审核而隐藏

Archiver|手机版|科学网 ( 京ICP备07017567号-12 )

GMT+8, 2024-3-29 01:57

Powered by ScienceNet.cn

Copyright © 2007- 中国科学报社

返回顶部