“数据 --> 模型 --> 信息 --> 知识 --> 决策”，我在上课时是这样误导我的学生的，可是，我自己都不知道什么是信息。不知道科学网信息第一人，唯信息论的鬼王亚辉李是否能给我并通过我向我的可怜的学生们科普一下？

Wikipedia 的定义：

Information is any kind of event that affects the state of a dynamical system. In its most restricted technical sense, it is an ordered sequence of symbols. As a concept, however, information has many meanings.[1] Moreover, the concept of information is closely related to notions of constraint, communication, control, data, form, instruction, knowledge, meaning, mental stimulus, pattern, perception, and representation.

Information = An answer to a specific question.  Whether the answer provides knowledge depends on the informed person.

Information is the amount of the data after data compression.

信息论的奠基人Shannon把信息定义为log-likelihood的期望值。可是概率又是什么呢？

我的问题是，有没有一个客观的信息的度量？对于同一组数据，不同人用不同的模型得到不同的信息，然后我们还用这个信息的差值来判断模型的好坏。这样做是不是有点循环论证了？


转载本文请联系原作者获取授权，同时请注明本文来自袁贤讯科学网博客。
链接地址：https://blog.sciencenet.cn/blog-103568-412413.html

上一篇：概率的概率的概率的概率。。。。
下一篇：荒唐的政府网站