博文
小概率事件（二）
|||
今天来从数学的角度跟大家交流“小概率”的话题。
1、“大”“小”本身就是带有模糊色彩的形容词。如果仅仅停留在文字概念层面，我们很难进行深入的数学处理。比如，一台阑尾切除手术和一台心脏移植手术，我们对于手术过程中的“小概率”差错就不可能有统一的标准和认识。所以，作为数学来讲，首先要确定怎样的事件才被称作小概率事件。并且，一般来说，小概率的定义应该是一种“动态趋势”，也就是说，对于固定尺度的系统，谈论“大”“小”是意义不大的，我们要看随着系统某一特征参数（比如规模大小）的变化，我们关心的发生概率以一种怎样的“速率”变化。比如网络科学中大家熟悉的“厚尾”和“轻尾”。我们观察scale-free网络和ER随机图的节点度分布，考虑网络中“节点度等于M”的概率P(M)，随着M的增大,无论是scale-free还是ER图，P(M)都趋于零，但是在scale-free图中，P(M)是以幂率衰减；而在ER图中，P(M)则以指数衰减。在这个意义下，我们更愿意称ER图的P(M)具有“小概率”的特征。
2、在概率论当中，有一个专门的分支在讨论系统的“指数衰减”的问题，叫做“大偏差”(large deviation)。大偏差的内容之丰富，不是三言两语能说清楚的。在概率论圈内，它更是一种专门的技术。但是，我想，大家也可以用很直观的角度去理解它。比如概率论的两大支柱：大数定律和中心极限定理。这两大理论旨在回答系统“将要”或者“将要以怎样的方式”在均值附近运动。正如上篇所言，它们着眼点都是“大概率”问题。反过来，如果我们换着去关心“系统以怎样的方式偏离均值”这一课题的时候，我们面对的就是一个“小概率”问题。大偏差理论就是来处理，随着系统尺度的增大，这种“偏离”是不是以指数衰减的方式偏离，并且更重要的，要计算出这种指数偏离的速率函数(rate function)。在大偏差的框架下，对于“小概率”的研究核心就是去计算它的速率函数。大家务必不要小看了这个rate function。这个rate function所蕴含的信息量是巨大的。它基本上蕴含了大数定律和中心极限定理的所有信息。所以从这个角度，对“小概率”的研究，实实在在的蕴含了“大概率”的信息，这是令人振奋的。另外，rate function有非常强的物理意义，有非常多的物理学家关注大偏差理论，参见The large deviation approach to statistical mechanics，Physics Reports 478 (2009) 。
现在大家知道，大偏差理论为我们提供了研究“小概率”问题的某种“范式”。当然，可以预见，对于不同的问题，数学上的操作并不会轻松。至今，形形色色的大偏差问题等待着人们去攻克，所以毫不夸张，大偏差理论成为概率论中的另一支柱。
我想在下一次，也就是“小概率”系列的最后一篇文章中，基于大偏差的认识，就“小概率”问题跟大家作一个更直观的交流。
https://blog.sciencenet.cn/blog-219728-333832.html
上一篇：小概率事件（一）
下一篇：小概率事件（三）
1、“大”“小”本身就是带有模糊色彩的形容词。如果仅仅停留在文字概念层面，我们很难进行深入的数学处理。比如，一台阑尾切除手术和一台心脏移植手术，我们对于手术过程中的“小概率”差错就不可能有统一的标准和认识。所以，作为数学来讲，首先要确定怎样的事件才被称作小概率事件。并且，一般来说，小概率的定义应该是一种“动态趋势”，也就是说，对于固定尺度的系统，谈论“大”“小”是意义不大的，我们要看随着系统某一特征参数（比如规模大小）的变化，我们关心的发生概率以一种怎样的“速率”变化。比如网络科学中大家熟悉的“厚尾”和“轻尾”。我们观察scale-free网络和ER随机图的节点度分布，考虑网络中“节点度等于M”的概率P(M)，随着M的增大,无论是scale-free还是ER图，P(M)都趋于零，但是在scale-free图中，P(M)是以幂率衰减；而在ER图中，P(M)则以指数衰减。在这个意义下，我们更愿意称ER图的P(M)具有“小概率”的特征。
2、在概率论当中，有一个专门的分支在讨论系统的“指数衰减”的问题，叫做“大偏差”(large deviation)。大偏差的内容之丰富，不是三言两语能说清楚的。在概率论圈内，它更是一种专门的技术。但是，我想，大家也可以用很直观的角度去理解它。比如概率论的两大支柱：大数定律和中心极限定理。这两大理论旨在回答系统“将要”或者“将要以怎样的方式”在均值附近运动。正如上篇所言，它们着眼点都是“大概率”问题。反过来，如果我们换着去关心“系统以怎样的方式偏离均值”这一课题的时候，我们面对的就是一个“小概率”问题。大偏差理论就是来处理，随着系统尺度的增大，这种“偏离”是不是以指数衰减的方式偏离，并且更重要的，要计算出这种指数偏离的速率函数(rate function)。在大偏差的框架下，对于“小概率”的研究核心就是去计算它的速率函数。大家务必不要小看了这个rate function。这个rate function所蕴含的信息量是巨大的。它基本上蕴含了大数定律和中心极限定理的所有信息。所以从这个角度，对“小概率”的研究，实实在在的蕴含了“大概率”的信息，这是令人振奋的。另外，rate function有非常强的物理意义，有非常多的物理学家关注大偏差理论，参见The large deviation approach to statistical mechanics，Physics Reports 478 (2009) 。
现在大家知道，大偏差理论为我们提供了研究“小概率”问题的某种“范式”。当然，可以预见，对于不同的问题，数学上的操作并不会轻松。至今，形形色色的大偏差问题等待着人们去攻克，所以毫不夸张，大偏差理论成为概率论中的另一支柱。
我想在下一次，也就是“小概率”系列的最后一篇文章中，基于大偏差的认识，就“小概率”问题跟大家作一个更直观的交流。
https://blog.sciencenet.cn/blog-219728-333832.html
上一篇：小概率事件（一）
下一篇：小概率事件（三）
