博文
概率逻辑和随机处理(101122)
|||
概率逻辑和随机处理(101123)
闵应骅
“概率”和“逻辑"连到一起，给人互相矛盾的感觉。因为逻辑是硬碰硬的确定性的东西，而概率却是不确定的一种可能性。1952年亨.诺依曼发表过一篇论文，叫“概率逻辑”。他认为，在某些条件下，用不可靠的神经元可以组合成一个高可靠的神经元。摩尔和申农根据他的这一思想，于1956年发表文章，证明了用无论多么不可靠的继电器都可以组成无限可靠的继电器电路。这就是概率逻辑一词的由来。
从工程实践的角度讲，人们希望有高度可靠的计算机。上世纪70年代出现了所谓“容错计算”领域。英文是“Fault-tolerant computing”，其含义其实不是容“错”，而是容“故障”，所以应该叫容故障计算。因为故障才是产生错误的原因。这里说故障当然包括硬件故障，软件故障，操作故障，环境故障等等。本月的ACM通讯上发表了“The Era of Error-Tolerant Computing”。Error-Tolerant Computing翻译过来可就真是容错计算了。
计算为什么要容许差错呢？最明显的例子是视频文件。视频文件要对图像中的每一个点给出位置、亮度、颜色信息，分辨率越高，这种点就越细。可是，这么多点中间，有一些信息出错，人眼是看不出来的，那就可以容许。人们在计算中，许多场合下是不需要精确计算的，回答一个大致也就可以了。这时候，某些差错也是容许的。
本来，只要大概，而给你精确结果，岂不更好吗？不然。随着纳米集成电路的发展，到32纳米以下工艺，集成电路出错的概率增加，受外界干扰的可能性增加，生产过程的偏差也增加。工作电压必须降低，阈值电压的微小变化不可避免。这些因素都带有随机性。出错机会就增加。所以，UIUC等校有教授称之为error-resilient computing，也可以叫概率计算，更形式的说法是随机处理（stochastic processing)。我一直有一个疑问：世界上的事情，究竟是确定性的事情多呢，还是随机性的事情多？我们已有的一些物理定律都是必然性的，做多次试验都是可以重复的。但是，随机的事情，原理上说，只有多次重复，才能显示其概率。这还只是指那些满足大数定律的随机变量。可是，许多事情不能重复。
一个典型的例子是儿童教育方法。现在年轻的父母们很关心自己孩子的教育。常有人问我：您是怎么教育孩子的？我说，孩子的教育方法很多，相关的书也很多。问题是：这些教育方法是否有效，无法验证。因为不可能重来一次。换到另一个孩子身上，时代变了，孩子也不是一个，什么都不一样了，试验结果也就不可靠了。
所以，也许随机处理会有发展前途。UC/Berkeley有教授预言：6-10年后容错计算会很普通。如果可变性恶化，能耗仍然是最突出的问题，容错系统，从超级大型机到智能电话，将会稳定发展。
https://blog.sciencenet.cn/blog-290937-386382.html
上一篇：千兆集成度的全新互连技术(101115)
下一篇：社会网络Ⅱ(101127)
闵应骅
“概率”和“逻辑"连到一起，给人互相矛盾的感觉。因为逻辑是硬碰硬的确定性的东西，而概率却是不确定的一种可能性。1952年亨.诺依曼发表过一篇论文，叫“概率逻辑”。他认为，在某些条件下，用不可靠的神经元可以组合成一个高可靠的神经元。摩尔和申农根据他的这一思想，于1956年发表文章，证明了用无论多么不可靠的继电器都可以组成无限可靠的继电器电路。这就是概率逻辑一词的由来。
从工程实践的角度讲，人们希望有高度可靠的计算机。上世纪70年代出现了所谓“容错计算”领域。英文是“Fault-tolerant computing”，其含义其实不是容“错”，而是容“故障”，所以应该叫容故障计算。因为故障才是产生错误的原因。这里说故障当然包括硬件故障，软件故障，操作故障，环境故障等等。本月的ACM通讯上发表了“The Era of Error-Tolerant Computing”。Error-Tolerant Computing翻译过来可就真是容错计算了。
计算为什么要容许差错呢？最明显的例子是视频文件。视频文件要对图像中的每一个点给出位置、亮度、颜色信息，分辨率越高，这种点就越细。可是，这么多点中间，有一些信息出错，人眼是看不出来的，那就可以容许。人们在计算中，许多场合下是不需要精确计算的，回答一个大致也就可以了。这时候，某些差错也是容许的。
本来，只要大概，而给你精确结果，岂不更好吗？不然。随着纳米集成电路的发展，到32纳米以下工艺，集成电路出错的概率增加，受外界干扰的可能性增加，生产过程的偏差也增加。工作电压必须降低，阈值电压的微小变化不可避免。这些因素都带有随机性。出错机会就增加。所以，UIUC等校有教授称之为error-resilient computing，也可以叫概率计算，更形式的说法是随机处理（stochastic processing)。我一直有一个疑问：世界上的事情，究竟是确定性的事情多呢，还是随机性的事情多？我们已有的一些物理定律都是必然性的，做多次试验都是可以重复的。但是，随机的事情，原理上说，只有多次重复，才能显示其概率。这还只是指那些满足大数定律的随机变量。可是，许多事情不能重复。
一个典型的例子是儿童教育方法。现在年轻的父母们很关心自己孩子的教育。常有人问我：您是怎么教育孩子的？我说，孩子的教育方法很多，相关的书也很多。问题是：这些教育方法是否有效，无法验证。因为不可能重来一次。换到另一个孩子身上，时代变了，孩子也不是一个，什么都不一样了，试验结果也就不可靠了。
所以，也许随机处理会有发展前途。UC/Berkeley有教授预言：6-10年后容错计算会很普通。如果可变性恶化，能耗仍然是最突出的问题，容错系统，从超级大型机到智能电话，将会稳定发展。
https://blog.sciencenet.cn/blog-290937-386382.html
上一篇：千兆集成度的全新互连技术(101115)
下一篇：社会网络Ⅱ(101127)
