当年读《维纳著作选》，里面一共有两篇文章，前一篇是《人当作人来使用》，第二篇的名字我记不住了。但在第二篇中，维纳讲了一个故事，让我印象特别深刻。这是一个关于猴掌的故事。说是在英国一个乡村，有老两口子，儿子去煤矿上夜班。这个夜晚风雨交加，这时来了一个陌生人，请求让他进来休息一会儿。老两口把陌生人请进屋，坐在炉边，于是就闲聊起来。说话间，陌生人拿出一只很难看的很干瘪的东西。两位老人看到这个东西，既感到恶心，又感到好奇，就问陌生人这是什么东西。陌生人回答说这是一只猴掌。老两口子问陌生人，这东西有什么用。陌生人说，你如果对这只猴掌提出三个愿望，而且只能提三个愿望，那么它都会满足你。老两口子有点迫不及待，请求陌生人把这个猴掌拿过来让他们试试。陌生人拒绝说，这恐怕不行，而且告诉两位老人，实现这三个愿望的结果都非常可怕，他说他知道最后一个持有这只猴掌的人的最后一个愿望就是去死。两位老人不甘心，还是强烈请求陌生人把这只猴掌交给他们。陌生人叹了一口气，就把猴掌交给了他们，然后就离开了。

陌生人离开后，老人们提出第一个要求，是想得到四百英镑。这个愿望刚说出来，门外就有人敲门，开门一看，是煤矿上来了人，送来四百英镑。来人说，他们的儿子在煤矿上出了事故，已经遇难了，这四百英镑是给老人们的抚恤金。两位老人接过这笔钱，心里悲痛万分。于是他们提出第二个愿望，是希望自己的儿子回家。这时门外有人敲门，是他们的儿子，但不是一个活着的真实的儿子，让老人们感觉似乎这是儿子的幽灵。于是他们提出最后一个愿望，让这个幽灵赶紧离开。

维纳讲完这个故事后，感慨道，我们提出任何一个愿望，最后得到的结果往往与我们预期的并不相同，而且还会让我们付出我们本来不想付出的代价。维纳的意思是，在机器的时候，在自动化的时候，看上去有很多事可以不用人去亲历亲为，但是，最后的结果有可能是出乎我们意料的，他还举了一个例子，如果你坐在一辆自动驾驶的车辆里，当你看到这辆车正冲着一棵大树冲过去，而你心里也知道，在车子距离树木到一定的距离后，会自动转向，也就是说，你根本不需要担心，自动驾驶仪完全能解决这个问题。可是当你真的看着车辆直冲过去的时候，你真的能放心吗？你真的能忍住不伸出手来去把住方向盘吗？估计没有多少人有这样的定力。万一自动驾驶仪失灵，那该怎么办？这谁也不能保证自动驾驶仪就一定是万无一失的。所以在任何一台自动机面前，我们都不可能完全放心。在维纳看来，这个问题似乎在根本上就是不可解决的。

在一个社会系统相互联系越发紧密的时代，这种情况就越可能出现。我们吃的东西都不是我们自己生产的，我们使用的一切器具也都不是我们制造的。我们如果要生存，只能无条件地信任这个社会巨系统。因为如果我们产生哪怕任何一点怀疑，我们就无法正常生存。可是这个巨系统到底有多可靠，也是我们根本无法知道的。这样一个悖论看来会长期伴随着我们。为了提高生产效率及各种劳动效率，我们会越来越多地开发形形色色的自动机，然而一旦在广大的范围内使用这些自动机，我们就面临着它们有可能失效的危险。你说你不信任它吧，那么你只能退回到农耕社会。这会让很多人不高兴、不情愿、不舒适、不方便。你说你信任它吧，可是哪怕只有概率极低的一个例外，就会给我们带来要命的危害。

当然，解决这个问题，最首要的还是要解决可靠性的问题。但不管怎么提高可靠性，仍然存在着小概率的不可靠。即使概率再低，但也不可能等于零。而且提高了可靠性，那么运行成本就会大大增加。在资本当道的世界，这对资本来说也是要命的事。因为，资本对提高可靠性一般没有什么太大的兴趣，除非政府来强制它。可是政府也往往是在出了大事故后，才会关注到这类问题。因此，这类问题的解决往往是滞后的。

另一种方法是任何自动机必须同时装有手动控制系统。不管实际上自动机失效与否，那么机器必须允许人们用自己的手来让自己安心一些。这同样也需要提高成本，但是这种成本可能会让出现失误的概率更低一些。当然，没有概率为零的现实，这种风险人类也必须承担，正如在农耕时代，即使那时没有自动机，也会出现这样那样的危险一样。

不过，我们在设计自动机的时候，除了考虑到降低风险之外，也需要考虑我们设定的目的不能太主观随意。如果只是把目标放在一个绝对的位置上，而没有顾及到可能的风险和意外，那么这样的自动机一定就跟那只猴掌一样让我们触目惊心。