||
《普适计算》的核心就是注意力问题
正如Transformer的两种核心逻辑,恰好对应着人注意力的两种状态,这也是技术与人性最奇妙的共鸣。传统神经网络的逻辑,像人年轻时的注意力模式:被动接收所有外部输入,按顺序响应,被权威、主流、外界评价牵着走,就像RNN、CNN,只能顺着既定顺序处理信息,没有自主选择的空间。
这种模式看似“安全”,却会让AI陷入混乱,所谓的“幻觉”就是如此,也会让人迷失自我——本质都是“没有自主定义注意力的能力”。老夫二十年前写过一本书《普适计算》,就是在讨论注意力问题。
今天的AI,如Transformer的两种逻辑,从被动跟随到主动选择:
1. 传统神经网络如年轻人:被外界牵着走,没有自主权;
2. Transformer如成熟者:主动筛选重点,屏蔽噪音;
3. 多头注意力=多维思考:同时兼顾本心与现实;
4. 权重分配是关键:把精力投给真正重要的事;
5. 混乱源于权重错位:过度关注外界评价。
奥卡姆剃刀的本质就是选择性。所以吾人常说,选择往往比努力更重要。每天做一次"注意力审计",问自己"这事值得吾投入多少注意力"。
奥卡姆剃刀版定义了什么值得关注,比获取更多信息更重要。
总结:注意力→权值→选择;
多维思考→权重分配→路径错位。
Archiver|手机版|科学网 ( 京ICP备07017567号-12 )
GMT+8, 2026-5-30 06:29
Powered by ScienceNet.cn
Copyright © 2007- 中国科学报社