zhaohai的个人博客分享 http://blog.sciencenet.cn/u/zhaohai

博文

涌现是复制的误差

已有 234 次阅读 2026-5-22 13:07 |个人分类:思考点滴|系统分类:科研笔记

《普适计算》的核心就是注意力问题

正如Transformer的两种核心逻辑,恰好对应着人注意力的两种状态,这也是技术与人性最奇妙的共鸣。传统神经网络的逻辑,像人年轻时的注意力模式:被动接收所有外部输入,按顺序响应,被权威、主流、外界评价牵着走,就像RNN、CNN,只能顺着既定顺序处理信息,没有自主选择的空间。

这种模式看似“安全”,却会让AI陷入混乱,所谓的“幻觉”就是如此,也会让人迷失自我——本质都是“没有自主定义注意力的能力”。老夫二十年前写过一本书《普适计算》,就是在讨论注意力问题。

今天的AI,如Transformer的两种逻辑,从被动跟随到主动选择:

1. 传统神经网络如年轻人:被外界牵着走,没有自主权;

2. Transformer如成熟者:主动筛选重点,屏蔽噪音;

3. 多头注意力=多维思考:同时兼顾本心与现实;

4. 权重分配是关键:把精力投给真正重要的事;

5. 混乱源于权重错位:过度关注外界评价。

奥卡姆剃刀的本质就是选择性。所以吾人常说,选择往往比努力更重要。每天做一次"注意力审计",问自己"这事值得吾投入多少注意力"。

奥卡姆剃刀版定义了什么值得关注,比获取更多信息更重要。

总结:注意力→权值→选择;

多维思考→权重分配→路径错位。




https://blog.sciencenet.cn/blog-36125-1535947.html

上一篇:能量流动,秩序自生
下一篇:投影
收藏 IP: 175.164.175.*| 热度|

1 尤明庆

该博文允许注册用户评论 请点击登录 评论 (0 个评论)

数据加载中...
扫一扫,分享此博文

全部作者的其他最新博文

Archiver|手机版|科学网 ( 京ICP备07017567号-12 )

GMT+8, 2026-5-30 03:55

Powered by ScienceNet.cn

Copyright © 2007- 中国科学报社

返回顶部