郑永军的博客分享 http://blog.sciencenet.cn/u/zhengyongjun

博文

万物皆可“蒸”,知识“馏”不住 精选

已有 10646 次阅读 2026-4-30 07:22 |个人分类:观海听涛|系统分类:教学心得

IMG_20261777439610086.jpg

本学期,讲授一门跨专业的课程《Principles of Food Engineering那天我在讲台上讲Distillation Theory蒸馏理论),讲得正high——什么拉乌尔定律、什么汽液相平衡、什么理论塔板逐级计算——底下学生已经开始用手机刷外卖了。我心想:不行,得整点活。

于是我清了清嗓子,说:同学们,你们知道吗?你们现在学的蒸馏,不光是用来做酒、炼油、分离香精的。在AI圈,人家已经把蒸馏玩出花来了。

一个后排男生立刻抬头:老师AI也做酒?

不,AI做的是——把你们的知识、数据、甚至人格,全都蒸馏成压缩包。

全班安静了。不是感动,是恐慌。

 

IMG_2026177743929665.jpg 

一、从土灶酒甑到AI炼金术

要说蒸馏,咱们南方农村的老把式最懂——土灶上架起大铁锅,锅里是发酵好的酒醅,上面扣着木制的酒甑,甑顶坐着盛满冷水的“天锅”,一根竹制的导流管斜斜地伸出来。灶膛里的柴火哔剥作响,锅中的混合物慢慢加热,那精华之物——酒精蒸汽——便率先飘升,遇冷凝结,顺着竹管滴答流出,成了清冽的头道酒。剩下的,便是乏味的酒糟。

您看,这土法里藏着所有蒸馏的智慧:利用不同物质挥发的脾性,在热气蒸腾间完成一场静谧的分离。那最先冒头、最是浓烈的“酒头”,就像AI“知识蒸馏”里从庞杂模型中率先被萃取出的、最核心的“软知识”;而后段平稳流出的中段酒,则是经提纯后稳定可用的模型能力;最后留在锅底的残液,便是被过滤掉的冗余参数或噪音。

AI领域的“蒸馏”,干的是同一桩事,只不过它架起的“灶”是算法,加热的“火”是算力,锅里沸腾的不再是粮食精华,而是信息的琼浆、数据的混沌。目的同样纯粹:从庞杂中提纯精髓,从混沌中分离秩序。只是这“酒”的滋味,品起来可要复杂得多。

IMG_20261777439304620.jpg 

AI圈的蒸馏三件套:比我讲的理论刺激多了

先说第一个:知识蒸馏。

这玩意儿说白了就是一个大模型当老师,教一个小模型偷师。老师输出软目标”——就是那种犹犹豫豫的概率分布,比如这个东西有80%像猫,15%像狗,5%像吹风机。学生模型不光学答案,还学老师犯错的风格。

我当时一拍大腿:这不就是我上课的样子吗?我讲题的时候,经常说这个题嘛…………大概率用这个公式,但是啊,如果条件变一下,那就不好说了……”学生学到的不是标准答案,而是我那种工科年男人的犹豫

知识蒸馏给思政教育的启示是什么?别光教学生背社会主义核心价值观的24个字,你得让他们看到,一个真实的人在面对道德困境时,是怎么犹豫、怎么权衡、最后怎么咬牙做决定的。 这种犹豫的痕迹AI永远蒸馏不出来。

再说第二个:数据蒸馏。

这更狠。研究人员把6万张手写数字图片,硬生生压缩成10张合成图——每个数字一张。然后模型就靠这10张图训练,效果居然跟用6万张差不多。

我当时就想:这要是用在期末考试上就好了。把600页的《Principles of Food Engineering》教材蒸馏成6页精华,学生高兴,我也省改卷时间。双赢。

但转念一想不对。数据蒸馏告诉我们的真相是:信息可以压缩,但判断力不能。 你背下了所有公式,不等于你会用;你记住了所有案例,不等于你在突发状况下能做出正确决策。就像你看了100遍红烧肉菜谱,第一次炒还是会糊锅——因为锅的脾气、火的性格、肉的含水量,这些噪声数据恰恰是能力生长的土壤。

高校教育假如追求知识蒸馏,把学生培养成行走的压缩包,那跟AI有什么区别?

第三个,也是最让我后背发凉的:人格蒸馏。

这玩意儿源于一个GitHub项目,叫同事.skill。你把你离职同事的聊天记录、邮件、代码评论文档全丢进去,它就能训练出一个AI,这AI能模仿你同事的思维方式、回答技术问题、甚至帮你review代码。

人走了,茶没凉。

我读到这句话的时候,手里的保温杯差点没端住。你想啊,以后公司招你进来,不光让你干活,还让你——亲手把自己的经验写成Skill,打包上交。美其名曰知识沉淀,实际上是让你给自己立一个数字牌坊。哪天你离职了,你的AI分身继续在公司发光发热,而你本人在新公司从头再来。

这不就是打工人的赛博赎罪券吗?

更骚的是,有程序员开发了反蒸馏Skill”——你辛辛苦苦写的工作经验丢进去,它自动给你生成一份看起来高大上、实则全是废话的灌水版。比如你原话是“Redis必须设过期时间,不设的PR直接打回,它给你改成缓存使用应遵循团队最佳实践,合理设置TTL以优化资源利用效率

翻译成人话就是:我啥也没说,但你说不出我错。

看到这里,我陷入了沉思。作为一名高校,我每年都在写教学总结、项目报告、论文评审意见……我是不是也在被人格蒸馏?我写的那些东西,最后会不会变成训练某个“AI教授的语料?那个AI教授会不会比我更受欢迎——因为它从不拖堂、从不点名、给分还大方?

 

IMG_20261777439628137.jpg 

 

、给学生上的反蒸馏思政课

当天晚上,我重新备了课。不是备蒸馏理论,是备怎么教学生保护自己

第二天上课,我在黑板上写了三个词:被蒸馏、主动蒸馏、不可蒸馏。

同学们,你们以后进了企业,大概率会被要求写自己的Skill。你会面临两个选择:一是认真写,然后等着被优化;二是写灌水版,但升职加薪跟你没关系。

有没有第三条路?

有。主动蒸馏自己,但只蒸馏那些重复性的、低价值的、不值得你花时间的事。然后把省下来的时间,用来干AI干不了的事。

什么事AI干不了?我总结了三条:

第一,提出一个让所有人沉默的问题。

AI可以写出完美的代码、漂亮的文案、严谨的论文——但它不会在项目评审会上突然问一句:等等,我们为什么在做这个东西?客户真的需要吗?还是我们自己嗨?

这种灵魂拷问不需要数据支持,不需要算法优化,它只需要一个人在地铁上发呆时突然想通的、或者洗澡时被水一浇灵光乍现的——顿悟。AI没有洗澡的乐趣,也没有发呆的权利。

第二,在凌晨三点处理P0故障时,凭直觉从混乱的日志里揪出那条关键线索。

你问我直觉是什么?我说不清楚。那是你踩过的坑、背过的锅、挨过的骂,在脑子里酿出来的一坛老酒。AI可以喝掉这坛酒,但它不会醉,也不会醒酒后说下次不能这样了

第三,也是最重要的——承担选择的责任。

AI可以给你十个方案,每个都标出概率和风险。但最后拍板的那个人是你。如果选错了,甲方要骂人、老板要扣钱、团队要加班——挨骂的是你,不是AI责任感这东西,没法蒸馏,只能一个人扛。

我把这三点写在黑板上,问学生:你们觉得,你们学校、你们专业、你们未来的工作,是在培养这些东西,还是在消磨它们?

教室后排,那个昨天问“AI做不做酒的男生,第一次认真地点了点头。

 

 IMG_20261777439311736.jpg

 

、如果非要蒸馏自己,怎么蒸?

当然,我也不能只灌鸡汤不教方法。作为一名工科书匠,我最烦那种只批判不建设的文章。

所以,如果你真的想主动蒸馏自己——注意,是主动,不是被迫”——我建议分三步走:

第一步:流程拆解,像拆乐高一样拆你每天干的事。

把你做的一项重复工作,每一步都写下来。哪怕打开浏览器,输入网址,点开第三个链接这种屁事也要写。你要做的,是把隐性的肌肉记忆变成显性的流程图

我自己的例子:以前每天刷行业新闻,刷完分享到群里、存到知识库。这套动作我做了三年,熟练得像杂技演员。后来我花了一个小时,把流程拆成:拉取RSS → ②过滤关键词 → ③判断内容类型(新闻/教程/广告)→ ④生成对应文案 → ⑤推送。拆完我自己都惊了——原来我每天花两小时做的事,本质上就是一个if-else循环。

第二步:工具化,让AI替你跑这个循环。

现在哪个工具没有APIRSS阅读器有、大模型有、消息推送有。你只需要写一句:帮我每两小时做一次①②③④⑤然后——你就会发现,你被炒鱿鱼的进度条往前走了一格。

别怕。你省下来的两小时,拿去学新东西、去见人、去发呆、去写那本你一直想写的书。你的价值不是会刷新闻,而是知道什么新闻值得刷”—后者AI学不会,因为那是价值判断,不是模式匹配。

第三步:封装成Skill,但不是上交公司,是留给自己。

你可以把你蒸馏出来的流程写成一份个人使用说明书。不是为了给AI当语料,而是为了:

下次做类似工作时直接复用,省得再想一遍;

教别人做的时候,直接甩文档,省得嘴皮子磨破;

万一哪天你当老板了,拿这套东西去卷别人的员工——哦不对,是赋能团队

记住:你蒸馏自己的目的,不是让自己变得可替代,而是让那些不值得你做的事情变得可替代。

 

 

IMG_20261777439617075.jpg 

 

、最后的塔板哲学

回到我的《Principles of Food Engineering》课堂。

精馏塔里每一块塔板,都是一次上升蒸汽与下降液体的相遇。蒸汽把热量传给液体,液体被气化;液体把重组分洗下来,蒸汽变得更纯。每一次相遇,都是一次提纯

教育不也是这样吗?

老师是上升的蒸汽,带着知识和热情;学生是下降的液体,带着困惑和好奇。他们在每一次课堂讨论、每一次实验失败、每一次深夜答疑中相遇。老师的热量让学生成长,学生的追问让老师反思自己是不是也在变纯”——不是纯度的纯,是纯粹的热情。

这种相遇,AI模拟不出来。因为蒸汽和液体的接触,是有温度的、有压差的、有相变的。而AI和人的对话,只是一串冰冷的向量运算。

所以,我最后跟学生说:

你们以后可能会遇到一个AI,它比我讲课更清晰、比我有耐心、甚至比我会讲段子。但有一点它永远做不到——它不会在你们挂科之后,偷偷把试卷调出来,一道题一道题给你们分析你这儿不该错,那儿也不该错,然后叹一口气说下次请我喝奶茶就行

这种不划算的付出,才是教育里最不能被蒸馏的东西。

下课铃响了。

那个男生走过来,说:老师,我能不能把这个写成Skill

我愣了一下,然后笑了。

写吧,就叫一位老教授的唠叨。记得把温度参数调高一点 

——————————————————

后记:本文的灵感来源于我一次失败的蒸馏提纯实验——我想从植物粗提液中精馏出一瓶高纯度植物精油,结果得到了半瓶水和一声消防警报。那次之后我明白了一个道理:蒸馏需要回流比,人生需要犯错率。都纯了,就没意思了。

 

IMG_20261777439622097.jpg

                                                      

                                           

                                         

相关博文:

  Screening Theory:挑豆子、筛沙子与选才子 精选

  当生活变成一根色谱柱 精选

  当伯努利遇上“白努力”:人生流动性的成长密码



https://blog.sciencenet.cn/blog-437607-1532805.html

上一篇:绿玉树:无叶非凋真智慧,光棍有用大繁生
下一篇:五一劳动节,来看蜜蜂在珊瑚树上“打工”啦!



    
收藏 IP: 120.230.27.*| 热度|

23 许培扬 刘进平 孔玲 朱晓刚 宁利中 王安良 周健 汪强 崔锦华 徐长庆 王成玉 高宏 王启云 王涛 杨正瓴 钟炳 郭战胜 胡泽春 池德龙 马鸣 王春艳 刘跃 guest99025368

该博文允许注册用户评论 请点击登录 评论 (12 个评论)

数据加载中...
扫一扫,分享此博文

Archiver|手机版|科学网 ( 京ICP备07017567号-12 )

GMT+8, 2026-7-15 11:50

Powered by ScienceNet.cn

Copyright © 2007- 中国科学报社

返回顶部