郑永军的博客分享 http://blog.sciencenet.cn/u/zhengyongjun

博文

万物皆可“蒸”,知识“馏”不住 精选

已有 370 次阅读 2026-4-30 07:22 |个人分类:观海听涛|系统分类:教学心得

IMG_20261777439610086.jpg

本学期,讲授一门跨专业的课程《Principles of Food Engineering那天我在讲台上讲Distillation Theory蒸馏理论),讲得正high——什么拉乌尔定律、什么汽液相平衡、什么理论塔板逐级计算——底下学生已经开始用手机刷外卖了。我心想:不行,得整点活。

于是我清了清嗓子,说:同学们,你们知道吗?你们现在学的蒸馏,不光是用来做酒、炼油、分离香精的。在AI圈,人家已经把蒸馏玩出花来了。

一个后排男生立刻抬头:老师AI也做酒?

不,AI做的是——把你们的知识、数据、甚至人格,全都蒸馏成压缩包。

全班安静了。不是感动,是恐慌。

 

IMG_2026177743929665.jpg 

一、从土灶酒甑到AI炼金术

要说蒸馏,咱们南方农村的老把式最懂——土灶上架起大铁锅,锅里是发酵好的酒醅,上面扣着木制的酒甑,甑顶坐着盛满冷水的“天锅”,一根竹制的导流管斜斜地伸出来。灶膛里的柴火哔剥作响,锅中的混合物慢慢加热,那精华之物——酒精蒸汽——便率先飘升,遇冷凝结,顺着竹管滴答流出,成了清冽的头道酒。剩下的,便是乏味的酒糟。

您看,这土法里藏着所有蒸馏的智慧:利用不同物质挥发的脾性,在热气蒸腾间完成一场静谧的分离。那最先冒头、最是浓烈的“酒头”,就像AI“知识蒸馏”里从庞杂模型中率先被萃取出的、最核心的“软知识”;而后段平稳流出的中段酒,则是经提纯后稳定可用的模型能力;最后留在锅底的残液,便是被过滤掉的冗余参数或噪音。

AI领域的“蒸馏”,干的是同一桩事,只不过它架起的“灶”是算法,加热的“火”是算力,锅里沸腾的不再是粮食精华,而是信息的琼浆、数据的混沌。目的同样纯粹:从庞杂中提纯精髓,从混沌中分离秩序。只是这“酒”的滋味,品起来可要复杂得多。

IMG_20261777439304620.jpg 

AI圈的蒸馏三件套:比我讲的理论刺激多了

先说第一个:知识蒸馏。

这玩意儿说白了就是一个大模型当老师,教一个小模型偷师。老师输出软目标”——就是那种犹犹豫豫的概率分布,比如这个东西有80%像猫,15%像狗,5%像吹风机。学生模型不光学答案,还学老师犯错的风格。

我当时一拍大腿:这不就是我上课的样子吗?我讲题的时候,经常说这个题嘛…………大概率用这个公式,但是啊,如果条件变一下,那就不好说了……”学生学到的不是标准答案,而是我那种工科年男人的犹豫

知识蒸馏给思政教育的启示是什么?别光教学生背社会主义核心价值观的24个字,你得让他们看到,一个真实的人在面对道德困境时,是怎么犹豫、怎么权衡、最后怎么咬牙做决定的。 这种犹豫的痕迹AI永远蒸馏不出来。

再说第二个:数据蒸馏。

这更狠。研究人员把6万张手写数字图片,硬生生压缩成10张合成图——每个数字一张。然后模型就靠这10张图训练,效果居然跟用6万张差不多。

我当时就想:这要是用在期末考试上就好了。把600页的《Principles of Food Engineering》教材蒸馏成6页精华,学生高兴,我也省改卷时间。双赢。

但转念一想不对。数据蒸馏告诉我们的真相是:信息可以压缩,但判断力不能。 你背下了所有公式,不等于你会用;你记住了所有案例,不等于你在突发状况下能做出正确决策。就像你看了100遍红烧肉菜谱,第一次炒还是会糊锅——因为锅的脾气、火的性格、肉的含水量,这些噪声数据恰恰是能力生长的土壤。

高校教育假如追求知识蒸馏,把学生培养成行走的压缩包,那跟AI有什么区别?

第三个,也是最让我后背发凉的:人格蒸馏。

这玩意儿源于一个GitHub项目,叫同事.skill。你把你离职同事的聊天记录、邮件、代码评论文档全丢进去,它就能训练出一个AI,这AI能模仿你同事的思维方式、回答技术问题、甚至帮你review代码。

人走了,茶没凉。

我读到这句话的时候,手里的保温杯差点没端住。你想啊,以后公司招你进来,不光让你干活,还让你——亲手把自己的经验写成Skill,打包上交。美其名曰知识沉淀,实际上是让你给自己立一个数字牌坊。哪天你离职了,你的AI分身继续在公司发光发热,而你本人在新公司从头再来。

这不就是打工人的赛博赎罪券吗?

更骚的是,有程序员开发了反蒸馏Skill”——你辛辛苦苦写的工作经验丢进去,它自动给你生成一份看起来高大上、实则全是废话的灌水版。比如你原话是“Redis必须设过期时间,不设的PR直接打回,它给你改成缓存使用应遵循团队最佳实践,合理设置TTL以优化资源利用效率

翻译成人话就是:我啥也没说,但你说不出我错。

看到这里,我陷入了沉思。作为一名高校,我每年都在写教学总结、项目报告、论文评审意见……我是不是也在被人格蒸馏?我写的那些东西,最后会不会变成训练某个“AI教授的语料?那个AI教授会不会比我更受欢迎——因为它从不拖堂、从不点名、给分还大方?

 

IMG_20261777439628137.jpg 

 

、给学生上的反蒸馏思政课

当天晚上,我重新备了课。不是备蒸馏理论,是备怎么教学生保护自己

第二天上课,我在黑板上写了三个词:被蒸馏、主动蒸馏、不可蒸馏。

同学们,你们以后进了企业,大概率会被要求写自己的Skill。你会面临两个选择:一是认真写,然后等着被优化;二是写灌水版,但升职加薪跟你没关系。

有没有第三条路?

有。主动蒸馏自己,但只蒸馏那些重复性的、低价值的、不值得你花时间的事。然后把省下来的时间,用来干AI干不了的事。

什么事AI干不了?我总结了三条:

第一,提出一个让所有人沉默的问题。

AI可以写出完美的代码、漂亮的文案、严谨的论文——但它不会在项目评审会上突然问一句:等等,我们为什么在做这个东西?客户真的需要吗?还是我们自己嗨?

这种灵魂拷问不需要数据支持,不需要算法优化,它只需要一个人在地铁上发呆时突然想通的、或者洗澡时被水一浇灵光乍现的——顿悟。AI没有洗澡的乐趣,也没有发呆的权利。

第二,在凌晨三点处理P0故障时,凭直觉从混乱的日志里揪出那条关键线索。

你问我直觉是什么?我说不清楚。那是你踩过的坑、背过的锅、挨过的骂,在脑子里酿出来的一坛老酒。AI可以喝掉这坛酒,但它不会醉,也不会醒酒后说下次不能这样了

第三,也是最重要的——承担选择的责任。

AI可以给你十个方案,每个都标出概率和风险。但最后拍板的那个人是你。如果选错了,甲方要骂人、老板要扣钱、团队要加班——挨骂的是你,不是AI责任感这东西,没法蒸馏,只能一个人扛。

我把这三点写在黑板上,问学生:你们觉得,你们学校、你们专业、你们未来的工作,是在培养这些东西,还是在消磨它们?

教室后排,那个昨天问“AI做不做酒的男生,第一次认真地点了点头。

 

 IMG_20261777439311736.jpg

 

、如果非要蒸馏自己,怎么蒸?

当然,我也不能只灌鸡汤不教方法。作为一名工科书匠,我最烦那种只批判不建设的文章。

所以,如果你真的想主动蒸馏自己——注意,是主动,不是被迫”——我建议分三步走:

第一步:流程拆解,像拆乐高一样拆你每天干的事。

把你做的一项重复工作,每一步都写下来。哪怕打开浏览器,输入网址,点开第三个链接这种屁事也要写。你要做的,是把隐性的肌肉记忆变成显性的流程图

我自己的例子:以前每天刷行业新闻,刷完分享到群里、存到知识库。这套动作我做了三年,熟练得像杂技演员。后来我花了一个小时,把流程拆成:拉取RSS → ②过滤关键词 → ③判断内容类型(新闻/教程/广告)→ ④生成对应文案 → ⑤推送。拆完我自己都惊了——原来我每天花两小时做的事,本质上就是一个if-else循环。

第二步:工具化,让AI替你跑这个循环。

现在哪个工具没有APIRSS阅读器有、大模型有、消息推送有。你只需要写一句:帮我每两小时做一次①②③④⑤然后——你就会发现,你被炒鱿鱼的进度条往前走了一格。

别怕。你省下来的两小时,拿去学新东西、去见人、去发呆、去写那本你一直想写的书。你的价值不是会刷新闻,而是知道什么新闻值得刷”—后者AI学不会,因为那是价值判断,不是模式匹配。

第三步:封装成Skill,但不是上交公司,是留给自己。

你可以把你蒸馏出来的流程写成一份个人使用说明书。不是为了给AI当语料,而是为了:

下次做类似工作时直接复用,省得再想一遍;

教别人做的时候,直接甩文档,省得嘴皮子磨破;

万一哪天你当老板了,拿这套东西去卷别人的员工——哦不对,是赋能团队

记住:你蒸馏自己的目的,不是让自己变得可替代,而是让那些不值得你做的事情变得可替代。

 

 

IMG_20261777439617075.jpg 

 

、最后的塔板哲学

回到我的《Principles of Food Engineering》课堂。

精馏塔里每一块塔板,都是一次上升蒸汽与下降液体的相遇。蒸汽把热量传给液体,液体被气化;液体把重组分洗下来,蒸汽变得更纯。每一次相遇,都是一次提纯

教育不也是这样吗?

老师是上升的蒸汽,带着知识和热情;学生是下降的液体,带着困惑和好奇。他们在每一次课堂讨论、每一次实验失败、每一次深夜答疑中相遇。老师的热量让学生成长,学生的追问让老师反思自己是不是也在变纯”——不是纯度的纯,是纯粹的热情。

这种相遇,AI模拟不出来。因为蒸汽和液体的接触,是有温度的、有压差的、有相变的。而AI和人的对话,只是一串冰冷的向量运算。

所以,我最后跟学生说:

你们以后可能会遇到一个AI,它比我讲课更清晰、比我有耐心、甚至比我会讲段子。但有一点它永远做不到——它不会在你们挂科之后,偷偷把试卷调出来,一道题一道题给你们分析你这儿不该错,那儿也不该错,然后叹一口气说下次请我喝奶茶就行

这种不划算的付出,才是教育里最不能被蒸馏的东西。

下课铃响了。

那个男生走过来,说:老师,我能不能把这个写成Skill

我愣了一下,然后笑了。

写吧,就叫一位老教授的唠叨。记得把温度参数调高一点 

——————————————————

后记:本文的灵感来源于我一次失败的蒸馏提纯实验——我想从植物粗提液中精馏出一瓶高纯度植物精油,结果得到了半瓶水和一声消防警报。那次之后我明白了一个道理:蒸馏需要回流比,人生需要犯错率。都纯了,就没意思了。

 

IMG_20261777439622097.jpg

                                                      

                                           

                                         

相关博文:

  Screening Theory:挑豆子、筛沙子与选才子 精选

  当生活变成一根色谱柱 精选

  当伯努利遇上“白努力”:人生流动性的成长密码



https://blog.sciencenet.cn/blog-437607-1532805.html

上一篇:绿玉树:无叶非凋真智慧,光棍有用大繁生
收藏 IP: 120.230.27.*| 热度|

3 郑永军 许培扬 刘进平

该博文允许注册用户评论 请点击登录 评论 (1 个评论)

数据加载中...

Archiver|手机版|科学网 ( 京ICP备07017567号-12 )

GMT+8, 2026-4-30 10:32

Powered by ScienceNet.cn

Copyright © 2007- 中国科学报社

返回顶部