再论大模型压缩的“有损”与“无损” 2025-11-24

要把这一点说清楚，我们得从一个更底层的问题开始： 什么是“真正的压缩”？ 为什么说“压缩就是智能”的同时，又不得不承认大模型在训练上是“有损”的？ ...

(1266)次阅读|(0)个评论

大模型是无损压缩还是有损压缩，李飞飞与伊利亚谁是对的？ 2025-11-24

智能的本质：在“有损”与“无损”的压缩悖论中寻找答案 前言：一场“鸡同鸭讲”的高端对话 在人工智能的理论高地上，最近出现了一场看似矛盾的争论。 一方面， ...

(629)次阅读|(0)个评论

GPT非监督学习到底怎么就学会了各种监督任务呢？ 2025-11-10

这个问题是研究过大模型原理的人都容易卡住的一个“门槛”。这不是简单的“监督 vs 非监督”分类问题，而是关涉 信息结构、任务表征和隐式监督 在超大规模训练 ...

(2585)次阅读|(0)个评论

自学习是思想革命，Transformer是工程火箭 2025-11-08

很多人容易把“自（监督）学习”（Self-supervised Learning）和“Transformer”混为一谈。实际上，它们属于人工智能演化的两个不同层面。 自学习 是一条 算 ...

(1389)次阅读|(0)个评论

CNN与RNN——让机器学会看与听 2025-11-08

AI现代史从神经网络革命开始。其中CNN与RNN是当时的两个主流网络。 要让计算机学会“看”，第一步是让它理解 邻近像素之间的关系 。我们人类识别物体时，并不 ...

(1366)次阅读|(0)个评论

Backpropagation: The Key to Deep Neural Networks 2025-11-08

By introducing "hidden layers" that perform nonlinear transformations, a network can map linearly inseparable low-dimensional problems (like the ...

(2955)次阅读|(0)个评论

The Chain Rule: The Mathematical Guarantee Behind Backpropag 2025-11-08

We know that backpropagation is the key to deep neural networks. What enables this key to unlock the door to deep learning is the  chain rule ...

(1312)次阅读|(0)个评论

链式法则：反向传播能work的数学保证 2025-11-08

我们知道，反向传播是深层神经网络的钥匙。这把钥匙可以开启深度学习的大门，靠的是链式法则。 数学上，梯度的链式法则（chain rule）保证了：每个局部调整 ...

(1099)次阅读|(0)个评论

反向传播：深层神经网络的钥匙 2025-11-08

【立委按：反向传播是现代AI最关键的算法，没有之一。是深度学习革命与大模型爆发的技术基础。如果你没听说过它，或者知之甚少，至少是该了解一点它，因为这是A ...

(1428)次阅读|(0)个评论

从高级语言的基本逻辑装置到图灵机的编译 2025-09-19

（How if, and, or all collapse into 0/1 moves） 引子： if  从哪里来？ 写过程序的人都熟悉这样的语句： ...

(2685)次阅读|(0)个评论

小科普：图灵机是怎么工作的？ 2025-09-19

图灵机是所有计算和AI的理论原点。它是什么，如何工作的呢？ 1）开场：一支铅笔，一条纸带，一位年轻人 1936 年，一个 24 岁的年轻人叫阿兰·图灵。他没端出 ...

(1929)次阅读|(0)个评论

尼克讲座第二弹：语言=思维=智能=计算=图灵机？ 2025-09-19

尼克大师《计算与智能的第一性原理》第二讲出来了（请查微信视频号）——什么是计算？为什么说图灵定义了计算？为何计算机科学以他的理论为基石？笔记如下。 ...

(1610)次阅读|(0)个评论

Breakthroughs in Speech Technology in the Era of Large Model 2025-09-14

As large language models (LLMs) expand into audio, progress has been breathtaking. “LLM-native” speech technology reached practical maturity roughl ...

(3081)次阅读|(0)个评论

Neural Codec: Key Audio Techniques in the LLM Era 2025-09-14

“Codec” is short for coder–decoder: an end-to-end machine for compressing and then restoring audio. The encoder compressess a signal into a more c ...

(944)次阅读|(0)个评论

马斯克的乌托邦宣言 2025-09-14

引言 自特斯拉成立以来，我们每一轮的宏图计划都聚焦于我们的北极星目标：以毫不妥协的方式实现不受约束的可持续性。 人类是工具的制造者。在特斯拉，我们大 ...

(3765)次阅读|(0)个评论

大模型时代的语音技术突破：超写实和全双工 2025-09-13

大语言模型（LLM）延展至音频，一路狂飙，LLM-native 的语音技术大约在半年多前开始成熟，全行业都起来了。技术成熟的重要标志是两个重要的 featrures：超写实 ...

(8700)次阅读|(0)个评论

说说神经 codec，大模型时代的音频技术要点 2025-09-12

“Codec”是 coder（编码）和 decoder（解码）的合体，指一整套“压缩—还原”的机器：编码那端把声音挤压成更省空间的表示，解码那端再把它尽可能还原出来。 ...

(2420)次阅读|(0)个评论

跨模态连接器范式：谷歌模型Flamingo回顾 2025-09-03

Flamingo：桥接视觉模型与文本LLM 多模态模型研究历史上的另一个里程碑工作是谷歌DeepMind 的 Flamingo，其定位是 少样本（few shots）多模态 ：给它一段“图 ...

(1772)次阅读|(0)个评论

图文对齐的关键一跃：CLIP 回顾 2025-09-03

如何把“图”和“文”放进同一张地图 CLIP（Contrastive Language-Image Pre-training）是由OpenAI提出的跨模态预训练对比学习模型，是多模态研究的重要突破之 ...

(2001)次阅读|(0)个评论

注意力塌缩：关于“秩”的误会与真相 2025-08-30

话题听上去冷僻，却关乎大模型的命脉。 进入技术话题之前，熟悉一下基本概念 什么是矩阵的秩（Rank）？ 你可以把一个矩阵想象成一堆向量排成的表格。 秩 (ra ...

(8324)次阅读|(0)个评论

查看更多