博文
全部博文|立委科普|
镜子大全|
朝华午拾|
夫子遗墨|
叔爷诗词|
岁月如歌|
立委推荐|
留学资讯|
立委随笔|
风雨春秋|
老师文集|
江东文集|
文艺点评|
其他杂碎|
师姐专辑|
世运资料|
成长花絮|
立委其人|
江城记事|
神秘花园|
笔细文集|
立委录像|
镜子医疗卫生专栏|
社媒挖掘|
Little Stories of Tian Tian|
旧文翻新|
AI 浪潮|
李名杰医学论文集（英文）|
李名杰医学论文集|
- 再论大模型压缩的“有损”与“无损”
- 要把这一点说清楚，我们得从一个更底层的问题开始： 什么是“真正的压缩”？ 为什么说“压缩就是智能”的同时，又不得不承认大模型在训练上是“有损”的？ 一、从第一性原理看“压缩”：柯氏复杂度与上帝视角程序 在信息论和计算理论的深水区，“压缩”的终极定义并不是 zip、PNG 那种工程实践，而是： 给定一段数 ...
- 大模型是无损压缩还是有损压缩，李飞飞与伊利亚谁是对的？
- 智能的本质：在“有损”与“无损”的压缩悖论中寻找答案 前言：一场“鸡同鸭讲”的高端对话 在人工智能的理论高地上，最近出现了一场看似矛盾的争论。 一方面，AI教母李飞飞（Fei-Fei Li）指出：大模型是一种 有损压缩 （Lossy Compression）。这一观点直观且符合经验——模型会产生幻觉，无法100%还原训练数据中的每一个 ...
- GPT非监督学习到底怎么就学会了各种监督任务呢？
- 这个问题是研究过大模型原理的人都容易卡住的一个“门槛”。这不是简单的“监督 vs 非监督”分类问题，而是关涉 信息结构、任务表征和隐式监督 在超大规模训练下发生的质变，或曰能力涌现。我们可以一点点拆开来看，为什么一个看似简单的“预测下一个词”（NTP）目标的GPT预训练，就能奇迹般地涵盖几乎所有任务的规律，成 ...
- 自学习是思想革命，Transformer是工程火箭
- 很多人容易把“自（监督）学习”（Self-supervised Learning）和“Transformer”混为一谈。实际上，它们属于人工智能演化的两个不同层面。 自学习 是一条 算法路线 ，它回答的是：“智能能否在没有人工标注的情况下，从数据中自己学习知识？” 它的革命性在于——让AI不再依赖昂贵的监督数据，也能学会完成原本需要监督 ...
- CNN与RNN——让机器学会看与听
- AI现代史从神经网络革命开始。其中CNN与RNN是当时的两个主流网络。 要让计算机学会“看”，第一步是让它理解 邻近像素之间的关系 。我们人类识别物体时，并不会一眼就看透整张图片，而是聚焦在不同的局部区域：眼睛、嘴巴、轮廓。 卷积神经网络（CNN） 的原理正是模仿这一点。 CNN通过一个个“小窗口”（卷积核） ...
- Backpropagation: The Key to Deep Neural Networks
- By introducing hidden layers that perform nonlinear transformations, a network can map linearly inseparable low-dimensional problems (like the XOR gate) into higher-dimensional, separable spaces. From this point on, neural networks gained the ability to represent complex patterns for approxim ...
- The Chain Rule: The Mathematical Guarantee Behind Backpropag
- We know that backpropagation is the key to deep neural networks. What enables this key to unlock the door to deep learning is the chain rule . Mathematically, the chain rule for gradients guarantees that the direction of each local adjustment forms part of the overall direction ...
- 链式法则：反向传播能work的数学保证
- 我们知道，反向传播是深层神经网络的钥匙。这把钥匙可以开启深度学习的大门，靠的是链式法则。 数学上，梯度的链式法则（chain rule）保证了：每个局部调整的方向，都是全局误差下降方向的一部分。算法通过链式求导，让每个连接只计算自己那一小段“责任”，而这些局部导数在数学上拼接起来，正好构成总体误差下降的方 ...
- 反向传播：深层神经网络的钥匙
- 【立委按：反向传播是现代AI最关键的算法，没有之一。是深度学习革命与大模型爆发的技术基础。如果你没听说过它，或者知之甚少，至少是该了解一点它，因为这是AI奇迹表现的基础。】 通过增加非线性转换的“隐藏层”，网络可以把线性不可分的低维问题（如“异或门”）映射到更高维的、可分空间中。从此，神经网络具备了表 ...
- 从高级语言的基本逻辑装置到图灵机的编译
- （Howif,and,orallcollapseinto0/1moves） 引子： if 从哪里来？ 写过程序的人都熟悉这样的语句： if x == 0 :y = 1 else :y = 2 我们自然觉得，计算机理解if是天经地义的，这是最基本的条件逻辑。但问题来了： 一台图 ...
