科学网—liwei999的博文

再论大模型压缩的“有损”与“无损”

李维 2025-11-24 14:30

要把这一点说清楚，我们得从一个更底层的问题开始：什么是“真正的压缩”？为什么说“压缩就是智能”的同时，又不得不承认大模型在训练上是“有损”的？一、从第一性原理看“压缩”：柯氏复杂度与上帝视角程序在信息论和计算理论的深水区，“压缩”的终极定义并不是 zip、PNG 那种工程实践，而是：给定一段数 ...

个人分类: AI 浪潮|1284 次阅读|没有评论

自学习是思想革命，Transformer是工程火箭

李维 2025-11-8 08:27

很多人容易把“自（监督）学习”（Self-supervised Learning）和“Transformer”混为一谈。实际上，它们属于人工智能演化的两个不同层面。自学习是一条算法路线，它回答的是：“智能能否在没有人工标注的情况下，从数据中自己学习知识？” 它的革命性在于——让AI不再依赖昂贵的监督数据，也能学会完成原本需要监督 ...

个人分类: AI 浪潮|1409 次阅读|没有评论

CNN与RNN——让机器学会看与听

李维 2025-11-8 08:26

AI现代史从神经网络革命开始。其中CNN与RNN是当时的两个主流网络。要让计算机学会“看”，第一步是让它理解邻近像素之间的关系。我们人类识别物体时，并不会一眼就看透整张图片，而是聚焦在不同的局部区域：眼睛、嘴巴、轮廓。卷积神经网络（CNN）的原理正是模仿这一点。 CNN通过一个个“小窗口”（卷积核） ...

个人分类: AI 浪潮|1383 次阅读|没有评论

The Chain Rule: The Mathematical Guarantee Behind Backpropag

李维 2025-11-8 08:24

We know that backpropagation is the key to deep neural networks. What enables this key to unlock the door to deep learning is the chain rule . Mathematically, the chain rule for gradients guarantees that the direction of each local adjustment forms part of the overall direction ...

个人分类: AI 浪潮|1324 次阅读|没有评论

反向传播：深层神经网络的钥匙

李维 2025-11-8 08:22

【立委按：反向传播是现代AI最关键的算法，没有之一。是深度学习革命与大模型爆发的技术基础。如果你没听说过它，或者知之甚少，至少是该了解一点它，因为这是AI奇迹表现的基础。】通过增加非线性转换的“隐藏层”，网络可以把线性不可分的低维问题（如“异或门”）映射到更高维的、可分空间中。从此，神经网络具备了表 ...

个人分类: AI 浪潮|1441 次阅读|没有评论

小科普：图灵机是怎么工作的？

李维 2025-9-19 10:13

图灵机是所有计算和AI的理论原点。它是什么，如何工作的呢？ 1）开场：一支铅笔，一条纸带，一位年轻人 1936 年，一个 24 岁的年轻人叫阿兰·图灵。他没端出庞大的仪器，也没写密密麻麻的公式，只提出了一个简单到极致的主意：给我一条不限长的纸带，一个只会前后挪动的小脑袋，我就能把所有能算清楚的事，统统算清楚。 ...

个人分类: AI 浪潮|1939 次阅读|没有评论

说说神经 codec，大模型时代的音频技术要点

李维 2025-9-12 17:25

“Codec”是 coder（编码）和 decoder（解码）的合体，指一整套“压缩—还原”的机器：编码那端把声音挤压成更省空间的表示，解码那端再把它尽可能还原出来。在大模型时代，音频和文本一样，常被切成片段并编码成离散 token 的序列。用来量化的“音频词典”叫码本（codebook），好比厨房里的香料盒——一格格离散的小向 ...

个人分类: AI 浪潮|2437 次阅读|没有评论

“宇宙操作系统”：世界是怎么搭建的？

李维 2025-8-19 11:36

立委按：神龙见首不见尾的尼克老友，江湖上称尼克大师。他是计算理论家，红遍大江南北的《人工智能简史》作者。最近他在群内发了高论，谈的是计算主义世界观，笔记如下，或有启示。 1. 科学的“乌龟塔”：世界是怎么搭建的？ (TheTurtleStackofScience) 我们通常认为世界是这样一层一 ...

1991 次阅读|没有评论

Is the World Material or Informational?

李维 2025-8-19 11:33

ArecentdialoguewithmyoldbuddyNick,acomputationtheorist,sparkedafascinatingandprofoundlineofthought.Increasingly,hesaid,Ifeelthatcomputation&n ...

个人分类: AI 浪潮|1723 次阅读|没有评论

notebookLM赋能：隐藏推理，大模型推理模型的新动向

李维 2025-7-31 10:33

核心概念：隐性推理是什么？隐性推理指的是不通过显式语言步骤，而是在模型的隐藏状态中逐步完成推理过程。与传统的“思维链”（Chain-of-Thought, CoT）不同，隐性推理将逻辑操作埋藏在神经网络的连续激活中，从而展现出一种“内在的多步思考能力”。自动生成的英文 PPT presentation：视频播放器 ...

个人分类: AI 浪潮|2038 次阅读|没有评论

帐号		自动登录	找回密码
密码			注册

关闭 安全验证

liwei999

关闭安全验证