科学网—liwei999的博文

“宇宙操作系统”：世界是怎么搭建的？

李维 2025-8-19 11:36

立委按：神龙见首不见尾的尼克老友，江湖上称尼克大师。他是计算理论家，红遍大江南北的《人工智能简史》作者。最近他在群内发了高论，谈的是计算主义世界观，笔记如下，或有启示。 1. 科学的“乌龟塔”：世界是怎么搭建的？ (TheTurtleStackofScience) 我们通常认为世界是这样一层一 ...

2475 次阅读|没有评论

Is the World Material or Informational?

李维 2025-8-19 11:33

ArecentdialoguewithmyoldbuddyNick,acomputationtheorist,sparkedafascinatingandprofoundlineofthought.Increasingly,hesaid,Ifeelthatcomputation&n ...

个人分类: AI 浪潮|2091 次阅读|没有评论

notebookLM赋能：隐藏推理，大模型推理模型的新动向

李维 2025-7-31 10:33

核心概念：隐性推理是什么？隐性推理指的是不通过显式语言步骤，而是在模型的隐藏状态中逐步完成推理过程。与传统的“思维链”（Chain-of-Thought, CoT）不同，隐性推理将逻辑操作埋藏在神经网络的连续激活中，从而展现出一种“内在的多步思考能力”。自动生成的英文 PPT presentation：视频播放器 ...

个人分类: AI 浪潮|2518 次阅读|没有评论

思维等于语言吗??

李维 2025-7-25 12:53

有一派哲学家相信，思维等于语言，二者是一块铜币的两面。或曰：思维是内在的语言，语言是外在的思维。但这种观点经不起推敲。共识是，语言是思维内容的表达形式。理论上，任何内容都需要赖以存在的形式。老话说：“皮之不存，毛将焉附。” 但形式其实有两种：一种是他人能看得见摸得着的多模态外在形式（例如语言文 ...

个人分类: AI 浪潮|3131 次阅读|没有评论

破除“无损压缩即智能”的迷思

李维 2025-7-8 14:00

立委按：这两天跟大模型压缩理论干上了，发现，这里面目前在市面上仍然充满了迷思和误解。要命的是，压缩问题是大模型革命的首要问题，反映了大模型背后的奥秘和上帝之光。感觉到了正本清源的时候。我以为，当代生成式AI及其大模型的大爆发，其中有两个相互关联的核心问题，最值得花时间搞明白，否则就好比允许自己生活 ...

个人分类: AI 浪潮|3413 次阅读|没有评论

要区分GPT训练中的压缩，与拿GPT当压缩器工具

李维 2025-7-7 03:21

GPT训练中的压缩，与拿GPT当压缩器工具不是一回事，二者有很大的关联，但不是同一个层面的问题。GPT是无损还是有损压缩的混淆与争论，就是搞错了这个层面和视角。理论基础 (Solomonoff-Kolmogorov-Chaitin / Kolmogorov Complexity)：任何数据的“最本质”信息量是其柯氏复杂性 (KC) —— 计算理论中定 ...

个人分类: AI 浪潮|3057 次阅读|没有评论

信息论科普：香农极限（Shannon Limit）

李维 2025-7-7 03:17

香农极限（Shannon Limit）是信息论中最深刻、最优雅的概念之一，由“信息论之父”克劳德·香农（Claude Shannon）在1948年奠基性论文《通信的数学理论》中提出。它不仅定义了通信的终极边界，更揭示了信息、噪声与可靠性的本质关系。以下从四个维度解析其内涵：一、核心思想：信息传输的“光速壁垒” 香农极限 ...

个人分类: AI 浪潮|6761 次阅读|没有评论

GPT无损压缩小问答（3）：算术编码

李维 2025-7-7 03:16

GPT+算术编码是对数据的无损压缩。什么是算术编码？它是怎么工作的？算术编码：GPT压缩的“比特转换器” 算术编码 (Arithmetic Coding) 是经典的无损压缩算法。GPT作为“世界模型”为这个算法提供了前所未有的、超精准的语言数据的“概率地图”。核心作用：把概率分布变成最短的比特流 GPT内部的输出是 ...

个人分类: AI 浪潮|2995 次阅读|没有评论

从0实现并理解GPT

李维 2025-6-4 00:43

立委按：鉴于语言大模型GPT的重要性，特此根据AI大神Karpathy的nanoGPT讲座，编纂此科普系列。你可能已经听说过GPT（Generative Pre-trained Transformer）的鼎鼎大名，无论是能与你流畅对话的ChatGPT，还是能帮你写代码、写诗歌的AI助手，它们背后都有GPT的强大身影。但是，这个神奇的“黑箱”究竟是如何运作的呢 ...

个人分类: AI 浪潮|4377 次阅读|没有评论

大模型科普：探秘莎翁风格的诞生之旅（无代码版）

李维 2025-6-3 15:32

立委按：鉴于语言大模型GPT的重要性，特此根据AI大神Karpathy的nanoGPT讲座，编纂此科普系列，计五篇，其中此篇没有代码和数学公式，是最通俗的科普。其他四篇包括一篇英文，均附带可验证的Python代码，并给予不同角度的详细解说，面对有工程背景的对象。 ChatGPT这样的大语言模型在今天已展现出惊人的能力：它们能与 ...

个人分类: AI 浪潮|3191 次阅读|没有评论

帐号		自动登录	找回密码
密码			注册

关闭 安全验证

liwei999

关闭安全验证