科学网

 找回密码
  注册
AI Reflections on 2025
李维 2025-12-18 21:35
When Agents Take Over the Entry Points: Search Moves to the Background, and Your Phone and Car Start “Doing Things for You” In 2025, multimodal models and agents pushed AI from “answering questions” to “getting things done.” Suno v5 made it possible for ordinary people to reliably produce ...
个人分类: AI 浪潮|1878 次阅读|没有评论
2025 年 AI 感怀
李维 2025-12-18 12:43
当入口被 Agent 接管,搜索退居后台,手机与汽车开始“替你办事” 2025年,多模态与agent把AI从“会回答”推进到“会办事”。Sunov5让普通人稳定产出可循环音乐;Sora2把视频从片段生成推向分镜与一致性生产;FSD的高覆盖使用让安全讨论更接近apples-t ...
个人分类: AI 浪潮|1552 次阅读|没有评论
大模型训练的数据“炼金术”
热度 1 李维 2025-12-16 01:06
立委按:在Transformer架构趋同的今天,大模型的性能很大程度上决定于数据工作的极致程度。大模型训练数据工作的“后厨”包括从去重算法到数据退火策略等一系列“魔鬼细节”。 在当今的 AI 圈子里,有一个共识:如果说 Infra(基础设施) 是现代化的厨房, Algorithm(算法) 是精湛的烹饪技 ...
个人分类: AI 浪潮|1456 次阅读|1 个评论 热度 1
大模型是无损压缩还是有损压缩,李飞飞与伊利亚谁是对的?
李维 2025-11-24 11:47
智能的本质:在“有损”与“无损”的压缩悖论中寻找答案 前言:一场“鸡同鸭讲”的高端对话 在人工智能的理论高地上,最近出现了一场看似矛盾的争论。 一方面,AI教母李飞飞(Fei-Fei Li)指出:大模型是一种 有损压缩 (Lossy Compression)。这一观点直观且符合经验——模型会产生幻觉,无法100%还原训练数据中的每一个 ...
个人分类: AI 浪潮|1450 次阅读|没有评论
链式法则:反向传播能work的数学保证
李维 2025-11-8 08:23
我们知道,反向传播是深层神经网络的钥匙。这把钥匙可以开启深度学习的大门,靠的是链式法则。 数学上,梯度的链式法则(chain rule)保证了:每个局部调整的方向,都是全局误差下降方向的一部分。算法通过链式求导,让每个连接只计算自己那一小段“责任”,而这些局部导数在数学上拼接起来,正好构成总体误差下降的方 ...
个人分类: AI 浪潮|2007 次阅读|没有评论
Neural Codec: Key Audio Techniques in the LLM Era
李维 2025-9-14 11:06
“Codec” is short for coder–decoder: an end-to-end machine for compressing and then restoring audio. The encoder compressess a signal into a more compact representation; the decoder reconstructs it as faithfully as possible. In the LLM era, audio—like text—is often cut into short segments and ...
个人分类: AI 浪潮|1568 次阅读|没有评论
跨模态连接器范式:谷歌模型Flamingo回顾
李维 2025-9-3 09:39
Flamingo:桥接视觉模型与文本LLM 多模态模型研究历史上的另一个里程碑工作是谷歌DeepMind 的 Flamingo,其定位是 少样本(few shots)多模态 :给它一段“图像/视频与文字交错”的提示(prompt),它就用自回归的方式生成答案或描述,相当于直接建模 p(y∣x) 文本在前、图像/视频在后交错,带因果掩码)——这使它 ...
个人分类: AI 浪潮|2589 次阅读|没有评论
图文对齐的关键一跃:CLIP 回顾
李维 2025-9-3 09:37
如何把“图”和“文”放进同一张地图 CLIP(Contrastive Language-Image Pre-training)是由OpenAI提出的跨模态预训练对比学习模型,是多模态研究的重要突破之一。多模态真正站稳脚跟,是从“把图像与文字放进同一张语义地图上”开始的。CLIP 做的,恰是这件看似朴素却最要紧的图文对齐的基本建设。 想象一间教室,三十 ...
个人分类: AI 浪潮|2719 次阅读|没有评论
注意力塌缩:关于“秩”的误会与真相
李维 2025-8-30 12:03
话题听上去冷僻,却关乎大模型的命脉。 进入技术话题之前,熟悉一下基本概念 什么是矩阵的秩(Rank)? 你可以把一个矩阵想象成一堆向量排成的表格。 秩 (rank) 就是这个表格里真正「独立信息」的数量。举个例子: 矩阵 里面两行完全不同,能提供两条独立信息 → 秩 = 2。 矩阵 第 ...
个人分类: AI 浪潮|9764 次阅读|没有评论
BERT 双向 vs. GPT 单向与“低秩之虑”
李维 2025-8-28 10:22
1. “低秩”到底在说什么? 别把它理解成某个 单一注意力矩阵的严格秩 。在表征学习里,人们更关心 整批隐藏向量 的“可用维度”。做个想象实验:收集一大批句向量,做 PCA,若前几个主成分吃掉了绝大部分方差,剩下维度几乎没贡献——这就是“低有效秩 (low effective rank) ”。主成分越“一家独大”,熵越低, e-r ...
个人分类: AI 浪潮|1847 次阅读|没有评论

Archiver|手机版|科学网 ( 京ICP备07017567号-12 )

GMT+8, 2026-3-3 06:11

Powered by ScienceNet.cn

Copyright © 2007- 中国科学报社

返回顶部