💻 technology

AI 吞下数学，现在它想要一切

大型语言模型并不是魔法。它们是被训练在数万亿文本片段上的类预测机器，用来猜测接下来会发生什么。了解它们实际如何工作，揭示了为什么 AI 正在殖民每一个依赖模式运行的行业，从天气预报到股票交易。这就是幕后的真相。

让我们从 LLM 实际是什么开始：一个巨大的数学函数，用来预测序列中的下一个词语。仅此而已。没有意识，没有人类意义上的理解，只是在一个看起来诡异地智能的规模上进行统计模式匹配。当你在 Claude 或 ChatGPT 中输入“法国的首都是”，模型并不知道巴黎存在。它计算得出基于数十亿的训练实例，最有可能出现的词语是“巴黎”。这是整合了整个互联网的自动完成。使这成为可能的架构称为 transformer，由谷歌研究人员于2017年发明。以下是文本如何变成回应的逐步细分：

分词：你的输入文本被切分成称为 tokens 的小片（大约每个是一个词的3/4）。“Hello world”变成“Hello” 和“world”。

嵌入：每个 token 转换为一个向量，一个代表其在数学空间中意义的数字列表。具有相似意义的词语在这个抽象几何中聚集在一起。

注意力机制：这是秘诀所在。模型计算哪些 token 应该“关注”哪些其他 token。在“ The animal didn't cross the street because it was too tired.”中，注意力帮助模型将“it”链接到“animal”而不是“street”。

处理层：现代 LLM 如 GPT-4 或 Claude 3 有数十个 transformer 层，每个层精炼表示。早期层识别语法模式，中层把握语义，后期层处理推理。

预测：最后一层输出每个可能下一个 token 的概率。模型从这个分布中取样（带有一些随机性以获得创造力）并输出一个词。然后它将那个词回输入，再预测下一个。如此重复直至完成。

这实际上在伪代码和数学中看起来是这样的。这是简化的，但捕捉了核心逻辑： function generate_text(input_text, max_tokens): tokens = tokenize(input_text) for i in range(max_tokens): # Convert tokens to embeddings (vectors) embeddings = embedding_layer(tokens) # embeddings shape: [sequence_length, embedding_dim] # Apply transformer layers hidden_state = embeddings for layer in transformer_layers: hidden_state = layer.apply(hidden_state) # Get probabilities for next token logits = output_layer(hidden_state[-1]) # Use last position probabilities = softmax(logits) # probabilities shape: [vocabulary_size] # Sample next token (with temperature for randomness) next_token = sample(probabilities, temperature=0.7) tokens.append(next_token) if next_token == END_TOKEN: break return detokenize(tokens) function transformer_layer(hidden_state): # Multi-head self-attention attention_output = multi_head_attention(hidden_state) hidden_state = layer_norm(hidden_state + attention_output) # Residual connection # Feed-forward network ff_output = feed_forward(hidden_state) hidden_state = layer_norm(hidden_state + ff_output) # Residual connection return hidden_state function multi_head_attention(X): # X shape: [seq_len, d_model] # Split into multiple attention heads outputs = [] for head in range(num_heads): # Linear projections to Query, Key, Value Q = X @ W_q[head] # [seq_len, d_k] K = X @ W_k[head] # [seq_len, d_k] V = X @ W_v[head] # [seq_len, d_v] # Scaled dot-product attention # scores[i,j] = how much position i attends to position j scores = (Q @ K.transpose()) / sqrt(d_k) # [seq_len, seq_len] # Mask future positions (can't look ahead) scores = mask_future(scores) # Convert to probabilities attention_weights = softmax(scores) # [seq_len, seq_len] # Apply attention to values output = attention_weights @ V # [seq_len, d_v] outputs.append(output) # Concatenate all heads and project return concatenate(outputs) @ W_o 注意力背后的数学是魔法发生的地方。对于序列中的每个位置，模型计算： Attention(Q, K, V) = softmax(QK^T / sqrt(d_k)) * V 这意味着：Q（查询）问“我在找什么？”，K（键）回答“我包含什么？”，V（值）提供“这是我的实际信息”。点积 QK^T 衡量查询和键之间的相似性。具有高相似性的那些位置在 softmax 之后获得高注意力权重。那些权重然后从值中拉取相关的信息。例如，处理“ The cat sat on the mat because it was soft”：

在“it”之后进行预测时，对于“it”的查询计算出与“mat”的键的高相似性（softmax 可能给出0.7的权重），与“cat”的相似性低（0.1权重）
所有值向量按这些分数加权，所以“it”主要从“mat”的表示中拉取信息
这经过多个层次的传递，每层不断精炼关联

训练过程是大规模的梯度下降： function train_llm(training_data, num_epochs): # Initialize billions of parameters randomly model = initialize_model(num_parameters=175_000_000_000) for epoch in range(num_epochs): for batch in training_data: # Mask out some tokens to predict input_tokens = batch[:-1] # All but last target_tokens = batch[1:] # All but first # Forward pass: predict next tokens predictions = model.forward(input_tokens) # Calculate loss: how wrong were we? loss = cross_entropy(predictions, target_tokens) # Cross entropy: -sum(target * log(prediction)) # Penalizes confident wrong predictions heavily # Backward pass: calculate gradients gradients = compute_gradients(loss, model.parameters) # Update parameters to reduce loss for param, grad in zip(model.parameters, gradients): param -= learning_rate * grad return model 每个单独的参数更新都试图最小化交叉熵损失：模型对下一个实际 token 的惊讶程度。如果它以95%的概率预测正确的“巴黎”，损失很小。如果它以60%的概率预测错误的“伦敦”，而正确的是“巴黎”，损失很大。这在数万亿例子和数十亿参数中进行，模型学会了语言的统计结构。训练过程是昂贵且复杂的。这些模型通过无监督学习在大规模文本数据集上学习：书籍、网站、代码库、科学论文。在预训练期间，研究人员向模型展示带有一些被遮蔽词语的文本，要求其进行预测。每个错误猜测都会生成一个错误信号，使数十亿参数（模型内部的可调数字）稍微接近更好的预测。据信 GPT-4 拥有超过1万亿个参数，花费超过1亿美元在成千上万的 GPU 上训练数月。在预训练之后是微调阶段，人类训练师对模型的回应进行评分，教其如何变得有帮助而不仅仅是准确。这就是为什么 Claude 不会写下你的宣言或 ChatGPT 拒绝某些请求。通过人类反馈进行的强化学习（RLHF）字面上重构了概率分布以避免不良输出。模型学习到某些响应模式从人类那里获得更高的分数，所以它偏爱这些模式。现在，预测行业正在被攻占。任何成功意味着识别模式和预测未来的领域，核心上是一个 LLM 问题。天气预报？模式匹配历史大气数据。股票交易？发现价格变动和新闻情绪的关联。医疗诊断？从数百万病例历史中匹配症状和病症模式。法律文件审查？识别相关的先例和合同条款。客户服务？基于过去的票据预测解决方案。 AI 的优势即残酷又简单：规模。人类放射科医生可能在职业生涯中查看5万张 X 光片。AI 模型则是5000万。一名对冲基金分析师每季度阅读数百份财报。一个 LLM 实时处理全球发布的每一份收益电话会议记录、SEC 文件和分析师笔记。模式识别的优势倍增，直到人类专业知识变得是装饰性的而不是功能性的。我们已经看到接管速度加快。专门为金融数据训练的 Bloomberg GPT 在预测新闻的市场走势方面表现优于人类分析师。DeepMind 的 AlphaFold 通过将分子结构作为预测任务解决了困扰生物学家50年的蛋白质折叠问题。GitHub Copilot 写了启用库中40%的代码。这些工具不是帮助人类的狭义工具，而是使整个技能集变得过时的替代技术。不舒服的事实是，大多数知识工作是用预测打扮成的专业知识。律师预测案件结果并根据模板起草文件。会计师预测纳税责任和审计风险。营销人员预测哪种信息会与哪个受众产生共鸣。教师预测哪种解释可以澄清概念。医生预测哪种治疗可以治愈哪种疾病。如果你的工作涉及查看数据并说“基于 X，我认为 Y 会发生”，你就处于影响范围内。唯一的问题是时间。

我的看法

推销你增强和协作的 AI 福音者是在撒谎或自欺。这些系统不是助手，而是在等待成本曲线下降到你的工资以下的替代品。每个“AI 不会取代你，但使用 AI 的人会”的陈词滥调都忽视了明显的终点：当 AI 完成工作90% 时，为什么还要雇佣人？剩下的10%将在下一个模型生成中吸收掉，可能只有18个月。让我真正感到恐怖的不是工作丢失。经济体会适应，新工作会出现。是潜在的认识论危机。当预测变得免费且即时，人的判断会发生什么？我们正在建立一个文明，其中越来越没有人了解任何东西是如何工作的，我们只是信任统计先知。模型说这药物有效，这被告会再犯，这贷款申请者会违约。我们无法询问推理，因为根本没有，只是编码着我们无法解释的相关性。我们正在用无法解释的准确性替换可解释的专长，当训练数据不再代表现实时，这就是灾难的基础。

接下来会发生什么

预测经济将在24个月內分化为两个层级。第一层：商品化预测，AI 以超过95%的准确率实现，边际成本几乎为零。基本的法律文件，常规的医疗诊断，金融预测，客户服务，初级代码。这些将以公用事业价格崩溃，每次查询几美分。第二层：边缘案例预测，其中最后5%的准确性重要到足以支付人力溢价。新药设计，宪法法律论证，前所未有市场条件下的交易策略。但这有个挤压：随着模型的改进和训练数据的扩展，第二层不断缩小。第一家财富500强公司将在2028年前宣布 AI 驱动的员工减少超过50%，而且它不会是一家科技公司。我押注一家主要的保险提供商或金融服务公司，完全依赖风险评估和预测的行业。他们会将其框定为效率和股东价值。该股将因宣布而上涨20%。其他首席执行官将注意到这一点。将人类替换为预测引擎的竞赛将从安静的试点转变为明确的企业战略。与此同时，我们将遇到没有人定价的训练数据墙。这些模型已经消耗了互联网大部分文本。合成数据（用于训练未来AI的AI生成内容）每代会引入退化，就像复印机在复印复印件。下一个飞跃需要在大规模下进行多模式训练（视频、音频、传感器数据，而不仅仅是文本）或完全不同于transformers的架构。首先破解这个难题的人不仅赢得了AI竞赛，还能使每个基于预测的行业同时过时。那种权力集中所带来的地缘政治影响让目前的监管苦恼看起来简单得可笑。我们还未准备好应对预测变得免费后的种种情况。

历史告诉我们什么

预测的机械化镜像了工业革命的体力劳动机械化，但速度提高了100倍。当动力织机在1810年代自动化纺织时，熟练的纺织工人有几十年的时间来适应、再培训或退休。1811至1816年，卢德分子粉碎机器，但转型用了两代时间全面取代手工纺织工人。我们这次没有这样的奢侈。LLM 在36个月内从研究好奇转变为知识工作者的生存威胁，从2020年的 GPT-3 发布到 2022 年底的 ChatGPT 爆发，再到今天的企业级部署。更好的平行是20世纪60年代到80年代的计算自动化。人类‘电脑’（实际是执行计算的人）几乎在电子计算机变得可靠后几乎一夜之间消失。NASA 在早期的太空计划中雇用了数百名有人类计算机，其中包括数学家 Katherine Johnson。到1970年，他们被能以数千倍速度计算轨迹的IBM主机取代。不同的是：那些被取代的工人数以千计。今天的预测工人全球数亿。律师、会计师、分析师、诊断师和程序员，这些人核心技能是基于模式的预测，占知识经济的30%至40%。我们从未如此快速地自动化如此大比例的劳动力。历史先例表明会出现混乱。

市场影响

2026年4月23日，NVIDIA 收于每股1247美元，比两年前上涨340%，纯粹基于对AI基础设施的需求。这个增长将持续，因为每个部署LLM的企业都需要他们的H100和即将推出的B100 GPU。到2027年短期看涨，因为建设加速，但要注意当云服务商拥有足够容量时的平台化。真正的非对称赌注是做空那些预测密集型劳动力却尚未宣布AI转型计划的公司。传统的保险公司如MetLife（MET，目前78美元）和税务准备公司如H&R Block（HRB，51美元）面临生存的利润压缩，因为AI处理目前由数千名精算师和税务专业人员完成的工作。看好像 Palantir（PLTR，34美元）和 C3.ai（AI，28美元）这样直接向企业提供预测服务的AI原生公司。咨询公司（Accenture，ACN，365美元，以及德勤的母公司）面临考验。他们出售昂贵的人类判断，而AI正在将判断商品化。当前估值并未反映到2029年40%至60%的收入下降，因为公司意识到他们可以直接购买预测引擎，而无需租借顾问来操作。