48 篇博文 含有标签「llm」

大多数使用 LLM 构建产品的工程师都经历过相同的轨迹：两天内跑通 demo，六周后生产环境一片混乱。这项技术在真实负载、真实用户和真实数据下的表现截然不同。从中得出的教训不是哲学层面的，而是操作层面的。

在观察了众多公司的团队发布（有时也放弃）LLM 驱动产品之后，一些规律反复出现。这些不是边缘案例，而是普遍经历。

大多数 LLM 演示都能正常运行。但大多数生产环境中的 LLM 应用却并非如此——至少不稳定。一个引人注目的原型与能够承受真实用户流量的应用之间的差距，比我接触过的任何其他软件类别都要大，而且故障很少发生在你的预期之中。

这是一份关于容易出现故障的环节的指南：成本、一致性、组合和评估。这不是理论，而是导致团队在首次成功演示三个月后悄然搁置项目的具体问题。

大多数声称在“生产环境中有智能体”的团队其实没有。调查一致显示，大约 57% 的工程组织已经部署了 AI 智能体——但当你应用严格的标准（LLM 必须能够规划、行动、观察反馈并根据结果进行调整）时，只有 16% 的企业部署和 27% 的初创公司部署符合真正的智能体标准。其余的只是加装了工具调用功能的“美化版”聊天机器人。

这种差距不在于模型能力，而在于架构。真正的自主智能体需要三个相互关联、协同工作的子系统：规划、记忆和工具使用。大多数实现只正确地完成了其中一个，部分实现了第二个，却忽略了第三个。结果是系统在演示中表现出色，但在生产环境中却会不可预测地失败。

演示总是有效的。用精选的例子提示模型，获得清晰的输出，将截图发给利益相关者。六周后，系统面对真实用户，而演示中的例子却一个都没有出现在生产流量中。

这是每个LLM产品团队最终都会遇到的鸿沟：从“它在我的输入上有效”到“它在我未曾预料的输入上都有效”的飞跃。弥合这一鸿沟的模式并非关于模型选择或提示词的巧妙，而是关于系统设计。七种模式解释了功能原型与可靠生产系统之间的大部分差异。

大多数生成式 AI 项目都以失败告终——并非因为模型本身不好，而是因为团队在技术栈的每个层面都犯了相同且可预测的错误。一项 2025 年的行业分析发现，42% 的公司放弃了他们大部分的 AI 计划，而 95% 的生成式 AI 试点项目未能产生可衡量的业务影响。这些并非模型故障，而是团队本可以避免的工程和产品失败。

本文将列举那些最容易导致 AI 项目失败的陷阱——从问题选择到评估——并结合生产系统中的具体案例进行阐述。

大多数构建 AI 智能体的团队犯了同一个错误：他们在理解失败是什么样子之前，就开始着手评估基础设施。他们构建仪表盘、选择指标、连接评估器——然后发现他们的评估完全测量错了东西。六周后，他们得到了一份绿色的记分卡，但智能体却是坏的。

解决方法不是更多的工具。它是一系列特定的步骤，在你自动化任何事情之前，将你的评估建立在现实基础之上。以下就是这些步骤。

多数构建 AI 代理的工程师将 80% 的时间花在思考使用哪种模型上，20% 的时间花在其他所有事情上。这个比例应该反过来。模型在这一点上几乎是可以互换的——决定你的代理是否能在生产环境中实际工作的是“线束（harness）”。

这个等式很简单：**代理 = 模型 + 线束。**如果你不是模型，你就是线束。而几乎所有真正的工程工作都存在于线束中。

大多数多智能体系统的失败，不是因为模型出了问题，而是因为"管道"存在漏洞。智能体在任务执行中途丢失上下文，将任务移交给错误的专家，或者因为不知道如何退出而陷入无限循环。根本原因几乎总是相同的：系统设计只关注每个智能体能做什么，却没有清晰定义工作如何在它们之间流转。

两个原语可以解决大部分问题：例程（routines）和交接（handoffs）。它们看似简单，但把它们做对，是一个能演示的系统和一个能上线的系统之间的关键区别。

大多数AI智能体项目失败，并非因为模型能力不足——而是因为构建这些系统的工程师在尚未积累足够经验时就急于引入复杂性。通过对数十个生产环境部署案例的深入研究，一个清晰的规律浮现出来：那些成功落地可靠智能体的团队，都从最简单的系统出发，只有在指标数据确实需要时才增加复杂度。

本文将系统梳理那些能将稳健智能体系统与容易幻觉、陷入循环、在真实负载下崩溃的系统区分开来的核心思维模型、架构模式和实践技巧。

1. LLM 推理：关键理念与局限性 探讨推理在大型语言模型（LLM）中的关键作用，重点介绍关键进展、局限性以及对 AI 开发的实际影响。

2. 安全可信的 AI 代理与基于证据的 AI 政策 探索 AI 能力的指数级增长及其相关风险。了解稳健、公平和注重隐私的 AI 系统，以及基于证据的政策建议，以确保安全的 AI 开发。

3. 代理 AI 框架 发现代理 AI 框架的变革潜力，简化自主系统的开发。了解其在不断发展的 AI 领域中的应用、优势和挑战。

4. 生成式 AI 的企业趋势 探索生成式 AI 的最新企业趋势，重点关注机器学习、多模态系统和 Gemini 模型的进展。了解解决当前局限性的策略。

5. 复合 AI 系统和 DSPy 探讨复合 AI 和 DSPy 的 AI 系统演变。了解模块化架构如何通过优化的编程技术增强控制、效率和透明度。

6. 软件开发的代理 探索代理在软件开发中的变革作用，强调其对工作流程的影响、挑战以及技术创新的未来。

7. 企业工作流程代理 探讨 LLM 驱动的代理在企业工作流程中的潜力，重点关注生产力、决策制定和未来的挑战。

8. 统一神经和符号决策 探索神经和符号决策方法的整合，解决 LLM 的关键挑战，并为推理和规划提出创新解决方案。

9. 开源基础模型 分析开源基础模型在推动创新中的关键作用。发现 API-only 模型带来的挑战以及研究和合作的机会。

10. 衡量代理能力与 Anthropic 的 RSP 了解 Anthropic 的责任扩展政策（RSP），重点关注 AI 安全、能力测量以及负责任开发中的挑战。

11. 安全可信的 AI 代理 深入探讨 AI 系统中误用和故障的风险，并探索确保稳健、公平和注重隐私的 AI 开发的策略。

推理是提升 LLM 能力的关键

引言​

• 对 AI 的预期：解决复杂的数学问题、发现科学理论、实现 AGI。
• 基准预期：AI 应该能够模仿人类，通过极少数示例进行学习。

关键概念​

• 机器学习中缺失了什么？
  • 推理：从极少量的示例中逻辑地推导出答案的能力。

简单问题：末字母拼接 (Last Letter Concatenation)​

• 问题

  : 提取单词的最后一个字母并将其拼接。

  • 示例："Elon Musk" → "nk"。

• 传统机器学习：需要大量的标注数据。

• LLM：通过推理，仅需一个示例即可实现 100% 的准确率。

中间步骤的重要性​

• 人类通过推理和中间步骤解决问题。
• 示例：
  • 输入："Elon Musk"
  • 推理："Elon" 的最后一个字母 = "n"，"Musk" 的最后一个字母 = "k"。
  • 输出："nk"。

推理方法的进展​

1. 思维链 (Chain-of-Thought, CoT) 提示
   • 将问题分解为逻辑步骤。
   • 数学应用题的示例证明了其在提高解题准确率方面的作用。
2. 从易到难 (Least-to-Most) 提示
   • 将问题分解为更简单的子问题，以逐步实现泛化。
3. 类比推理 (Analogical Reasoning)
   • 借鉴相关问题的解决方案。
   • 示例：通过回顾距离公式的逻辑来计算正方形的面积。
4. 零样本 (Zero-Shot) 和少样本 (Few-Shot) CoT
   • 在没有明确示例的情况下触发推理。
5. 解码中的自一致性 (Self-Consistency)
   • 通过对多个回答进行采样来提高逐步推理的准确率。

局限性​

• 受无关上下文干扰 (Distraction by Irrelevant Context)
  • 加入无关细节会显著降低性能。
  • 解决方案：明确指示模型忽略干扰项。
• 自我纠错的挑战 (Challenges in Self-Correction)
  • LLM 可能无法自我纠正错误，有时甚至会把正确的答案改错。
  • Oracle 反馈对于有效纠错至关重要。
• 前提条件的顺序很重要 (Premise Order Matters)
  • 重新排列问题的条件会导致性能下降，这强调了逻辑递进的重要性。

实际意义​

• 中间推理步骤对于解决串行问题至关重要。
• 像使用单元测试进行自我调试 (Self-debugging) 这样的技术在未来改进中极具前景。

未来方向​

1. 定义正确的问题是取得进展的关键。
2. 通过开发能够自主解决这些问题的模型来克服推理局限性。

LLM 代理的轨迹和潜力

介绍​

• 代理的定义：与环境（物理、数字或人类）交互的智能系统。
• 演变：从像 ELIZA（1966）这样的符号 AI 代理到现代基于 LLM 的推理代理。

核心概念​

1. 代理类型：
   • 文本代理：像 ELIZA（1966）这样的基于规则的系统，范围有限。
   • LLM 代理：利用大型语言模型进行多功能的文本交互。
   • 推理代理：结合推理和行动，能够在各个领域进行决策。
2. 代理目标：
   • 执行问答（QA）、游戏解决或现实世界自动化等任务。
   • 平衡推理（内部行动）和行动（外部反馈）。

LLM 代理的关键发展​

1. 推理方法：
   • 链式思维（CoT）：通过逐步推理提高准确性。
   • ReAct 范式：将推理与行动结合进行系统探索和反馈。
2. 技术里程碑：
   • 零样本和少样本学习：通过最少的例子实现通用性。
   • 记忆整合：结合短期（基于上下文）和长期记忆以实现持久学习。
3. 工具和应用：
   • 代码增强：通过编程方法增强计算推理。
   • 检索增强生成（RAG）：利用外部知识来源，如 API 或搜索引擎。
   • 复杂任务自动化：在机器人和化学领域的体现推理，以 ChemCrow 为例。

局限性​

• 实际挑战：
  • 处理现实世界环境的困难（例如，处理不完整数据的决策）。
  • 易受无关或对抗性上下文的影响。
• 可扩展性问题：
  • 现实世界机器人与数字模拟的权衡。
  • 在特定领域进行微调和数据收集的高成本。

研究方向​

• 统一解决方案：将多样化任务简化为可推广的框架（例如，用于探索和决策的 ReAct）。
• 先进的记忆架构：从仅追加日志转向自适应的、可写的长期记忆系统。
• 与人类合作：专注于增强人类创造力和解决问题的能力。

未来展望​

• 新兴基准：
  • 用于软件工程任务的 SWE-Bench。
  • 用于在动态环境中微调 LLM 代理的 FireAct。
• 更广泛的影响：
  • 增强的数字自动化。
  • 在软件工程、科学发现和网络自动化等领域提供复杂问题解决的可扩展解决方案。