Page 83
12 articles模式匹配失败：当你的 LLM 流利地解决了错误的问题时
流利且扣题的 LLM 回答如果解决了错误的问题，是生产环境中最难处理的 Bug 类型。本文提供了一套实用的指南，用于检测表面特征过拟合，并设计能够揭示这些问题的提示词。
“规划并执行”只是营销而非契约：将计划依从度作为一等 SLI
“规划并执行”智能体生成的计划看起来像契约，但在实际表现中更像是预测。你应该将计划依从度视为一项 SLI，具备测量、强制执行和有限的重新规划预算，而不是一个每季度评分一次、可有可无的质量指标。
你的规划器知道用户无法调用的工具
在执行时才限制工具列表已经太晚了。如果规划器看到了完整的目录，它的拒绝信息、澄清提问和推理轨迹都会将原本不该让未授权用户知晓的能力存在性泄露出去。
向量检索中的流行度偏见：为什么相同的五个文本块总是主导每个查询
为什么少数文本块会主导每个 RAG 查询 —— 高维中心点（Hubness）和 ANN 图结构如何默默地瓦解了检索多样性，以及保持长尾内容活力的诊断方法与缓解策略。
提示词所有权问题：当康威定律盯上你的 Prompt 时
提示词往往同时横跨四个团队：编写者、评估者、部署者和技术支持。当没有单一角色负责整个闭环时，康威定律必然会导致静默的质量流失。本文探讨了 RACI 缺口、共享库陷阱，以及如何通过治理角色来确保模型行为的一致性。
你的提示词正在与模型已有的认知竞争
基础模型在交付时已预装了对你所处领域的强烈观点。探测先验、反驳默认设置，停止发布那些与模型已有认知相竞争的提示词。
你的 RAG 分块器是一项无人 Review 代码的数据库 Schema
将你的 RAG 分块器视为预处理，每一次边界微调都会变成一次静默的 Schema 迁移。对其进行版本管理、灰度发布，并同步负责检索评估。
为什么你的 RAG 引用在撒谎：源归因中的事后合理化
50% 到 90% 的大语言模型引用并不完全支持它们所对应的陈述。本文将探讨为什么事后归因会导致 RAG 系统在潜移默化中失去信任，如何利用 NLI 衡量引用忠实度，以及哪些架构修复方案真正有效。
速率限制层级崩溃：当你的智能体循环产生自我 DoS 时
单个用户的智能体扇出可能会耗尽同一配额下的所有其他用户资源。本文探讨了为什么扁平化的令牌桶在智能体工作负载下会崩溃，以及维持平台公正运行的四层层级结构。
工具边界处的推理模型税
推理模型在基准测试中获胜，但在工具选择步骤中却损失了延迟和质量。本文探讨了按步骤进行的混合路由模式、归因以及反模式。
反思安慰剂：为什么“计划-反思-重新计划”循环最终总是回到第一版
单模型反思循环大多只会在增加 Token 账单的同时，对第一版计划进行修修补补。本文将探讨如何衡量这种“安慰剂效应”，以及什么样的方法才能真正生成具有差异化的计划。
拒绝训练差距：为什么你的模型对错误的问题说“不”
语言模型中的拒绝机制实际上是两种截然不同的能力，但目前的训练流程往往将它们混为一谈。这导致模型一方面会拦截良性请求，另一方面却对那些无法可靠回答的问题自信地编造答案。
关于 Tian Pan
我是 Tian Pan，一名工程师型创始人，专注于智能体工程——构建自主 AI 系统并扩展工程团队。我撰写关于系统设计、技术领导力和 AI 智能体实战的实用指南。曾在 Uber、Brex 和 IoTeX 担任早期工程师。
