Page 65
12 articles参差不齐的边界：为什么 AI 在简单任务上会失败，以及这对你的产品意味着什么
AI 的能力曲线是参差不齐的，而非平滑的——在某些任务上表现超人，但在相邻任务上却表现得极差。本文将探讨这如何制造了隐形的产品陷阱，以及你该如何应对。
知识污染问题：当你的 RAG 系统忽略自身检索结果时
LLM会自信地从训练记忆中作答，即使检索已提供了更好的事实。本文介绍如何判断模型是忽略了上下文还是检索本身就失败了——以及该如何应对。
知识切断是一个隐形的生产环境 Bug
模型的训练知识切断点不仅仅是文档中的一个脚注 —— 它是一种传统监控无法察觉的延时生产故障。本文将介绍如何检测、遏制并围绕它进行设计。
生产环境中的实时网络接地：调用搜索 API 只是开始
为什么'直接调用搜索 API'产出的流水线远比工程师预期的差——延迟数学、故障模式，以及将演示级与生产级网络接地区分开来的架构模式。
LLM作为标注器的质量控制：当标注者与学生共享训练数据
用LLM为另一个LLM的微调标注数据看似高效——直到两个模型都吸收了同样的互联网文本。本文阐述共享预训练如何造成系统性标注失效，以及真正有效的检测与缓解策略。
当大语言模型（LLM）在数据归一化方面超越基于规则的系统时（以及何时无法超越）
LLM 在处理凌乱生产数据的长尾问题上比规则系统表现更好 —— 但其成本往往令大多数团队感到意外。本文将介绍在生产环境中真正经得起考验的混合架构、成本计算模型以及验证模式。
为什么 LLM 在分析你的产品数据时会犯自信的错误
LLM 在分析行为数据时，会自信地幻觉出指标、遗漏分母，并混淆相关性与因果关系。本文将探讨它们的失败之处以及如何安全地使用它们。
LLM 服务商故障手册：当 AI 基础设施宕机时如何保持服务在线
当 LLM 服务商宕机时，你只有几分钟时间做出决策。这份操作手册涵盖多服务商故障切换、优雅降级以及用户沟通策略，帮助你的产品在危机中屹立不倒。
LLM 速率限制是一个分布式系统问题
LLM API 速率限制的行为类似于分布式锁 —— 批处理作业通过饥饿、队头阻塞和优先级反转，静默地使面向用户的流程陷入饥饿，而此时你的错误仪表盘依然显示正常。
LLM 供应商锁定的隐性迁移成本
API 兼容性只是冰山一角，更换 LLM 提供商的真实成本藏在提示词重写、评估重建和嵌入重索引中——这里梳理了模型切换后哪些东西能留下、哪些东西会消失。
魔法时刻问题：AI 功能引导为何失败，以及如何修复
前五分钟决定用户是否会持续使用你的 AI 功能。这里是真正能将怀疑者转化为用户的引导流程背后的工程设计。
最小足迹原则：自主 AI 智能体的最小权限设计
设计自主 AI 智能体时，应仅请求当前任务所需的权限——通过临时凭证、意图感知访问配置和隔离执行，将 Unix 最小权限原则应用于智能体系统。
关于 Tian Pan
我是 Tian Pan，一名工程师型创始人，专注于智能体工程——构建自主 AI 系统并扩展工程团队。我撰写关于系统设计、技术领导力和 AI 智能体实战的实用指南。曾在 Uber、Brex 和 IoTeX 担任早期工程师。
