Page 43
12 articles为什么幻觉率不是衡量生产级 LLM 系统的核心指标
幻觉率虽易于衡量，但与用户结果的关联性较弱。本文提供了一个选择行为指标的框架，能真实反映你的 AI 功能是否奏效。
智能体工具调用中的幂等性问题
为什么智能体重试逻辑会导致重复扣款、重复发送邮件和状态不一致——以及如何通过Saga模式、幂等键和结构化错误信号从架构层面解决这一问题。
推理优化陷阱：为什么提升单个模型的速度反而会拖慢你的系统
将模型组件更换为更快的版本往往会增加端到端的延迟和成本。本文将探讨其中的原因，并介绍如何通过严谨的性能分析流程来避免这一问题。
推理服务商向你隐瞒了什么：KV 缓存、批处理与延迟底线
LLM 推理基础设施内部的决策——KV 缓存逐出、连续批处理、分块预填充——在你写下第一行代码之前就决定了应用的性能边界。本文将揭示底层发生的真实情况，以及你所能控制的为数不多的参数。
隐形模型漂移：供应商静默更新如何破坏生产 AI
LLM 供应商在不发布变更日志的情况下更新模型。你的提示词回归是真实存在的，它们是静默的，且需要你自己去发现。以下是具体方法。
生产环境中的知识蒸馏：让小模型完成大模型的任务
如何利用前沿模型的输出作为监督信号来构建特定任务的小模型——涵盖数据集构建流程、质量崩溃检测，以及判断蒸馏模型何时可以上线的基准测试方法。
无需微调的知识蒸馏：将前沿模型的能力提取到更廉价的推理路径中
为 AI 工程师提供的一个实用决策框架，探讨何时将前沿模型的能力蒸馏到较小的学生模型中才真正划算，以及何时它会在分布外输入上悄然失效。
潜在能力天花板：为什么更大的模型解决不了你的问题
前沿模型在特定领域任务上的表现往往比团队预期的更早达到平台期。本文将教你如何诊断你遇到的是真正的能力天花板，还是提示词、评估或数据问题——以及哪种技术能真正实现突破。
幂等性危机：LLM 智能体作为事件流消费者
至少一次投递假设重新处理同一事件会产生相同结果，但 LLM 不会。本文是关于幂等性键、去重窗口以及 AI 驱动的 Kafka 消费者补偿读模型的实践指南。
LLM 驱动的数据流水线：那个没人做基准测试的 ETL 层
大多数 LLM 基准测试衡量的是聊天机器人的质量。但企业在 LLM 上的大部分支出其实都投入到了批量处理流水线中 —— 而几乎没有人去衡量这些流水线是否真的有效。
LLM 供应商锁定是一个光谱，而非非黑即白
并非所有的 LLM 依赖关系都是平等的。有些是可接受的工程权衡；有些则从第一天起就是技术债。本文将通过六个不同的锁定层级教你如何区分它们。
长会话上下文退化：多轮对话如何变得陈旧
超过 50 轮的会话会积累矛盾、用户意图漂移和奉承循环。这是一份用于检测退化并保持长对话有用性的工程指南。
关于 Tian Pan
我是 Tian Pan，一名工程师型创始人，专注于智能体工程——构建自主 AI 系统并扩展工程团队。我撰写关于系统设计、技术领导力和 AI 智能体实战的实用指南。曾在 Uber、Brex 和 IoTeX 担任早期工程师。
