Page 53
12 articles评估悖论：古德哈特定律如何破坏 AI 基准测试
当 AI 团队为了基准测试分数而非真实能力进行优化时，分数虽然在攀升，但质量却在下降。本文将探讨评估悖论的运作方式，以及哪些结构性变革能真正让评估具备抗操纵能力。
GraphRAG vs. 向量 RAG：团队往往过晚才做的架构决策
向量 RAG 在关系型查询上存在数学瓶颈 —— 本文将探讨从纯向量到图-向量混合检索的迁移路径，以及揭示你已不再满足于纯稠密搜索的查询模式。
幻觉并非根本原因：生产环境 AI 的调试方法论
不再仅仅归咎于“模型产生了幻觉”，而是转向系统的根本原因分析：检索失败、上下文冲突、提示词歧义和违反知识边界，每种情况都需要不同的修复方案。
为什么幻觉率不是衡量生产级 LLM 系统的核心指标
幻觉率虽易于衡量，但与用户结果的关联性较弱。本文提供了一个选择行为指标的框架，能真实反映你的 AI 功能是否奏效。
智能体工具调用中的幂等性问题
为什么智能体重试逻辑会导致重复扣款、重复发送邮件和状态不一致——以及如何通过Saga模式、幂等键和结构化错误信号从架构层面解决这一问题。
推理优化陷阱：为什么提升单个模型的速度反而会拖慢你的系统
将模型组件更换为更快的版本往往会增加端到端的延迟和成本。本文将探讨其中的原因，并介绍如何通过严谨的性能分析流程来避免这一问题。
推理服务商向你隐瞒了什么：KV 缓存、批处理与延迟底线
LLM 推理基础设施内部的决策——KV 缓存逐出、连续批处理、分块预填充——在你写下第一行代码之前就决定了应用的性能边界。本文将揭示底层发生的真实情况，以及你所能控制的为数不多的参数。
隐形模型漂移：供应商静默更新如何破坏生产 AI
LLM 供应商在不发布变更日志的情况下更新模型。你的提示词回归是真实存在的，它们是静默的，且需要你自己去发现。以下是具体方法。
生产环境中的知识蒸馏：让小模型完成大模型的任务
如何利用前沿模型的输出作为监督信号来构建特定任务的小模型——涵盖数据集构建流程、质量崩溃检测，以及判断蒸馏模型何时可以上线的基准测试方法。
无需微调的知识蒸馏：将前沿模型的能力提取到更廉价的推理路径中
为 AI 工程师提供的一个实用决策框架，探讨何时将前沿模型的能力蒸馏到较小的学生模型中才真正划算，以及何时它会在分布外输入上悄然失效。
潜在能力天花板：为什么更大的模型解决不了你的问题
前沿模型在特定领域任务上的表现往往比团队预期的更早达到平台期。本文将教你如何诊断你遇到的是真正的能力天花板，还是提示词、评估或数据问题——以及哪种技术能真正实现突破。
幂等性危机：LLM 智能体作为事件流消费者
至少一次投递假设重新处理同一事件会产生相同结果，但 LLM 不会。本文是关于幂等性键、去重窗口以及 AI 驱动的 Kafka 消费者补偿读模型的实践指南。
关于 Tian Pan
我是 Tian Pan，一名工程师型创始人，专注于智能体工程——构建自主 AI 系统并扩展工程团队。我撰写关于系统设计、技术领导力和 AI 智能体实战的实用指南。曾在 Uber、Brex 和 IoTeX 担任早期工程师。
