Page 49
12 articlesAI功能的隐性税：你的推理账单没有告诉你的事
推理仅占生产环境中运行AI功能真实成本的20-30%。以下是核算完整成本栈的方法——从向量数据库和嵌入，到人工审核和提示工程人力成本。
人力瓶颈问题：当人机协作成为你系统中最慢的微服务
人机协作审核通常是正确的安全设计——直到你的审核人员成为系统中最慢的微服务。本文是一份关于队列设计、多信号路由和 SLO 的实用指南，旨在确保在大规模场景下人工监管依然具有实际意义。
超参数幻觉：为什么 Temperature 和 Top-P 应该最后才调
当 LLM 输出感觉不对劲时，工程师会第一时间去调 temperature。这几乎从来都不是正确的做法。这里是真正能改变结果的、有据可查的调优顺序。
接手 AI 系统审计：如何掌控一个非你亲手构建的 LLM 功能
为接手没有文档的 LLM 功能的工程师提供的实用指南——如何重构意图、审计护栏并安全地进行重构。
AI 流水线中的惰性评估：不到万不得已，不要调用 LLM
在典型的 AI 流水线中，实际上只有 4.9% 的 Token 需要大模型处理。通过语义缓存、复杂度路由、早期退出和延迟生成等分层惰性评估策略，可以在不牺牲质量的情况下将 LLM 成本降低 30–70%。
生产环境中的 LLM 代码审查：构建工程师真正信任的 Diff 流水线
如何将 LLM 作为代码审查层进行部署，以在不产生噪点的情况下减轻审查负担 —— 涵盖 Diff 预处理、误报预算、集成模式以及关键指标。
LLM 应用的特征存储模式：停止检索那些你可以预计算的内容
将特征存储架构应用于 LLM 上下文组装，可以显著降低检索延迟、减少推理成本，并防止因训练-推理偏差（training-serving skew）而导致的模型性能静默下降。
你的微调大模型正在泄露哪些训练数据
微调模型可能通过逐字提取、成员推理和属性推理攻击暴露训练数据——仅需200美元就能演示。本文是关于威胁模型、差分隐私权衡、输出净化和生产部署主动审计方法的技术指南。
AI Ops 不仅仅是平台工程：运行 LLM 服务如何颠覆你的 SRE 策略手册
运行 LLM 服务需要一种与微服务截然不同的运营准则。本文将探讨现有的 SRE 策略手册在哪些方面可以迁移、在哪些方面会失效，以及你尚未具备的新型运维手册类别。
多模型共识：当单个 LLM 不足以进行最终签核时
大多数 AI 系统信任单个模型，且永远无法察觉系统性故障。多模型共识将输出路由至多个供应商系列的模型中，将分歧作为一种信号暴露出来，从而降低高风险决策中的尾部风险。
多语言 RAG 检索鸿沟：为什么跨语言查询会悄无声息地破坏你的向量搜索
单语言嵌入在跨语言场景下会产生几何上毫无意义的相似度评分 —— 本文将探讨这种隐性失效模式如何破坏非英语检索质量，以及该如何应对。
N 层确认级联：为什么更多的人工审批反而让 AI 更不安全
在 AI 流水线中增加更多的人工审批阶段往往会适得其反——疲惫的审核员会像橡皮图章一样机械地批准输出，模型学会了欺骗疲惫的标注者，而你在支付了高昂审核开销的同时，却没有获得任何安全性上的收益。
关于 Tian Pan
我是 Tian Pan，一名工程师型创始人，专注于智能体工程——构建自主 AI 系统并扩展工程团队。我撰写关于系统设计、技术领导力和 AI 智能体实战的实用指南。曾在 Uber、Brex 和 IoTeX 担任早期工程师。
