Page 73
12 articles模型路由是系统设计问题，而非配置选项
将 LLM 的选择视为运行时分发决策而非部署常量，能够带来真实的成本节省。本文探讨如何思考路由信号、故障转移失效模式、影子路由，以及大多数团队忽略的成本核算方法。
多模型一致性：当你的流水线中的连续 LLM 调用相互矛盾时
在单个工作流中，三次 LLM 调用可能会产生相互冲突的事实、实体引用和状态声明。本文将介绍如何设计能够保持连贯性的流水线。
多会话评估设计：捕捉随时间推移而恶化的 AI 功能
单轮评估往往会忽略那些只有在状态累积后才会出现的 AI 故障。本文将探讨如何设计多会话评估框架、衰减曲线和回归方法，在用户流失之前捕捉到质量腐烂。
多用户共享智能体状态：你真正需要的并发原语
大多数智能体设计假设每个会话只有一个用户。共享工作区需要分布式系统原语，以防止并发用户发出相互矛盾的指令时发生无声数据损坏。
多模态流水线在生产环境中的挑战：当你超越文本时会发生什么
在生产环境中引入多模态意味着面对一类新的故障：静默图像拒绝、PDF表格错位、音频延迟预算，以及文本评估从未发现的跨模态幻觉。
共享 LLM 基础设施中的“吵闹邻居”问题：AI 功能的租户模型
当某个功能的批处理作业耗尽了共享的 API 配额时，付费用户会看到 429 错误。本文将介绍共享 LLM 基础设施的检测信号与隔离模式。
提示层中的个人信息：大多数团队忽视的隐私工程缺口
个人身份信息如何在不受控制的情况下流入LLM推理调用，以及脱敏、令牌化和日志记录架构如何弥合合规缺口。
AI 产品定价：逃脱算力成本陷阱
传统 SaaS 定价假设每位用户的边际成本接近零。LLM 功能打破了这一假设——Token 可能消耗毛利率的 20–40%。本文介绍如何构建能够生存下去的定价架构。
主动型 Agent：后台 AI 的事件驱动与定时自动化
绝大多数 Agent 设计文章都假设由人类触发执行。而生产环境中的 AI 越来越多地在后台运行——基于定时调度、变更事件和系统状态转换。这在架构层面改变了什么？
Prompt 金丝雀部署：像资深 SRE 一样发布 Prompt 变更
Prompt 修改与代码部署一样危险 —— 但几乎没有人以这种方式对待它们。本文介绍了流量切分、质量监控和回滚纪律，这些实践将那些能在用户发现之前捕获性能退化的团队，与那些通过 Twitter 才知道出问题的团队区分开来。
提示词差异审查作为一种规范：审查者真正需要问的问题
传统代码审查的直觉无法直接应用于提示词编辑。这里是检查清单、工具链，以及将提示词PR转化为行为契约的审查者与作者对话指南。
提示熵预算：将输出方差作为生产环境的核心指标
大多数生产环境的 LLM 系统只追踪准确率，却忽视了方差。衡量相同输入的输出分布——即提示熵预算——是决定用户体验一致性的缺失指标。
关于 Tian Pan
我是 Tian Pan，一名工程师型创始人，专注于智能体工程——构建自主 AI 系统并扩展工程团队。我撰写关于系统设计、技术领导力和 AI 智能体实战的实用指南。曾在 Uber、Brex 和 IoTeX 担任早期工程师。
