Page 34
12 articles禁用开关才是真正的产品：设计非 AI 回退路径
大多数 AI 功能自带的禁用开关只会返回错误。请将“关闭状态”视为一个真正的产品，配备功能级标志、确定性回退机制，并采用与“开启状态”相同的评估准则。
断连代理模式：为不稳定的网络环境进行设计
大多数 AI 代理技术栈都假设网络始终在线。但在飞机上、地下室或不稳定的 Wi-Fi 环境中，这一假设就会失效。本文将探讨离线优先架构的实际运作机制。
蒸馏是一个产品决策，而非研究产物
蒸馏是一个关于你牺牲哪些能力以解锁成本底线和延迟底线的产品决策 —— 而不是研究团队的优化。一个前沿模型功能及其蒸馏变体是两个产品，而不是一个产品的两种实现。
个性化设置应当属于 Dotfile，而非向量数据库
大多数 Agent 的个性化其实是语气、格式、默认工具和项目上下文 —— 这些声明式设置在数十年前就通过 Dotfile 模式解决了。只有在穷尽配置手段后，才应考虑微调和持久化记忆。
Eval-as-Code：当你的发布门禁只是某人笔记本电脑上的一个 Notebook
决定你的模型是否发布的数字竟然存在于某人笔记本电脑上的一个 Notebook 中。你应该像对待生产系统一样对待评测套件 —— 对其进行版本化、设置准入规则并提供 SLO。
评估自动化陷阱：当你的流水线偏离用户真实需求时
自动化评估流水线在显示准确率持续提升的同时，用户满意度却在悄然下滑。本文将揭示漂移的发生机制，以及如何在问题扩散到生产环境之前及时发现它。
评估迁移税：为什么 Prompt Schema 的一次变更会毁掉 800 个测试用例
AI Prompt 的 Schema 变更经常会破坏数百个与该变更无关的测试用例。大多数团队将评估套件视为静态固定装置，而不是版本化数据——并在每次发布时支付一笔隐形成本。
回退级联：为什么你的 AI 功能需要五种故障模式，而非一种
将模型故障视为二元成功/失败事件的 AI 功能距离灾难仅一步之遥。从前沿模型到人工介入的五级回退级联（Fallback Cascade），能确保在单个层级发生故障时，你的功能依然可用。
上线 AI 功能后的头 100 个工单
每个 AI 功能上线都会产生的为期八周的运维工单序列——成本激增、评估偏移、长尾延迟、供应商静默更新——以及预置了应对方案的上线指南。
人工审核队列是你的 P0 SLA：当 HITL 成为瓶颈时
三个月前你为了安全性而设置的人机回环（HITL）升级路径，现在正成为你 AI 功能的无形瓶颈。本文将探讨如何将其视作一个拥有独立 SLO、容量模型和反馈循环的生产系统来对待——在客户向你投诉之前，先发制人。
IDE 插件即产品：当你的编程智能体超出了编辑器的插件 API 限制
为什么领先的 AI 编程工具选择了分叉编辑器而不是仅作为插件存在，以及如何在扩展 VS Code、分叉它或从头构建之间做出决策。
LLM 作为验证器的反模式：为什么你的 AI 质量门禁存在盲点
使用 LLM 作为主要的质量门禁来评估 LLM 输出会创建一个循环验证回路，导致对系统性模型失效产生盲点。本文将探讨应采用的替代方案。
关于 Tian Pan
我是 Tian Pan，一名工程师型创始人，专注于智能体工程——构建自主 AI 系统并扩展工程团队。我撰写关于系统设计、技术领导力和 AI 智能体实战的实用指南。曾在 Uber、Brex 和 IoTeX 担任早期工程师。
