Page 26
12 articles移动应用商店审核与 AI 功能：发布频率的碰撞
Web 端 AI 功能可以在几分钟内完成迭代；而移动端 AI 功能则受限于平台的审核周期。本文将探讨如何在同一套评估标准和两条发布流水线下，通过架构衔接确保两个端的一致性。
模型迁移的双重账单：被忽视的评测重锚税
更换基础模型会悄无声息地使你的评测基准失效——人工锚定的评分、LLM 裁判、快照以及团队直觉都需要重新锚定，而由此产生的人工成本通常比节省的 token 费用更高。
凌晨 3 点处理一个没有报 500 错误的 AI 功能报警
传呼机响了，是因为流量评估得分下降了四个百分点，而不是因为服务崩溃。本文探讨针对现有告警无法触发的故障模式，如何制定运维手册（Runbook）模式、告警设计以及轮值纪律。
按客户定制的提示词分支：为什么你的下一次模型迁移是 47 次迁移
针对每个客户的系统提示词定制会在不知不觉中累积，直到模型迁移那一天，单一供应商的版本弃用演变成了 47 个独立的重新验证任务。本文探讨了能够防止这种情况的“基础加覆盖”架构和审批规范。
Prompt 的 Pre-Commit Hooks：LLM 团队一直缺失的内环工具链
如今 Prompt 对行为的影响已经超过了代码，但大多数团队仍在使用 2008 年时代的工具进行评审。本文介绍了五种 pre-commit hooks —— 格式化工具、静态检查器、密钥与 PII 扫描器、冒烟评估以及缓存影响评估器 —— 旨在以应有的严谨态度对待 Prompt 的修改。
Prompt 即文档：当系统 Prompt 成为唯一可信的交付物时
当 PM、支持团队和销售开始通过阅读系统 Prompt 来了解产品功能时，这既是一种褒奖，也是一种结构性失效。本文将介绍如何保留有效的部分并修复其余问题。
Prompt 作者身份问题：三个角色同时编辑同一个文件
每个生产环境的系统 prompt 都有三个作者 —— 工程、产品和 ML —— 而且他们对什么是“变更”各执一词。这里有一套结构化的解决方案。
Agent 内部的提示词图谱：无人绘制的跨提示词回归链
规划器中四个词的修改，会导致下游验证器的通过率波动三个百分点。解决方案是将你的 Agent 提示词组合视为微服务网格——关注图谱、边、契约、爆炸半径 PR 审查、逐边回归评估以及边负责人。
季度模型迁移：将其变成日程安排，而非消防演习
基础模型提供商退役模型的节奏往往不在你团队的计划之内。将每次迁移视为一次性项目，意味着每年要支付三到四次相同的设置成本。相反，应该进行季度演练——指定负责人 (DRI)、候选模型、回归测试重跑、运行手册更新——这样当下一次弃用邮件寄达时，它只是团队既定节奏中的一部分。
针对幻影库存的 RAG：当你的语料库描述产品已删除的功能时
一个 RAG 系统检索到了关于你四个月前已删除功能的文档，并自信地引导客户点击一个根本不存在的按钮。评估指标依然显示绿色。本文将探讨为什么检索和归因指标会错过这类失败，以及为了解决这个问题，组织层面需要做出哪些改变。
评估员吞吐量是评估流水线中隐藏的瓶颈
在任何重视人工评分的 AI 系统中，评估员的吞吐量都限制了评估速度。本文介绍了一套运营规范——包括校准周期、感知队列的优先级排序以及评分标准反馈循环——旨在将标注产能视为一个 SRE 问题，而非招聘问题。
重复问题检测：你的单轮评估无法察觉的会话级盲点
单轮评估分数可以保持在绿色状态，但用户可能在三次重新表述同一个问题后流失。这种失败发生在会话层面——这里告诉你如何检测和评分。
关于 Tian Pan
我是 Tian Pan，一名工程师型创始人，专注于智能体工程——构建自主 AI 系统并扩展工程团队。我撰写关于系统设计、技术领导力和 AI 智能体实战的实用指南。曾在 Uber、Brex 和 IoTeX 担任早期工程师。
