Page 28
12 articles模型弃用跑步机：在收到停用通知邮件之前必须建立的规范
供应商的停用通知邮件通常只有 60 天的倒计时。要在邮件寄达之前（而非之后）建立起注册表、日程表、n+1 评估和合同条款，让每一次迁移都变成机械化的常规工作。
你的模型路由是基于评估集训练的，而不是你的真实流量
基于基准测试训练的路由器会带来隐蔽的质量退化：低成本路径在宏观数据上表现尚可，但在你的评估套件从未采样的少数关键用户群体中却会失败。本文探讨了为什么路由器是一个控制系统而非分类器，以及实现闭环处理究竟需要什么。
多模态评估漂移：为什么在文本表现稳定的情况下，图像和音频路径会出现回退
大多数团队将多模态作为其文本产品的薄扩展来发布，并沿用了一套系统性地无法察觉图像或音频回退的评估准则。解决方法是采用单模态评分标准、特定模态的黄金数据集，以及一个拒绝在不同输入类型间聚合质量指标的发布门控。
单租户推理隔离：当共享缓存、微调模型和嵌入在客户间泄露时
AI 功能在四个新层级上悄然打破了多租户隔离的规则：Prompt 缓存、微调、嵌入索引和 KV 缓存重用。我们将探讨发生了什么变化，以及生产团队需要重新建立的规范。
30 天 Prompt 见习计划：当“阅读代码”失效时，如何入职工程师
一段 200 行的系统 Prompt 没有函数签名，没有测试，且 diff 历史完全没有说明为什么每一行代码会出现在那里。这份为期 30 天的课程——涵盖失败案例集、消融实验、PR 重构和受控编辑——旨在教导新工程师通过询问其行为来“阅读”一个 Prompt。
提示词资产贬值：你团队中缺失的 AI 维护时间表
生产环境中的提示词会随着底层模型、分词器（tokenizer）和产品规则的更迭而悄然失效。请将每一个提示词都视为会贬值的资产，为其指定负责人、重验证日期以及评估偏差（eval delta）—— 否则，你只能接受那些团队里没人想发布、却真实发生的质量回退。
Prompt Bisect：通过二分查找定位破坏 Eval 的修改
一夜之间 eval 分数下降了两个百分点，而包含 17 处修改的提示词 PR 应该是一个二分查找问题，而不是一场猜谜游戏。本文将介绍如何像内核维护者通过 bisect 调试内核一样来调试提示词 —— 以及这种方法对团队提交粒度要求的强制规范。
Prompt-Eligibility：数据分类中缺失的那一列
大多数数据分类方案从未将提示层（Prompt Layer）建模为厂商出口通道。增加一个 Prompt-Eligibility 层级——以及填充该层级的模板审计——可以填补你的 DLP 方案所默认忽略的合规漏洞。
你的系统提示词终会泄露：针对提示词提取进行设计
提示词提取是对 LLM 产品的一种隐蔽攻击。应将系统提示词视为公开内容，将秘密移出上下文，并为其构建评估体系。
跨区域 Prompt 版本偏差：你的 CDN 误运行了六小时的 A/B 测试
通过类似 CDN 的发布系统推送 prompt 时，如果一个区域领先于另一个区域，就会产生隐形的地理分割 A/B 测试。这里介绍了保持 prompt 版本全球一致性的发布规范、可观测性维度和回滚模型。
当你的 CLI 开始说英语：可提示基础设施的最小权限原则
当你的 CLI 开始接受英语时，最小权限原则就失效了。每一个将意图转化为命令的封装层都变成了一个“混淆代理”。目前行之有效的模式包括：锚定已解析计划的意图绑定令牌、强制性模拟运行（dry-run）以及将提示词与动作图关联起来的审计追踪。
没人召集的索引策略委员会：超越一次性迁移的 RAG 语料库治理
大多数 RAG 的失败并非模型失败，而是治理失败。本文探讨语料库治理的四个维度——法律、新鲜度、作者信任、所有权，以及决定你的检索索引是产品界面还是共享收件箱的索引策略规范。
关于 Tian Pan
我是 Tian Pan，一名工程师型创始人，专注于智能体工程——构建自主 AI 系统并扩展工程团队。我撰写关于系统设计、技术领导力和 AI 智能体实战的实用指南。曾在 Uber、Brex 和 IoTeX 担任早期工程师。
