Page 7
12 articles你的评测套件也是生产负载：当每晚测试耗尽线上流量配额时
当每晚运行的评测套件与线上产品共享同一个供应商组织账号时，一场由“嘈杂邻居”引发的生产事故就不可避免。本文将介绍如何隔离配额、根据 Token 影响对 PR 进行限制，并像对待真正的生产负载一样对待你的评测任务。
你的延迟 SLO 取决于其他团队的 Prompt 大小
共享的每分钟 Token 数（TPM）限制使得你的延迟 SLO 与你自己的服务脱钩。解决方法是以提供商进行限流的单位来衡量内部容量，而不是以请求数或美元。
你的 RAG 语料库信任边界取决于谁能写入其数据源
通过竞争对手公开评论进行的间接提示词注入，可以将你的 RAG 管道变成一个数据外泄通道。信任边界不在于谁编写了摄取代码，而在于谁可以写入数据源。
检索流水线的数据驻留：那些跨境而去的 Embedding，以及并未跨境的 LLM 调用
你的推理端点固定在法兰克福，但你的 Embedding API、向量控制平面、重排序（Rerank）服务、Prompt 缓存和追踪存储却并非如此。本文将深入探讨 RAG 请求中的六个数据驻留层面，以及每个环节在不知不觉间跨境传输时所存在的组织架构差距。
当候选人说“我会直接用提示词解决”时，面试官之间出现的 40 分分歧
针对同一位候选人产生的 40 分评价差异，并不是候选人的问题，而是评分标准的问题。本文将探讨当你的团队尚未达成共识时，如何校准 AI 工程师的招聘环节。
那些响应体显示 OK 且被客户端信以为真的 429 错误
当 429 错误的响应体显示为 OK 时，单纯的客户端会信任该响应体，跳过退避算法，从而将频率限制演变成重试风暴导致的宕机。修复方法是结构性的：同时读取状态码、响应头和响应体，并以最严格的声明为准。
以 Token 数量而非结果驱动的 A/B 测试
当实验平台让统计 Token 数量变得容易而衡量用户结果变得困难时，提示词 A/B 测试往往会发布一些团队无法将其与性能倒退区分开来的局部最优解。
那个批准了“单次调用成本”却从未衡量“单次解决任务成本”的智能体预算
一个使单次调用成本下降了 25% 但单次解决任务成本却上升了 40% 的智能体，是智能体部署中最常见的单位经济失效案例。本文将探讨为什么供应商的 SKU 并不是工作单元，以及如何建立正确的衡量指标。
当“转接人工”变成排队：AI 客服栈中隐藏的激励机制 Bug
拦截率仪表盘在撒谎。你上线的奖励函数悄悄地让“转接人工”变成了 AI 代理成本最低的操作——而你的支持团队则沦为了它的溢出队列。
那个基于已被你的上下文剪枝器丢弃的事实进行分支的智能体计划
当上下文剪枝器驱逐了后续计划步骤隐式依赖的工具结果时，智能体会继续针对已不存在的证据进行分支处理——而其追踪记录看起来就像是幻觉。
你的客户成功团队无法消化的智能体发布节奏
当 AI 团队通过功能标志每周发布行为变更，而客户成功团队每月才进行一次培训时，这种差距会导致客户信任悄然崩塌。解决方法是建立协调契约，而不是增加更多会议。
你的故障指挥官无法执行的智能体运行手册
大多数智能体运行手册在白天读起来很顺畅，但在凌晨 2:17 运行时却会被阻塞，因为作者拥有值班 SRE 所不具备的访问权限。联邦化、声明式范围、紧急访问端点和演练才是解决之道。
关于 Tian Pan
我是 Tian Pan，一名工程师型创始人，专注于智能体工程——构建自主 AI 系统并扩展工程团队。我撰写关于系统设计、技术领导力和 AI 智能体实战的实用指南。曾在 Uber、Brex 和 IoTeX 担任早期工程师。
