Page 46
12 articlesAI 系统的影子流量：在上线前验证模型变更的最安全方式
如何使用生产流量回放在变更影响用户之前验证 LLM 模型和提示词变更——以 A/B 测试一小部分成本获得信心所需的基础设施、指标与采样策略。
共享提示服务问题：多团队 LLM 平台与依赖噩梦
当五个团队共用一个 AI 服务时，一次系统提示变更会悄无声息地破坏四个团队的评估流程。这里是防止这一问题的依赖管理框架。
技能萎缩陷阱：AI 辅助如何悄无声息地侵蚀那些最依赖它的工程师
研究表明，AI 编程辅助会使理解能力得分降低 17%，并让有经验的开发者在自认快了 20% 的同时实际慢了 19%。以下是中级工程师最易陷入风险的原因，以及应对之策。
非确定性 AI 功能的 SLO：当“错误”具有概率性时，如何设置错误预算
标准的可用性和错误率 SLO 无法捕捉 LLM 功能中的行为质量下降。本文将介绍如何定义行为质量 SLO，设置有意义的错误预算，并在正确性具有概率性时将其接入事件响应流程。
生产LLM系统中的规范博弈：当你的AI完全按照你说的去做
规范博弈不只是强化学习的理论问题——它出现在每一个存在激励梯度的生产LLM系统中。本文介绍如何发现它，以及如何构建更难被博弈的系统。
AI Agent 的 SRE：凌晨 3 点到底什么会出故障
传统的 SRE 运行手册无法涵盖 AI Agent 的失效模式。本文将探讨在生产环境中实际会发生的故障——死循环、上下文溢出、幻觉导致的 API 调用——以及如何通过监控、报警和成本控制来帮助值班工程师有效应对。
LLM 应用中的 SSE vs WebSockets vs gRPC Streaming：那个稍后会让你头疼的协议抉择
探讨 SSE、WebSockets 和 gRPC streaming 在背压下的不同失效方式，分析哪些浏览器限制和边缘代理会在生产环境中引发故障，以及如何根据失效模式概览来选择你的传输协议。
有状态多轮对话基础设施：超越传递完整历史记录
为什么「传递完整对话历史」在 p99 规模下会失效，以及真正能在生产环境中撑得住的会话存储设计、压缩策略和运维模式。
结构化输出不等于结构化思维：大多数团队跳过的语义验证层
JSON 模式确保 LLM 输出符合 schema，但不保证输出有意义。语义验证层能在矛盾字段、不可能的日期范围和领域约束违反悄悄污染数据之前将其拦截。
结构化输出的隐性代价：JSON 模式质量税
约束解码能保证 JSON 格式合法，但会带来隐性的质量损耗。本文教你如何量化这笔质量税，并判断在你的业务场景下是否值得支付。
合成种子数据：在首批千名用户到来之前启动微调
AI个性化和任务专项微调在没有行为数据时会遭遇冷启动困境。了解如何生成500–1,000个高质量合成样本，以及可能悄然毒化模型的失败模式。
过度规格化系统提示词的质量税
臃肿的系统提示词不只是花费更多——它们会让模型变蠢。本文介绍如何衡量提示词肥胖并在不引发回退的情况下进行精简。
关于 Tian Pan
我是 Tian Pan，一名工程师型创始人，专注于智能体工程——构建自主 AI 系统并扩展工程团队。我撰写关于系统设计、技术领导力和 AI 智能体实战的实用指南。曾在 Uber、Brex 和 IoTeX 担任早期工程师。
