Page 122
12 articlesLLM 作为 ETL 原语：AI 不仅是产品功能，更是数据管道的核心
大多数团队都在产品中构建 AI 功能。而真正的变革正悄然发生在数据管道内部。在这里，LLM 大规模地对记录进行分类、增强、去重和路由——从而创造出那些仅关注产品的团队无法复制的复合数据资产。
多租户 Prompt 难题：当一个系统提示词要服务多个主人时
B2B AI 产品允许客户自定义行为，但分层的系统提示词会静默地相互覆盖——直到企业客户提交工单前没人会发现。本文介绍了一种显式的指令层级架构，使冲突解决过程变得可审计。
多变量回归问题：当所有因素同时改变时，如何隔离 AI 故障
当你的 AI 功能出现回归，且模型版本、提示词、检索语料库以及工具架构都在同一个周五发生了变化时，归因几乎变得不可能。本文将介绍能够防止最坏结果的受控实验规范和影子评估模式。
运营模型卡：实验室不发布的部署文档
已发布的模型卡告诉你模型是否安全——但不会告诉你它能否满足你的p95 SLA、在什么上下文长度下性能会下降，或者它产生格式错误JSON的频率。这里是构建你真正需要的部署文档的测试套件。
Prompt 静态分析：你的 AI 系统缺失的预部署门控
大多数团队发布提示词变更到生产环境时，审查力度还不如一次 CSS 调整。对提示词进行静态分析——捕获指令冲突、可注入的模板插槽和位置陷阱——正是你的 AI 系统缺失的预部署门控。
Schema 熵：为什么你的工具定义正在生产环境中腐烂
生产环境 AI 系统中的工具定义在数月内会悄无声息地降级。本文将探讨 Schema 熵是如何形成的，为什么 Agent 无法自我修正，以及如何通过版本控制和契约测试实践在故障发生前捕获腐烂问题。
选择性弃权问题：为何总给答案的 AI 系统是有缺陷的
大多数 AI 产品设计都在优化更好的答案。更难、更有价值的能力是有原则地拒绝回答——而几乎没有团队在刻意构建它。
语义验证层：为什么 JSON Schema 不足以应对生产环境中的 LLM 输出
受约束解码可以保证 LLM 输出是合法的 JSON，但无法保证其具有实际意义。本文介绍一种双层验证架构，用于捕获 Schema 无法发现的故障。
异步 Agent 的静默失败：为何你的 AI 任务悄然终止却无人察觉
异步 AI 任务会静默而自信地失败——HTTP 200，仪表盘一片绿，客户最终投诉才发现。本文介绍死信队列、幂等键和 Saga 日志如何从传统分布式系统迁移到 AI Agent 场景以解决这一问题。
AI 工程团队的人员配置：每个功能都有 AI 组件时，谁负责什么
当 LLM 将建模商品化后，ML 工程师、数据工程师和产品工程师之间的技能分工如何转变——以及当每个功能都有 AI 组件时，如何配置人员、构建架构并分配所有权。
过时检索：你的 RAG 管道正在隐藏的数据质量问题
当 RAG 管道的检索语料库发生漂移时，系统会无声地失败——过时的事实、已删除的文档和陈旧的 Embedding 能通过所有忠实度指标。本文介绍如何检测这类问题、传播删除操作，并从一开始就将新鲜度内置到管道中。
你的 LLM 评估在欺骗你：统计功效问题
大多数 LLM 评估套件在 50–200 个样本上运行，却声称具有实际上并不存在的显著性。以下是数学原理，说明为什么你的评估无法检测你正在进行的改进——以及该怎么做。
关于 Tian Pan
我是 Tian Pan，一名工程师型创始人，专注于智能体工程——构建自主 AI 系统并扩展工程团队。我撰写关于系统设计、技术领导力和 AI 智能体实战的实用指南。曾在 Uber、Brex 和 IoTeX 担任早期工程师。
