Page 70
12 articles不会说谎的 AI 产品指标：行为信号比点赞评分更可靠
聚合满意度评分和点赞率会掩盖 AI 自信出错的情形。以下是能真正告诉你模型改进是否有效的行为信号体系。
AI 可靠性下限：为什么 80% 准确率比没有 AI 还糟糕
存在一个可靠性下限，低于该下限的 AI 功能摧毁用户信任的速度，远比它积累价值的速度快。本文介绍如何在发布前找到这条红线。
AI 采购鸿沟：为什么你的供应商评估流程无法处理概率性系统
传统的 RFP 关注功能评分和在线率 SLA，而这些对于随机性输出几乎没有意义。本文探讨了采购团队在面对 AI 时所缺失的评估驱动考核、合同条款以及供应商透明度信号。
别再手写提示词了：利用 DSPy 和 MIPRO 实现自动化优化
DSPy 及其 MIPRO 优化器通过声明式签名和贝叶斯搜索取代了手动提示词工程 —— 在复杂任务中生成的提示词效果比手写提示词提升 20–40%。本文将介绍该系统的工作原理以及何时值得投入这些开销。
LLM 流水线中的背压：排队论在基于 Token 的服务中的应用
如何将利特尔法则、准入控制、隔板模式和令牌桶背压应用于 LLM 调用图 —— 以及为什么幼稚的重试逻辑会将供应商的瞬时波动演变成系统停机。
你一直在忽略的偏见审计：如何为 LLM 流水线构建人口特征公平性
安全过滤器和公平性检查是不同的问题，需要不同的工程响应。针对性别、种族和语言群体的输出质量差异不会在你的护栏机制中体现 —— 这里有一套能在发布前捕捉这些差异的方法论。
认知外包陷阱：当你的团队离开 AI 就无法工作
将所有知识工作都交给 AI 代理的工程团队会逐渐失去底层技能。本文介绍如何识别不健康的 AI 依赖，并设计刻意练习以保护人类能力。
AI 流水线的复合故障模式：局部成功远远不够
如果你的 AI 流水线每个阶段的成功率都是 95%，那么三步链的整体成功率只有 86%。本文解析从业者常常低估的概率乘法、让情况雪上加霜的相关性效应，以及防止生产环境中乘法式崩溃的架构模式。
上下文压缩改变了你的模型真正看到的内容
Token 剪枝和提示词压缩可以将 LLM 推理成本降低 3 到 10 倍，但它们会在无形中改变模型看到的内容。本文将深入分析其失败模式——如指代链丢失、约束条件遗漏、工具输出幻觉——并探讨如何安全地验证和分配压缩预算。
持续微调而不污染数据：生产流水线指南
一份关于从用户反馈中持续微调大语言模型的生产工程指南——涵盖数据路由架构、污染检测、灾难性遗忘预防以及自动化安全保护。
提示词契约测试：防止一个团队的修改破坏另一个团队的智能体
提示词是没有契约的共享 API —— 消费者驱动的测试规范能在跨团队的破坏性变更进入生产环境智能体之前将其捕获。
为 Agentic 写入路径构建数据质量门禁：输入是垃圾，输出是不可逆的操作
拥有写入权限工具的 Agent 会将上游的数据质量问题直接转化为现实世界的副作用。本文将介绍防止此类问题的验证架构。
关于 Tian Pan
我是 Tian Pan，一名工程师型创始人，专注于智能体工程——构建自主 AI 系统并扩展工程团队。我撰写关于系统设计、技术领导力和 AI 智能体实战的实用指南。曾在 Uber、Brex 和 IoTeX 担任早期工程师。
