Page 14
12 articles对正确答案的点踩：当用户反馈训练出谄媚行为
点踩评分将“错误”与“不受欢迎”混为一谈。针对原始信号优化提示词训练出的是迎合而非准确性——而且这种数学偏差会随规模扩大而恶化。
Token 感知型日志：当你的追踪成本超过其观测的推理成本时
AI Agent 的遥测流水线现在的预算开销已经超过了它们所观测的 LLM 调用。本文介绍了一个逐字段的成本模型——包括 Prompt 指纹识别、基于结果的采样、分级存储——旨在将观测成本控制在合理的服务成本 (COGS) 范围内。
工具目录中的依赖炸弹：为什么增加一个工具会破坏五个智能体
在智能体的工具目录中添加新工具会重新分配规划器在每个条目上的选择概率，从而在静默中重定向那些你的评估套件从未想过要测试的工作流。
我们已经有了：当 AI 功能在重新造你已有的代码轮子
在成熟的公司中，大多数 AI 功能其实是在重复代码库中已有的逻辑。解决方法是在开发前进行审计，并采用一种组合模式，让模型成为备选路径而非首选路径。
每个开放 RAG 系统自带的攻击向量
当用户可以向你的知识库贡献内容时，他们并不是唯一的写入者。在 260 万个条目的语料库中，仅需 5 份恶意文档即可实现 97% 的攻击成功率 —— 且流水线不会显示任何错误。
孤儿微调：基础模型废弃后如何恢复领域专业知识
当基础模型被废弃时，微调后的领域专业知识不会自动迁移。三条恢复路径——行为蒸馏、重新标注和提示编码——以及提前规划的重要性。
LLM 输出的统计水印：Token Logit 偏置如何创建可检测的签名
LLM 文本水印在推理阶段将统计可检测的签名嵌入 token logit 概率中。本文介绍绿/红名单方案的工作原理、Google SynthID-Text 为何属于半脆弱性水印，以及生产工程师在将水印用于合规或归因之前需要了解的关键信息。
80% 陷阱：聚合 RAG 指标如何掩盖系统性长尾失效
报告 80% 检索准确率的 RAG 系统往往掩盖了长尾查询中的系统性失效。本文将探讨如何审计覆盖范围缺口，并在不降低头部性能的情况下进行修复。
稀疏信号问题：当无法进行 A/B 测试时如何衡量 AI 功能质量
B2B AI 功能鲜少拥有足够的日活用户来支撑 A/B 测试。本文介绍如何在频率统计无法规模化时，利用贝叶斯方法、代理信号和结构化专家知识获取来衡量质量。
Agent 的写操作侧：在行动层设计可逆性
AI Agent 的每一次写操作都是一个潜在的事故。如何在 Agent 删除无法找回的数据之前，为行动层设计可逆性。
撒谎的 AI A/B 测试：LLM 实验中的新奇效应、结转偏差与锚定偏差
三种心理偏差——新奇效应、锚定偏差和结转偏差——会系统性地夸大 AI 功能的 A/B 测试结果，而标准的留存组（Holdout Group）方案对这些都无能为力。本文将介绍一种真正有效的纵向队列设计（Longitudinal Cohort Design）。
能真正收敛的 AI 澄清对话：面向单轮解决的设计方案
多轮澄清循环会让用户感到沮丧，并降低 LLM 的性能。本文介绍了一个设计框架，旨在通过信息增益优先级、置信度阈值门控和架构约束，让 AI 系统在单轮对话中解决歧义。
关于 Tian Pan
我是 Tian Pan，一名工程师型创始人，专注于智能体工程——构建自主 AI 系统并扩展工程团队。我撰写关于系统设计、技术领导力和 AI 智能体实战的实用指南。曾在 Uber、Brex 和 IoTeX 担任早期工程师。
