Page 79
12 articles你的 AI 聊天记录即证据：法律保存指令下的 LLM 产品保留设计
聊天日志属于 ESI。你需要设计四层保留机制，在真正需要之前建立法律保存注册表，并在数据摄入时标记出处 —— 否则你将在电子取证过程中为补全这些架构付出惨重代价。
AI 面试崩塌：工程招聘已失去筛选信号
在 19,368 场面试中，技术岗位 AI 辅助作弊比例高达 48%，且 61% 的作弊者成功达标。本文探讨了为何检测手段注定失败、为何禁止 AI 的政策在惩罚诚实候选人，以及正在取代旧模式的新型面试形式。
AI 可观测性泄露：你的追踪堆栈正成为数据外泄的出口
托管式追踪 SDK 正在悄无声息地将完整的 prompt 和回复传送到你的信任边界之外。这是一份面向 LLM 团队的合规指南：对字段进行分类、在数据流出前进行清洗，并将 SDK 审计作为一项基本策略。
你的 AI 产品在需要另一个模型之前，更需要一名 SRE
大多数举步维艰的 AI 团队都在用 2012 年时代的运营方式运行前沿模型。解决这一问题的下一个关键员工通常是 SRE，而不是另一位应用科学家。
异步智能体需要收件箱，而非聊天框
当智能体的运行时间超过 30 秒时，聊天界面的用户体验就会崩坏。收件箱这一原语——持久化的运行 ID、完成通知以及“结果重于过程”的架构——才是长程智能体真正需要的产品形态。
基准测试泄露：你的评估集是如何悄悄加入训练语料库的
公开的 LLM 基准测试正悄然变成训练数据，并导致评分虚高 5–15 分。本文将介绍实用的污染审计方法（n-gram、金丝雀字符串、留存测试），以及你的评估团队不愿执行这些审计的组织层面原因。
取消税：用户点击停止后的推理账单
点击停止只是停掉了你的 UI，而不是 GPU。大多数供应商会完成生成，并为你那些用户从未读过的 Token 计费。本文将介绍如何衡量并缩小这一差距。
级联路由的可靠性陷阱：当成本优化悄然摧毁你的 p95 延迟
级联路由能够显著降低 LLM 开销 —— 但同时也会悄然降低尾部延迟、污染你的训练数据并使 A/B 测试失效。在成本收益变成可靠性账单之前，以下是你需要进行观测的指标。
你的思维链是一个故事，而非审计日志
推理追踪读起来像审计证据，但它们仅描述了意图——而非实际执行的内容。本文探讨了为什么合规性需要运行时生成的边车操作日志。
智能体无法察觉的死锁：生成计划中的循环工具依赖
LLM 编写的智能体计划通常包含经典死锁检测无法发现的隐式循环。通过静态计划图处理结合运行时看门狗，可以在 Token 耗尽前捕获这些问题。
你的 Prompt 时钟是正确性边界，而非日志字段
LLM Agent 没有时钟 —— 它们信任你注入的任何时间戳。将 Prompt 中的时间视为正确性契约，而非日志字段，否则你将不断遇到“周二还是周三”的 Bug。
冷启动评估：如何在零生产环境追踪的情况下发布 AI 功能
没有生产追踪意味着没有免费的评估信号 —— 但等待真实用户也不是解决办法。本文介绍一套四层冷启动评估栈：结构化的内部试用、基于角色的场景模拟、专家标注的种子集，以及公开的对抗性探测库。通过明确权重，确保声音最大的内部用户不会左右评估标准。
关于 Tian Pan
我是 Tian Pan，一名工程师型创始人，专注于智能体工程——构建自主 AI 系统并扩展工程团队。我撰写关于系统设计、技术领导力和 AI 智能体实战的实用指南。曾在 Uber、Brex 和 IoTeX 担任早期工程师。
