Page 81
12 articles你的微调语料库是 GDPR 数据产物，而不仅仅是机器学习资产
微调后的权重编码了客户的个人身份信息 (PII)，这些信息在数据库删除后依然存在。这是一份将训练语料库视为 GDPR 下数据产物的实用指南——涵盖谱系文档、适配器隔离，以及在首个微调模型发布前需要进行的合规对话。
首次触达工具损耗：为什么你的智能体在执行任务前要先读 12 个文件
AI 智能体在进行首次编辑前，60–80% 的 Token 预算都损耗在了读取操作上。通过任务类别路由、探索预算上限和“先规划后执行”门控机制可以减少这种浪费。
免费层级滥用经济学：当你的 AI 慷慨被机器人拖垮
为 SaaS 设计的免费层级策略正在悄悄让 AI 产品破产。本文将揭示机器人如何利用你的慷慨牟利，以及如何通过速率限制、工作量证明和指纹识别模式来止血。
GPU 饥饿：某个租户的推理提示词如何导致你的共享推理端点停滞
一个推理提示词就能拖慢共享推理端点上所有其他请求的 p99 延迟。本文将探讨为什么连续批处理和 KV 缓存钉选会导致队头阻塞，分析鲜有人关注的诊断信号，并介绍四种缓解方案 —— 分块预填充、优先级调度、每租户 Token 上限以及请求类别隔离 —— 按其侵入性由低到高排序。
幻觉成功问题：当你的智能体宣称完成却一事无成时
那些在没有实际完成工作的情况下却自信地报告任务完成的智能体，正在悄悄地破坏你的仪表盘数据。本文将介绍在用户发现之前捕捉这些问题的验证模式。
人机回环 (HITL) 是一个队列，而队列具有动态特性
智能体工作流中的审批步骤表现得就像生产环境中的队列 —— 伴随着积压增长、陈旧性、疲劳感和优先级倒置。以下是如何设计能够承受规模化压力的 HITL 的方法。
你的 P99 正在受陌生人流量的影响：托管 LLM 推理中的“吵闹邻居税”
托管 LLM API 在你从未见过的租户之间共享 GPU、批处理和 KV 缓存预算，因此你的尾部延迟会随陌生人的流量而波动。本文将介绍如何证明这一点、如何缓解，以及何时决定转向专用算力。
现在，推理速度已经快过你的数据库了
模型在请求延迟中所占的份额已经大幅下降。你自己的特征存储、身份验证和 Postgres 调用现在成了性能的长尾——而大多数 AI 架构甚至还没察觉到这一点。
面试模式与任务模式：你的智能体不断打破的无形契约
大多数关于 “问得太多” 和 “问得不够” 的抱怨其实都是同一个 bug —— 你的智能体选错了契约。本文将介绍如何识别并解决这一问题。
“LLM 即编译器” 是一个你的代码库无法承受的隐喻
将 LLM 视为编译器正悄无声息地取消了那些让 AI 生成的代码库在渡过 “六个月之墙” 后仍能保持可维护性的纪律 —— 包括代码审查、重构和架构决策。
LLM-as-Judge 漂移：当你的评估器升级导致所有数据变动时
如果回归测试套件在没有任何提示词更改的情况下变红，通常问题出在裁判身上，而不是候选模型。本文探讨评估器漂移如何制造虚假的胜负，为什么固定裁判和校准频率至关重要，以及在评估元数据中应记录哪些内容以防止仪表盘数据误导。
你的 LLM Span 在撒谎：APM 工具没告诉你的推理延迟真相
标准的 APM 工具将 LLM 调用视为一个不透明的 span —— 但 prefill、decode、缓存未命中和批处理位置都隐藏在这个耗时段中。本文将揭示你真正需要的追踪层面。
关于 Tian Pan
我是 Tian Pan，一名工程师型创始人，专注于智能体工程——构建自主 AI 系统并扩展工程团队。我撰写关于系统设计、技术领导力和 AI 智能体实战的实用指南。曾在 Uber、Brex 和 IoTeX 担任早期工程师。
