Page 71
12 articles当你的评测结果不一致时：在数据互相矛盾时的一套信号优先级体系
对于提示词变更，四种不同的评测信号很难完全一致。如果没有一套明确的优先级体系来规定在何种情况下以哪个信号为准，那么每个发布周都会变成一场关于“该信任谁的数据”的争论。
少样本腐化：为什么昨天的示例会拖累今天的模型
少样本示例是针对特定模型进行优化的。在模型升级后，那些曾经提升准确率的演示示例可能会悄无声息地开始产生负面影响 —— 本文介绍了防止腐化的审计和溯源规范。
发现的能力：当用户上线了你团队从未规划的功能
每一个足够强大的模型都会暴露出你团队从未规划过的行为。用户发现了它们，并在其基础上构建了工作流，然后将下一次模型升级视为一种回归。这里有一种产品准则，能将这些“发现的能力”转化为由你真正掌控的决策。
生成式 UI 作为一种生产规程：当模型渲染屏幕时
当模型输出的是组件树而非文本时，设计评审、无障碍审计以及提示词注入威胁模型都必须从头开始重构。
你审计日志中的幽灵员工：借用凭据的智能体正在瓦解 IAM
借用的凭据使智能体在每份审计日志中看起来都像启动它们的真人——正是这层薄弱的伪装，使得 2026 年的一次提示词注入演变成了无法追溯的泄露事件。
当需求是悬崖而非曲线时，如何进行 GPU 产能规划
Agent 工作负载打破了平滑曲线的产能规划。请以 Token 为单位进行规划，将扇出视为一级指标，并针对预见性的“悬崖式”需求预留产能。
空洞解释问题：当模型的推理只是装饰而非证据
LLM 输出旁生成的解释通常与实际计算没有因果联系。为什么事后合理化比承认不确定性更快地削弱用户信任，以及那些不伪造可解释性的设计模式。
Token 间抖动：你的 p95 仪表盘看不见的流式传输 UX 失败
首个 Token 响应时间 (TTFT) 和总生成时间都符合 SLO，但用户却抱怨 AI 在响应过程中『卡住了』。你的仪表盘所隐藏的指标是相邻 Token 之间的间隔 —— 而平滑这一间隔是一个 UX 问题，而非吞吐量问题。
内部 LLM 网关是新一代 Service Mesh
当团队达到 50 名工程师规模时，每个团队都会拙劣地重造同一个 LLM 网关。本文探讨为什么这种模式不断出现，哪些功能应该集中化、哪些应该留在边缘，以及如何解决内部的博弈冲突。
倒置智能体：当用户是规划者，模型是步骤执行者时
大多数智能体产品让模型负责规划，而让用户负责审批。对于高风险工作，这种极性恰恰相反 —— 解决方案是一个不同的产品设计，而非更优的提示词。
JSON 模式是一种方言，而非标准：你备选路径中的隐形崩溃
每个主流 LLM 供应商都以相同的名称提供 JSON 模式，但其背后的约定却各不相同。当你启用备选路由的那一天，你才会发现解析器无法处理哪些细微差异。
评估困局：当你的 LLM 评测器比被评分的模型更聪明时
当负责评分的 LLM 变得更敏锐时，即使你的系统没有变化，得分也会下降。本文将介绍如何区分评测器偏移与模型回归，并停止对错误的工具进行调试。
关于 Tian Pan
我是 Tian Pan，一名工程师型创始人，专注于智能体工程——构建自主 AI 系统并扩展工程团队。我撰写关于系统设计、技术领导力和 AI 智能体实战的实用指南。曾在 Uber、Brex 和 IoTeX 担任早期工程师。
