Page 148
12 articlesLLM 评估：什么才真正有效，什么是在浪费时间
一份面向从业者的 LLM 评估指南 —— 为什么错误分析先于基础设施、LLM-as-judge 何时有效、如何避免基准测试分数陷阱，以及为什么评估工作永无止境。
AI Agent 系统化调试：从凭空猜测到根因分析
在生产环境中调试 AI Agent 需要一种与传统软件完全不同的方法。了解轨迹归一化、可执行约束以及基于证据的故障定位如何取代凭空猜测，实现系统化的诊断。
为什么你的 LLM 评估器失准了 —— 以及数据优先的修复方案
大多数团队在阅读数据之前就开始编写 LLM 评估标准 —— 这种本末倒置的做法正是评估器错过最关键失败案例的原因。数据优先的工作流、二元标签以及针对留出集的妥善验证可以从根本上解决这一问题。
基座工程（Harness Engineering）：决定你的 AI Agent 能否真正工作的关键学科
大多数部署 AI 编程 Agent 的团队都专注于模型选择，却忽视了基座（Harness）—— 即决定现实世界可靠性的脚手架、反馈循环和不变性。以下是区分 “能上线的 Agent” 与 “不可控的 Agent” 的关键所在。
构建受控的 AI Agent：Agent 支架 (Agentic Scaffolding) 实践指南
大多数 AI Agent 部署失败并不是因为 LLM 性能不足，而是因为其周围的支架 (scaffolding) 缺乏治理。本文将介绍如何构建安全、可审计且在生产环境中值得信赖的 Agent。
上下文工程：比提示词工程更重要的学科
为什么生产环境中 LLM 系统的真实瓶颈是上下文架构，而不是提示词措辞 —— 以及如何将上下文作为一级系统关注点进行设计。
你的 CLAUDE.md 可能太长了（这就是它不起作用的原因）
在 CLAUDE.md 中添加更多规则往往会导致你的 AI 编程 Agent 遵循的规则变少。本文将探讨指令溢出发生的原因，以及如何构建 Agent 文件以确保可靠的合规性。
生产级 LLM 系统的评估工程
如何构建真正能发现故障的 LLM 评估系统 —— 涵盖错误分析循环、评估成本层级、LLM-as-judge 方法论、CI/CD 集成以及 Agent 特有的陷阱。
多智能体对话框架：从流水线到会话智能体的范式转移
大多数多智能体系统的失败并非模型故障，而是架构失效。本文将探讨基于对话的智能体框架如何运作、其优势所在，以及为什么无结构的智能体网络会导致错误放大 17 倍。
Agentic RAG：当你的检索流水线需要一颗大脑时
大多数 RAG 系统在生产环境中失败并不是因为模型不好，而是因为工程师忽略了控制循环。这是一份 Agentic RAG 架构指南 —— 涵盖路由、评分器、幻觉检查器，以及那些会导致首次部署失败的典型模式。
为什么在 AI Agent 出错时，你现有的可观测性栈无法救场
当你的 AI Agent 推理错误时，HTTP 200 状态码和整洁的延迟图表将毫无意义。本文将探讨执行层追踪的工作原理、需要衡量的指标，以及生产级 Agent 系统中可观测性工具的具体分类。
AI Agent 代币经济学：在不牺牲质量的前提下降低成本
AI Agent 消耗的代币比聊天机器人多 3 到 10 倍，而未优化与优化后的部署在成本上可能相差 200 倍。这是一份关于提示词缓存、模型路由、上下文压缩和硬限制的实用指南，旨在真正解决成本痛点。
关于 Tian Pan
我是 Tian Pan，一名工程师型创始人，专注于智能体工程——构建自主 AI 系统并扩展工程团队。我撰写关于系统设计、技术领导力和 AI 智能体实战的实用指南。曾在 Uber、Brex 和 IoTeX 担任早期工程师。
