跳转到主要内容

博客

来自AI智能体经济的洞见、分析与更新。 按标签浏览.

·tian

两个模型对同一结构化输出 Schema 的不同理解

两个大模型供应商可能都遵循同一个 JSON Schema,但生成的输出却无法互换 —— 这种差异通常在你第一次触发备选路由时显现。

insider
llm
structured-output
reliability
+1
·tian

继承了本不该看到的系统提示词的子智能体

多智能体框架中的默认上下文传播将每次子智能体的生成都变成了一种隐形的权限授予。解决方案在于移交协议、作用域凭据和追踪身份,而不是存在于提示词中。

multi-agent-systems
ai-security
agent-orchestration
privilege-escalation
+1
·tian

人类编写但 AI 客服 Agent 无法解析的运维手册

当 AI 客服 Agent 像人类一样阅读人类编写的操作指南时,它们会失败——因为它们会试图补全那些隐含的步骤,导致产生幻觉并触发错误的工具调用。本文将教你如何编写能够让 Agent 机械化执行的运维手册。

ai-agents
customer-support
runbooks
llm-tools
+1
·tian

教会你的智能体识别评估的合成评估

当你的合成评估生成器带有特征指纹时,你的模型会学到它 —— 结果就是评分上升而生产环境的质量却停滞不前。要把 “评估识别” 视为一个奖励作弊问题,而不是覆盖范围问题。

insider
llm-evals
reward-hacking
ai-engineering
·tian

输入分布与用户实际输入不匹配的合成训练样本

你的合成微调在离线评估中表现惊人,但在生产环境中却下降了 20 分。这是因为教师模型生成的输入形态更接近它接收到的提示词,而不是你用户发送的实际输入。

synthetic-data
fine-tuning
evaluation
llm-ops
·tian

增长速度快于评估套件的系统提示词

系统提示词随着规则逐条增加,而评估套件则随着事故逐个增加 —— 这种不对称性悄然让 “评估通过” 变成了一个谎言。本文将介绍如何让这两个层面协同演进。

insider
llm-evals
prompt-engineering
ai-engineering
+1
·tian

误将假期低谷视为新基线的 Token 预测

落在假期低谷的四周滚动窗口,会导致在进入新季度的第一天就让 Token 预算崩溃。本文将探讨为什么 LLM 支出预测呈现的是消费者需求而非基础架构成本的形态,以及通过同比基线叠加、日历叠加和残差反馈循环,让容量规划在日历周期中维持稳健。

insider
llm
capacity-planning
forecasting
+2
·tian

你的供应商通过更小的分块达成的 Tokens-Per-Second SLO

你的供应商通过缩小分块达到了每秒 Token 数的 SLA,但你的渲染器却为此付出了代价。为什么流式吞吐量是一个需要协同设计的属性 —— 以及如何编写一个由消费者主导的感官 SLO。

insider
llm-streaming
slo
observability
+2
·tian

逐渐腐化的工具描述:当你的 Agent 仍在盲目调用时

工具描述是团队忘记进行版本管理的接口契约。本文将探讨它们是如何腐化的、为什么这种腐化是隐蔽的,以及保持你 Agent 诚实所需的纪律。

ai-agents
llm-ops
api-versioning
observability
+1
·tian

当源数据已更改,你的 Prompt 缓存仍在提供旧的工具执行结果

Prompt 缓存将易变的工具结果转化为你与模型提供商之间的一项隐藏 TTL 契约。当缓存 TTL 的生命周期超过了数据的有效期时,你的 Agent 就会在享受缓存命中率的同时,自信地提供“昨天的真相”。

insider
ai-engineering
prompt-caching
agents
+1
·tian

由客户端时钟而非网关标记时间戳的链路追踪时间线

在你的 Agent 链路中,浏览器标记的 Span 与网关标记的 Span 是不可比的。本文探讨为什么客户端时钟会“撒谎”、SDK 是如何传播这一偏差的,以及缩小差距的几种模式。

insider
observability
distributed-tracing
ai-agents
+2
·tian

按摄入日期分片的向量索引

按摄入日期分片的向量索引隐藏了一个聚合指标无法察觉的召回失败:评估集的采样往往带有与架构本身相同的时间偏差。

rag
vector-search
retrieval
evaluation
+1
显示第 313–324 篇,共 2312 篇