跳转到主要内容

348 含有标签「observability」

Posts tagged "observability" on TianPan.co.

查看所有标签

·tian

你的 Agent 没有留下的那本证据档案

调用链路告诉你 Agent 做了什么。决策记录告诉你 Agent 当时手上有什么。多数团队只交付了其中一种,等审计来了才发现缺口。

ai-agents
observability
forensics
compliance
+1
·tian

把自己调度进维护窗口的 Agent

Agent 会一头扎进部署冻结期、活跃事故和飘红的状态页执行多步计划——因为它读不到人类天然吸收的那些侧信道。这篇文章讲怎么补上这个洞。

ai-agents
sre
observability
governance
+1
·tian

多模态追踪:当各种模态必须共享一个 ID

当语音、视觉和 LLM 各自打开自己的根 span 时,多模态 Agent 就让 span 树支离破碎。修复办法是:一个轮次 ID、附着的工件,以及一个对接合层负责的所有者。

insider
observability
multimodal-ai
distributed-tracing
+2
·tian

一路重试穿过你限流器的 agent

你的 token bucket 衡量的是用户点击;账单衡量的是模型调用。当一次点击扇出成三十次调用,HTTP 边界上的限流器就变成了一把纸糊的伞。

insider
agents
rate-limiting
observability
+2
·tian

长出胳膊和腿的缓存提示词前缀

六个月前你的提示词前缀是 4k tokens,几乎可以摊销到免费。今天它是 11k tokens,你的缓存命中率是 31%,没有人能指出是哪个 PR 干的。

insider
llm
prompt-engineering
cost-optimization
+2
·tian

那个谁也不敢从注册表里删掉的死工具

一个无人认领的工具可能永远赖在你的共享 agent 目录里,在 token、选择准确率和安全攻击面上对每一次推理课税。建一套能让你把它干净拔掉的弃用生命周期。

agent-tooling
tool-registry
deprecation
ai-platform
+1
·tian

你的 Agent 读不懂的生产日志

把 agent 接入日志系统只是给了它访问权,不是理解力。真正的集成工作,是教它你的数据叫什么名字。

ai-agents
observability
logging
tool-design
+1
·tian

你的智能体审计日志记录了一切,唯独没有记录原因

完整的智能体追踪展示了发生了什么,却从未解释原因。为什么可观测性并不等同于可解释性,为什么记录的思维链可能是虚构的,以及如何捕捉能通过监管机构审查的决策依据。

audit-log
observability
ai-engineering
compliance
+1
·tian

你的评估集里只有你已经解决的问题

你的 LLM 评估分数在攀升,是因为幸存者偏差过滤掉了那些再也没有回来的用户。本文将告诉你如何发现你的评估套件无法察觉的失败案例。

evaluation
llmops
survivorship-bias
observability
+1
·tian

从 Bug 到行为率:没有复现步骤的 AI 事后分析

没有复现步骤的 AI 故障并非调试失败 —— 它是系统在告诉你,单一的错误输出只是分布中的一个采样,而非确定性的 Bug。事后分析的形式必须随之改变。

ai-agents
postmortem
reliability
observability
+1
·tian

演示成功是因为有人在看:会话长度是你的评测套件遗漏的那个维度

五轮的演示掩盖了在第二十八轮才会出现的误差累积、注意力漂移和承诺粘性。把会话长度当作一等评测维度来对待,否则你交付的可靠性数字,用户其实已经见过它的另一个版本。

insider
ai-engineering
llm-evals
agent-reliability
+1
·tian

填充式工具调用:当智能体在表演勤奋而不是真正干活

生产环境中的智能体不断发出对答案毫无影响的工具调用——烧掉 token、拖慢延迟、损害准确率。本文讲清楚填充式调用是如何从训练中长出来的、它真正的成本是多少,以及如何用反事实测量和调用预算把它从工作流里剔除出去。

insider
ai-agents
llm
tool-calling
+2
显示第 85–96 篇,共 348 篇