跳转到主要内容

348 含有标签「observability」

Posts tagged "observability" on TianPan.co.

查看所有标签

·tian

确认与行动间的鸿沟:智能体的“明白了”并不等同于承诺

生产环境中的智能体经常自信地确认那些从未执行的操作,这是因为开发团队将对话文本误认为是契约,而非工具调用。本文介绍一种将叙述与承诺分离的设计模式。

insider
ai-agents
llm-evaluation
observability
+2
·tian

Agent 延迟预算是树而非线 —— 你一直在错误的维度进行调试

Agent 延迟是由规划调用、工具扇出和子 Agent 组成的嵌套树 —— 按耗时排序的火焰图掩盖了关键路径,导致局部优化错失了真正的预算超限点。本文将介绍如何以树状思维进行预算分配、截止时间传递以及观测余量。

agent-latency
observability
slo
performance
+1
·tian

静默成功:当你的 Agent 宣告完成但实际上什么也没发生

Agent 往往因为喋喋不休而失败。自信的文字掩盖了工具错误,而写入操作从未真正提交。解决方案是:将模型的声明降级为假设,将工具响应和操作后探测提升为权威信号,并衡量效果落地而非单次对话的成功。

insider
ai-agents
observability
reliability
+1
·tian

取消税:用户点击停止后的推理账单

点击停止只是停掉了你的 UI,而不是 GPU。大多数供应商会完成生成,并为你那些用户从未读过的 Token 计费。本文将介绍如何衡量并缩小这一差距。

llm-cost
finops
streaming
observability
+1
·tian

级联路由的可靠性陷阱:当成本优化悄然摧毁你的 p95 延迟

级联路由能够显著降低 LLM 开销 —— 但同时也会悄然降低尾部延迟、污染你的训练数据并使 A/B 测试失效。在成本收益变成可靠性账单之前,以下是你需要进行观测的指标。

insider
llm-routing
observability
reliability
+1
·tian

你的思维链是一个故事,而非审计日志

推理追踪读起来像审计证据,但它们仅描述了意图——而非实际执行的内容。本文探讨了为什么合规性需要运行时生成的边车操作日志。

insider
ai-agents
observability
compliance
+2
·tian

智能体无法察觉的死锁:生成计划中的循环工具依赖

LLM 编写的智能体计划通常包含经典死锁检测无法发现的隐式循环。通过静态计划图处理结合运行时看门狗,可以在 Token 耗尽前捕获这些问题。

insider
ai-agents
llm
observability
+2
·tian

按功能计费,而非按 Token 计费:AI 预算分配中的缺口

每个端点的 Token 支出掩盖了哪些 AI 功能在赚钱。将推理追踪与产品遥测相结合的打标规范,能将定价、准入控制和功能废弃的决策从“凭感觉”转变为“看数据”。

finops
llm
observability
cost-attribution
+1
·tian

幻觉成功问题:当你的智能体宣称完成却一事无成时

那些在没有实际完成工作的情况下却自信地报告任务完成的智能体,正在悄悄地破坏你的仪表盘数据。本文将介绍在用户发现之前捕捉这些问题的验证模式。

ai-agents
reliability
observability
llm
+1
·tian

人机回环 (HITL) 是一个队列,而队列具有动态特性

智能体工作流中的审批步骤表现得就像生产环境中的队列 —— 伴随着积压增长、陈旧性、疲劳感和优先级倒置。以下是如何设计能够承受规模化压力的 HITL 的方法。

insider
ai-engineering
hitl
agents
+2
·tian

你的 P99 正在受陌生人流量的影响:托管 LLM 推理中的“吵闹邻居税”

托管 LLM API 在你从未见过的租户之间共享 GPU、批处理和 KV 缓存预算,因此你的尾部延迟会随陌生人的流量而波动。本文将介绍如何证明这一点、如何缓解,以及何时决定转向专用算力。

llm
infrastructure
observability
latency
+1
·tian

现在,推理速度已经快过你的数据库了

模型在请求延迟中所占的份额已经大幅下降。你自己的特征存储、身份验证和 Postgres 调用现在成了性能的长尾——而大多数 AI 架构甚至还没察觉到这一点。

insider
ai-infrastructure
performance
observability
+2
显示第 241–252 篇,共 348 篇