跳转到主要内容

278 含有标签「reliability」

Posts tagged "reliability" on TianPan.co.

查看所有标签

·tian

那个基于已被你的上下文剪枝器丢弃的事实进行分支的智能体计划

当上下文剪枝器驱逐了后续计划步骤隐式依赖的工具结果时,智能体会继续针对已不存在的证据进行分支处理——而其追踪记录看起来就像是幻觉。

ai-agents
context-engineering
observability
reliability
·tian

增加更多工具后,你的智能体“不知道”率为何反而下降了

扩大工具覆盖范围在仪表盘上看起来像是能力的提升。但实际上,这往往是计划器在悄悄地将诚实的“不知道”转化为自信的错误答案。

agents
evaluation
tool-use
reliability
·tian

在解码中途缩减至零的自动伸缩器:当推理被视作无状态网络流量时

一个成本驱动的缩容策略将一个 30 分钟的长上下文作业视为无状态的 HTTP 请求。Pod 在解码中途被回收,唯一的信号是一个小时后网关日志中的 499 错误。这篇复盘报告将自动伸缩重新定义为一个工作负载形态问题。

insider
inference
autoscaling
kubernetes
+2
·tian

那个在行动已发出后才生效的预算上限

当紧急停机开关正确触发,但智能体已经订好了机票、发送了邮件并关闭了工单时——为什么以 Token 衡量的预算上限忽略了以“行动”衡量的损失,以及如何将支出与不可逆性解耦。

insider
ai-agents
guardrails
observability
+2
·tian

缓存击穿:这次冲击的是你的模型提供商,而不是数据库

当一个热门的 Prompt 前缀在整个集群中过期时,每个工作线程都会在同一瞬间成为缓存写入者 —— 曾经属于数据库的并发压力和账单,现在全都涌向了你的模型提供商。

llm
prompt-caching
reliability
cost-engineering
+1
·tian

那个‘总结’掉用户原始提问的压缩策略

自动总结保留了对话脉络,但悄然改变了下游工具所依赖的字面表述。本文将探讨该 Bug 是如何出现的,以及如何针对它进行架构设计。

insider
agents
context-engineering
llm-ops
+1
·tian

确定性种子:为什么供应商将其视为“提示”而非“契约”

托管 LLM API 上的 seed 参数只是尽力而为的提示,而非契约。本文探讨了为什么字节级精确的 CI 断言会失效,以及你应该断言什么。

llm
inference
determinism
testing
+1
·tian

重新路由回智能体的升级路径

当下游队列开始自行自动化时,`escalate_to_human` 工具就不再是人机回环了。探讨为什么契约的生命周期必须长于消费者。

insider
ai-agents
human-in-the-loop
escalation
+2
·tian

通过了 Schema 验证的虚假工具参数

JSON Schema 只能验证结构,而不能验证事实。当 Agent 虚构出能通过 Schema 检查的引用参数时,重试循环会将这个 Bug 掩盖在看似正常的审计追踪中 —— 本文将介绍缺失的校验层。

ai-agents
tool-calling
llm-safety
json-schema
+1
·tian

带有延迟预算的紧急开关:你的故障处理从未达到的标准

如果一个 AI 功能的遏制时间超过了其爆炸时间,那么所谓的紧急开关只是纸上谈兵,而非实际可用。测量激活延迟,根据损失率对其进行分层,并将该数值写入运行手册。

ai-engineering
incident-response
reliability
feature-flags
+1
·tian

你的智能体平台忘了配置的值班轮换

一个四人的 AI 平台团队为一个拥有 200 名日活用户的内部智能体上线,却忘了配置值班轮换 —— 最终以惨痛的代价学习了 SRE 人员配置的计算方法。

insider
ai-platform
on-call
sre
+2
·tian

提供商故障转移:在对话中途替换了你安全策略的隐忧

多供应商 LLM 故障转移通常将各厂商视为可互换的,但它们的拒绝阈值、语气和内容边界各不相同。本文将探讨网关如何成为策略控制面,以及会话亲和性和统一审核层究竟解决了什么问题。

llm-gateways
safety
reliability
ai-engineering
+1
显示第 37–48 篇,共 278 篇