跳转到主要内容

278 含有标签「reliability」

Posts tagged "reliability" on TianPan.co.

查看所有标签

·tian

AI 网关:那个没人点名的单点故障 (SPOF)

位于 LLM 供应商前端的这一层薄抽象,已成为你发布的每一项 AI 功能的承重控制平面。本文探讨了为什么它的爆炸半径现在已经超过了任何供应商的中断风险,以及随之而来的 SRE 规范。

ai-gateway
llm-infrastructure
sre
reliability
+1
·tian

随时间波动的质量偏移:为什么你的 AI 功能在东部时间上午 10 点表现不同

供应商负载不仅仅是一个带有质量副作用的延迟问题 —— 它是一种你的评估套件从未察觉的分布偏移,而你交付的功能其质量下限从未被团队真正衡量。

ai-engineering
evals
observability
llm-ops
+1
·tian

智能体熔断机制:为什么步骤预算是保险丝,而非断路器

步骤计数预算只是在损失造成后才烧断的保险丝。真正的智能体熔断机制结合了语义循环检测、进展信号、Token 生成速度上限以及“停止并移交”机制。

ai-agents
reliability
observability
cost-control
+1
·tian

自我批判税:让模型检查自己的工作如何导致成本翻倍却收益甚微

Self-Refine、验证链(Chain-of-Verification)和反思提示词在基准测试中承诺了巨大的质量提升 —— 但在生产环境中,它们会使成本增加三倍,导致延迟激增,而实际收益却远低于宣传水平。本文将教你如何在上线前评估这项 “自我批判税”。

insider
llm
cost-optimization
reliability
+1
·tian

双跳工具链:为什么 95% 的工具组合会变成 80% 的流水线

虽然单个工具的仪表板保持绿色,但端到端的 Agent 可靠性却在崩溃。故障发生在工具之间的衔接处,契约漂移、分页处理和单位不匹配将 95% 的原始组件变成了 80% 的流水线。

insider
agents
tool-use
reliability
+1
·tian

供应商 SLA 差距:为什么你的 LLM 提供商的运行时间忽略了导致产品崩溃的故障模式

你的 LLM 供应商 99.95% 的运行时间指标并不能覆盖拒绝率飙升、静默模型更新或配额驱动的降级。以下是能够涵盖这些情况的功能可用性检测方法。

insider
llm-ops
reliability
observability
+1
·tian

备用方案变成了默认方案:为什么你的分层配比需要 SLO

你的备用路径本应只处理 0.5% 的请求。现在它却承载了 38% 的流量。修复方案是将分层配比视为一等 SLO。

llm-ops
observability
slo
reliability
+1
·tian

多模态通道冲突:当模型在视觉与文本之间自我矛盾时

多模态模型会静默地将冲突的视觉和文本通道融合为自信的混合答案。本文探讨这种失效发生的场景、评估指标为何会漏掉它,以及如何构建一个冲突检测原语。

insider
multimodal
vision-language-models
evaluation
+2
·tian

区域模型发布的“彩票”效应:当你的产品在不同大洲表现各异时

云服务商的模型发布在各区域间并不同步。你的单模型抽象层在不同大洲之间悄然分化,而评估测试集往往是最后才发现这种差异的地方。

insider
ai-engineering
infrastructure
reliability
·tian

工具行为漂移:Schema 没变,语义却变了

当 Schema 保持不变但工具的行为发生偏移时,你的 Agent 就会悄然退化。这是一份关于如何检测和遏制工具行为漂移的实战指南。

ai-agents
observability
reliability
contract-testing
+1
·tian

当工具撒谎时:智能体默认信任的“伪成功”失败模式

工具调用返回成功,但底层操作从未实际执行——这是导致“模型对用户撒谎”事件背后的结构性失败模式,也是高风险智能体所需的校验层。

insider
agents
tool-calling
reliability
+2
·tian

挂钟时间截止日期漂移:为什么你的智能体认为它还有时间但实际上没有

透明的工具重试在静默地消耗挂钟时间预算,而规划器却基于过时的截止日期进行推理,从而导致单一层级指标无法捕捉的双峰 SLA 故障。

agents
observability
latency
sla
+1
显示第 97–108 篇,共 278 篇