跳转到主要内容

348 含有标签「observability」

Posts tagged "observability" on TianPan.co.

查看所有标签

·tian

JSON Schema 校验通过了,但下游消费者因语义漂移拒绝了你的输出

JSON Schema 验证的是数据的形状而非含义。当 LLM 升级导致在符合 Schema 的情况下数值分布发生偏移时,下游消费者会遭遇崩溃,而生产者的监控面板却依然显示正常。

insider
llm
structured-outputs
contract-testing
+2
·tian

KV 缓存预热 Cron 任务只在蓝环境运行而从未进入绿环境,原因竟是主机绑定从未迁移

一次蓝绿部署导致固定在旧环境颜色的 Cron 任务孤立,Prompt 缓存变冷,账单悄然翻了三倍 —— 本文剖析了这一静默回归的始末,并提出了四个闭合缝隙的最佳实践。

insider
prompt-caching
blue-green-deployment
cron-jobs
+2
·tian

供应商移除的 Logprobs 字段如何静默地破坏了你的置信度路由

一个不再升级低置信度回答的置信度路由,导致该问题的供应商静默层级变更,以及响应结构契约、群体级告警和针对错误故障模式编写的回退机制是如何共同掩盖问题的。

insider
llm
observability
api-contracts
+2
·tian

供应商将你的模型标识符重定向到特定租户的微调模型,而其他人使用的却是基础模型

如果将 LLM 模型标识符视为权重的名称而非路由决策的标签,那么供应商可能会在评估套件仍保持“绿色”通过状态时,静默地将你的租户从微调模型切换回基础模型,导致客户最先察觉到问题。

insider
llm
evals
observability
+2
·tian

那个按会话分桶并导致 A/B 测试分群漂移的模型发布标志

当 Feature Flag SDK 按会话缓存、灰度发布更新了哈希盐值(Hash Salt),且分析脚本按事件发生时的标志值进行分组时,原本 4% 的满意度提升变成了一个干扰项。本文将探讨分群漂移是如何潜伏在运行正常的流水线中的,以及弥合这一差距的方法。

insider
ab-testing
feature-flags
llm-rollout
+2
·tian

配额窗口机制重写后,这批夜间脚本是如何拖垮你的交互流量的

一个夜间 LLM 批处理任务稳定运行了 10 个月,直到供应商重写了每日窗口的计算方式——将 00:05 UTC 的 Cron 任务变成了交互式流量的自杀式 429 异常。本文探讨为什么负载隔离、抖动和桶语义契约测试才是结构化的修复方案。

insider
rate-limits
llm-ops
reliability
+1
·tian

OpenTelemetry 尾部采样器丢弃了复盘最需要的 LLM Span

尾部采样(Tail-based sampling)是针对请求-响应世界而优化的,在那里,200 OK 和“值得保留”几乎是一回事。然而,LLM 系统打破了这一约定——而你最需要的追踪记录,往往正是你的采样器配置为丢弃的那一个。

observability
llm
opentelemetry
tracing
+1
·tian

系统提示词提供的人格,模型每次都会以同样的方式选择

当你的系统提示词要求模型在不同人格之间做出选择时,模型的训练先验决定了结果——在实验平台察觉到之前,你的 A/B 测试分支就已经坍缩了。

insider
llm
ab-testing
experimentation
+2
·tian

用户还来不及核实多模态模型的结论,预签名 URL 就已过期

当资产时钟和结论时钟的运行速度不一致时,任何基于事实的多模态回答在日后回溯对话的人看来,最终都会像是凭空捏造。

ai-engineering
multimodal
observability
storage
·tian

那些悄悄将你的高级流量路由到 Haiku 的供应商自动路由器

通过供应商的 'auto' 别名减少 34% 的开支看起来像是一场胜利,直到你流量最高的界面的客户满意度连续两个季度下滑 —— 而批准此次上线的评估流程甚至从未见过路由器重定向到 Haiku 的那些提示词。

insider
llm
model-routing
cost-management
+1
·tian

那些与实际限流不符的提供商频率限制响应头

提供商的频率限制响应头与实际限流器往往并不一致 —— 不同的窗口、不同的作用域、不同的单位。本文将探讨这种差异存在的原因,以及如何设计能够应对这种不一致性的控制循环。

llm-infra
rate-limiting
reliability
observability
+1
·tian

当供应商重新定义 Bucket 时,那份让你溢出流量成本暴增的预留容量合同

预置吞吐量合同看起来像是一种固定费率的对冲工具,直到供应商悄悄改变了溢出流量的计算方式。防御手段包括账单核对、锁定计量的合同条款,以及能以小时而非季度为单位捕捉偏差的分层仪表板。

insider
llm-finops
reserved-capacity
contracts
+2
显示第 25–36 篇,共 348 篇