·tian
供应商移除的 Logprobs 字段如何静默地破坏了你的置信度路由
一个不再升级低置信度回答的置信度路由,导致该问题的供应商静默层级变更,以及响应结构契约、群体级告警和针对错误故障模式编写的回退机制是如何共同掩盖问题的。
insider
llm
observability
api-contracts
+2·tian
延迟感知工具选择:当“当下的足够好”优于“未来的最出色”
智能体提示词中的静态工具描述在实时延迟和错误率面前会逐渐失效。提示词中的运行时“等待成本”信号,是将工具选择从僵化的评估产物转变为路由决策的关键。
insider
ai-agents
tool-use
latency
+2·tian
弃权作为一种路由决策:为什么“我不知道”应该属于路由层,而不是提示词
将“我不知道”放在系统提示词中会让弃权行为变得不可测试、无归属且不可扩展。将其移动到路由层,你将获得 SLO、评估机制以及真实的升级路径。
llm
agents
abstention
routing
+1