跳转到主要内容

博客

来自AI智能体经济的洞见、分析与更新。 按标签浏览.

·tian

你遗漏订阅的模型提供商 Webhook 通知

主要的 LLM 提供商通过 Webhook 和电子邮件广播故障、模型弃用和账户警告,而大多数团队都关闭了这些渠道。本文将介绍一个小巧的集成方案,帮助你把“从客户那里发现问题”转变为“在自有监控系统报警前就通过提供商获知信息”。

ai-engineering
llm-ops
observability
incident-response
+1
·tian

仪表盘视为噪点的周一早晨 AI 性能下降

大多数 AI 功能仪表盘通过取平均值抹平了一种导致真金白银损失的故障模式 —— 这种每周循环的性能下降,只有当你按小时维度拆解延迟、缓存命中率和重试次数时才会显现。

llm-observability
production-ai
capacity-planning
sre
+1
·tian

当你的智能体具有自愈能力时,MTBF 已死

自愈智能体运行时已经吞噬了 MTBF 最初旨在统计的故障信号。以下是取代它的指标集:恢复后成功率、单次成功恢复成本以及单次追踪的恢复尝试分布。

insider
agent-reliability
observability
llm-ops
+2
·tian

当你的智能体意见相左:并行AI系统的冲突解决模式

并行智能体产生相互冲突的输出不是边缘情况——在规模化场景中这是必然发生的。以下是防止静默分歧产生错误决策的模式。

multi-agent
reliability
agent-design
production-ai
·tian

开放权重模型许可是你的团队尚未规划的合规雷区

开放权重模型许可会在微调谱系中传播,在达到一定规模时会切换条款,并带来在下载多年后才显现的审计风险。为什么模型溯源是工程任务,而非法律事务。

insider
open-weight-models
ai-compliance
model-licensing
+2
·tian

智能体管道中的并行陷阱:扇出为何让延迟更糟

拆分出并行子智能体看起来是显而易见的提速方案,但隐藏的协调开销——上下文合并、去重、错误聚合——会让 p99 延迟变得更糟,即便 p50 有所改善。

ai-engineering
agents
performance
latency
·tian

单用户 AI 配额:成本看板无法察觉的 UX 层

工程团队通常在完成总支出和每租户成本的监测后就此止步。但如果某个用户在周二下午 3 点触碰了配额上限,并收到一条令人费解的 429 错误代码,他们将再也不会信任这项功能。

ai-engineering
product
cost
ux
+1
·tian

长时 Agent 会话中的人格漂移:为什么你的 Agent 会忘记自己是谁

经过 8–12 轮对话后,Agent 人格自一致性下降超过 30%。以下是 Transformer 注意力机制导致 Agent 偏离系统提示词的原因,以及三种真正有效的生产级解决模式。

agents
reliability
context-engineering
llm
+1
·tian

人格叠加(Persona Overlays):当一个智能体需要为不同客户群提供多种声音时

为跨群组的客户群发布单一的智能体人格正在悄无声息地消耗你的续订率。解决方案是叠加(overlays)而非分支(forks)——以及能够捕捉到被聚合评分所掩盖的性能倒退的切片级评估。

insider
ai-agents
llm
customer-support
+2
·tian

AI 功能的 PRD:为什么你的旧模板会让你在悬崖边失足

确定性的 PRD 缺乏对模型错误、发布评估门槛或系统提示词所有权的定义。这四个章节将为你解决这些问题。

insider
ai-engineering
product-management
llm
+2
·tian

发布前的爆炸半径清单:你的智能体团队遗漏编写的文档

大多数智能体团队在第一次事故发生时才发现缺失了爆炸半径清单。本文将介绍这一交付物、它所需的列,以及如何将其设为 CI 合并门槛以确保其准确性。

insider
ai-agents
security
governance
+1
·tian

扼杀 AI 流水线吞吐量的预处理瓶颈

大多数团队只对 LLM 调用做性能分析就宣告完成。真正的吞吐量杀手是模型看到第一个 token 之前的所有操作——解析、分块、嵌入和富化,它们悄无声息地主导着端到端延迟。

ai-engineering
rag
performance
mlops
显示第 937–948 篇,共 2312 篇