跳转到主要内容

11 含有标签「concurrency」

Posts tagged "concurrency" on TianPan.co.

查看所有标签

·tian

为 Agent 进行容量规划:为什么并发数而非 QPS 才是你的真实衡量单位

QPS 会掩盖 Agent 的真实负载,因为运行过程会持续数分钟并产生扇出效应。使用利特尔法则(Little's Law)来按并发数进行估算——这才是真正占用你资源的指标。

ai-agents
capacity-planning
concurrency
llm-infrastructure
+1
·tian

原本运行良好的工具,直到两个智能体同时调用它

智能体工具通过了单调用者测试,但在第二个智能体出现的那天崩溃了。本文将探讨为什么并发漏洞在结构上对串行评估是不可见的,以及幂等性、锁定和负载测试如何修复这些问题。

insider
ai-agents
concurrency
idempotency
+2
·tian

当两个 Agent 共享一个工具:多 Agent 系统中的并发 Bug

启动第二个 Agent 会让你瞬间变成一名分布式系统工程师。竞态条件、更新丢失和脏读会以静默损坏的形式回归 —— 以及如何设计工具层来阻止它们。

multi-agent
concurrency
ai-engineering
distributed-systems
+1
·tian

并行工具扇出的结构化并发:谁来负责部分失败?

大多数智能体框架将并行工具调用作为分离的 goroutine 运行,然后重新发现了结构化并发在二十年前就已经解决的失败模式 —— 部分失败、响应取消以及成本失控。

insider
agents
concurrency
llm
+2
·tian

双写竞态:当你的智能体与用户同时编辑同一个日历事件时

负责编辑日历、CRM 和工单的智能体,继承了一类其工具在设计之初从未考虑过的并发 Bug。修复方案是通过工具层传递版本令牌 (version tokens)。

insider
ai-agents
concurrency
tooling
+1
·tian

你的评测框架是单用户运行的,但你的智能体并非如此。

顺序运行的评测框架无法捕获当多个智能体共享基础设施时爆发的漏洞。本文介绍了四种失效模式以及修复它们的架构方案。

ai-agents
evaluation
concurrency
llm-ops
+1
·tian

智能体集群并发:在没有死锁或惊群效应的情况下协调数十个智能体

LLM 智能体集群是一个小型分布式系统,而不是单个智能体的三十个副本。准入控制、AIMD 背压、熔断器和外部状态协调是防止并发集群自我崩溃的关键。

insider
ai-agents
distributed-systems
reliability
+2
·tian

并行智能体系统中的隐性数据损坏问题

当并行智能体写入共享状态时,竞态条件会产生看起来完全像模型错误的隐性数据损坏。本文介绍如何诊断并使用借鉴自分布式数据库的模式来修复它。

insider
multi-agent
distributed-systems
memory
+1
·tian

多用户共享智能体状态:你真正需要的并发原语

大多数智能体设计假设每个会话只有一个用户。共享工作区需要分布式系统原语,以防止并发用户发出相互矛盾的指令时发生无声数据损坏。

ai-engineering
agents
distributed-systems
concurrency
·tian

并发智能体系统中的竞态条件:那些看起来像幻觉的 Bug

并行子智能体会以一种看起来完全像模型幻觉的方式静默地损坏共享状态。以下是生产环境智能体系统中读-改-写竞态的工作原理、哪些分布式系统原语能解决它们,以及区分并发 bug 与真正模型故障的检测手段。

insider
multi-agent
concurrency
distributed-systems
+2
·tian

LLM Agent 中的并行工具调用:你可能尚未意识到的耦合测试

在 LLM Agent 中启用并行工具执行会暴露工具设计中隐藏的耦合问题 —— 本文探讨了三种静默失败模式、如何为安全并行对工具进行分类,以及何时应该合并工具而非并行化。

insider
llm-agents
tool-use
agent-architecture
+1