跳转到主要内容

29 含有标签「streaming」

Posts tagged "streaming" on TianPan.co.

查看所有标签

·tian

AI 原生 API 设计:当后端开始概率性思维,REST 为何失效

REST 是为快速、确定性后端而生的。LLM 服务速度慢、具有概率性且任务耗时长——而真正在生产环境中经得住考验的接口模式,与传统 HTTP API 设计截然不同。

insider
api-design
llm
streaming
+1
·tian

实时智能体 UI 背后的流式传输基础设施

智能体流式传输在生产环境中的四种失败方式 —— 以及关于 SSE 传输、背压、优雅取消和浏览器刷新重连的服务端架构决策,这些决策才是让实时智能体 UI 真正可靠的关键。

ai-engineering
streaming
agents
infrastructure
+1
·tian

语音 AI 生产落地:构建 300ms 延迟预算

为什么即便模型声音听起来不错,语音 AI 依然让人感觉生硬?本文将探讨如何通过流式流水线架构、轮次检测策略和传输选择,将延迟控制在 300ms 以内。

insider
voice-ai
latency
streaming
+2
·tian

为什么你的智能体 UI 体验糟糕(以及如何修复它)

大多数智能体 UI 失败的原因并非模型糟糕,而是交互层存在缺陷。本文深入分析了五个根本原因以及修复这些问题的工程模式。

agent-ux
ai-agents
streaming
human-ai-interaction
·tian

生产环境中的流式 AI 应用:没人警告过你的那些坑

生产环境中的流式传输故障几乎从不源于 LLM 本身——它们通常源自 NGINX 的静默缓冲、负载均衡器对长连接的超时处理,以及增量 JSON 解析器退化为 O(n²) 的性能问题。这是一份关于在大规模应用中真正会导致崩溃的基础设施模式的实战指南。

streaming
llm
production
infrastructure
+1
显示第 25–29 篇,共 29 篇
上一页3 / 3