Page 110
12 articles为什么 LLM 在分析你的产品数据时会犯自信的错误
LLM 在分析行为数据时，会自信地幻觉出指标、遗漏分母，并混淆相关性与因果关系。本文将探讨它们的失败之处以及如何安全地使用它们。
LLM 服务商故障手册：当 AI 基础设施宕机时如何保持服务在线
当 LLM 服务商宕机时，你只有几分钟时间做出决策。这份操作手册涵盖多服务商故障切换、优雅降级以及用户沟通策略，帮助你的产品在危机中屹立不倒。
LLM 速率限制是一个分布式系统问题
LLM API 速率限制的行为类似于分布式锁 —— 批处理作业通过饥饿、队头阻塞和优先级反转，静默地使面向用户的流程陷入饥饿，而此时你的错误仪表盘依然显示正常。
LLM 供应商锁定的隐性迁移成本
API 兼容性只是冰山一角，更换 LLM 提供商的真实成本藏在提示词重写、评估重建和嵌入重索引中——这里梳理了模型切换后哪些东西能留下、哪些东西会消失。
魔法时刻问题：AI 功能引导为何失败，以及如何修复
前五分钟决定用户是否会持续使用你的 AI 功能。这里是真正能将怀疑者转化为用户的引导流程背后的工程设计。
最小足迹原则：自主 AI 智能体的最小权限设计
设计自主 AI 智能体时，应仅请求当前任务所需的权限——通过临时凭证、意图感知访问配置和隔离执行，将 Unix 最小权限原则应用于智能体系统。
压缩决策：延迟敏感型 AI 功能的量化、蒸馏与端侧推理
当模型路由已不够用，你需要低于 100ms 的响应时间时，就面临一个艰难的压缩决策。本文介绍如何在不破坏关键任务质量的前提下，权衡量化、蒸馏和混合边缘云部署。
多区域 LLM 服务：没人警告过你的缓存局部性问题
在不同区域部署 LLM 推理会产生无状态 HTTP 服务所没有的一致性和延迟问题。本文将介绍一种既能解决这些问题，又不会让你的运维负担增加三倍的路由架构。
多租户 LLM 问题：规模化部署中的嘈杂邻居、隔离与公平性
当数千名用户共享同一模型和向量索引时，一次高消耗的会话会拖慢所有人。本文解释了为何多租户 LLM 基础设施比数据库更难处理——以及真正有效的公平性保障方案。
多轮对话会话状态坍缩问题
为什么单轮 LLM 故障很容易被发现，而多轮会话状态在 10 轮以上后会悄悄损坏 —— 以及防止 “AI 忘了我是谁” 这种失效模式的检查点、压缩和监控模式。
多用户共享 AI 会话：尚无人解决的并发难题
当多个用户同时共享单个 AI 上下文时，标准的分布式系统假设就会失效。本文将探讨为什么多用户 AI 会话在架构上难以实现，以及生产团队为了解决这一问题所构建的方案。
AI 系统值班：当 Bug 是模型时的事故响应手册
当故障源于非确定性的模型行为时，标准的值班手册就会失效。本文提供了一个实用的框架，用于检测、分类和遏制 AI 事故 —— 从护栏绕过到成本爆炸 —— 这些手册专为工程师而非 ML 研究人员打造。
关于 Tian Pan
我是 Tian Pan，一名工程师型创始人，专注于智能体工程——构建自主 AI 系统并扩展工程团队。我撰写关于系统设计、技术领导力和 AI 智能体实战的实用指南。曾在 Uber、Brex 和 IoTeX 担任早期工程师。
