P99 是产品决策，而非基建决策
你的尾部延迟目标并不是基建团队单纯优化出的一个数字 —— 这个数字本身就是一个产品选择。本文探讨了 UX 交互设计与延迟预算如何相互权衡，以及为什么 P99 应该出现在设计评审中。
GPU 调度是一个排队问题，而不是资源配置问题
LLM 终端响应慢通常是排队失败，而非硬件短缺。了解连续批处理、KV 缓存限制以及 Prefill/Decode 调度如何决定你的尾部延迟 —— 以及为什么增加 GPU 无法解决此问题。
量化质量悬崖：当 int4 通过中位数评估却在长尾场景失效时
int4 量化将推理成本减半，且几乎不影响中位数基准测试——却在悄无声息地破坏稀有 Token 补全、低资源语言和长文本推理能力。本文将探讨为什么这种“悬崖式”下降在通过审核的评估套件中是不可见的，以及如何在客户发现之前通过上线纪律让这种退化显现出来。
Agent 循环容量计算：为什么你的预置吞吐量只有你想象的一半
基于用户 QPS 估算的预置吞吐量往往会因为循环扇出因子而导致 Agent 产品资源配置不足。应改为基于模型调用率、循环深度和突发尾部延迟进行规划。
当需求是悬崖而非曲线时，如何进行 GPU 产能规划
Agent 工作负载打破了平滑曲线的产能规划。请以 Token 为单位进行规划，将扇出视为一级指标，并针对预见性的“悬崖式”需求预留产能。
Token 间抖动：你的 p95 仪表盘看不见的流式传输 UX 失败
首个 Token 响应时间 (TTFT) 和总生成时间都符合 SLO，但用户却抱怨 AI 在响应过程中『卡住了』。你的仪表盘所隐藏的指标是相邻 Token 之间的间隔 —— 而平滑这一间隔是一个 UX 问题，而非吞吐量问题。
投机采样（Speculative Decoding）是一项流式传输协议决策，而非推理优化
投机采样（Speculative Decoding）承诺在保持模型输出一致的前提下实现 3-6 倍的加速，但这种保证仅限于离开推理引擎的 Token —— 而非已经展示给用户的字节。当你通过流式传输尚未验证的草稿 Token 时，被拒绝的后缀必须撤回。哪些界面能够容忍撤回是一项产品决策，而推理团队往往很少考虑到这一范围。
GPU 饥饿：某个租户的推理提示词如何导致你的共享推理端点停滞
一个推理提示词就能拖慢共享推理端点上所有其他请求的 p99 延迟。本文将探讨为什么连续批处理和 KV 缓存钉选会导致队头阻塞，分析鲜有人关注的诊断信号，并介绍四种缓解方案 —— 分块预填充、优先级调度、每租户 Token 上限以及请求类别隔离 —— 按其侵入性由低到高排序。
投机解码在生产环境中的应用：免费 Token 与隐藏陷阱
投机解码承诺通过草稿模型辅助生成实现 2–3 倍的 LLM 延迟提升。以下是基准测试未告诉你的生产部署真相。
边缘 LLM 推理：当延迟、隐私或成本迫使你离开云端
一个在单 GPU 上微调的 7B 模型可以在特定领域以零边际 token 成本击败 GPT-4。关于硬件选型、量化格式、混合本地-云端路由以及使边缘 LLM 推理达到生产级别的部署框架的实用指南。
代码智能体中的束搜索：为什么贪婪生成是可靠性陷阱
在处理复杂任务时，贪婪单次生成会将代码智能体的可靠性限制在 20–30%。而树搜索探索策略 —— 包括束搜索、MCTS 以及带有执行反馈的结构化树搜索 —— 在不改变底层模型的情况下，能让相同问题的通过率提升 30–130%。
云边混合 LLM 架构：将推理路由至其真正所属之处
70-80% 的生产环境 LLM 查询其实并不需要尖端模型。云边混合架构能够将每个请求路由到可以妥善处理该任务的最经济层级——通过使用复杂度分类器、置信度级联和投机采样，在不牺牲质量的前提下，将边缘路径的成本降低 50-100 倍。