1 含有标签「inference-optimization」

投机解码实战：那顿并非免费的午餐

投机解码如何通过小模型起草 token 并行验证，将 LLM 推理延迟降低 2-3 倍——以及草稿模型选择的数学原理、批处理大小的权衡和生产环境中决定你是获得加速还是减速的那些陷阱。