1 含有标签「inference-efficiency」

Chain-of-Thought 的 Token 经济学：当“大声思考”的成本入不敷出时

思维链（Chain-of-thought）提示词会让 Token 成本膨胀 2 到 5 倍，并增加数秒的延迟，但在大多数生产任务中却无法带来可衡量的准确性提升。本文提供了一个决策框架，探讨 CoT 在何时值得、何时有害，以及像 Chain-of-Draft 这种能以极低成本弥补差距的更廉价替代方案。