·tian
何时跳过实时 LLM 推理：异步批处理流水线的生产实践
大多数 LLM 工作负载都适合批处理，但团队默认使用同步调用，因为 API 使其变得简单。本文提供了盈亏平衡分析，以及异步方案在成本和用户体验上优于流式处理的功能类别。
llm
production
architecture
cost-optimization
+1·tian
LLM 驱动的数据流水线：那个没人做基准测试的 ETL 层
大多数 LLM 基准测试衡量的是聊天机器人的质量。但企业在 LLM 上的大部分支出其实都投入到了批量处理流水线中 —— 而几乎没有人去衡量这些流水线是否真的有效。
insider
data-engineering
llm
etl
+2·tian
批处理 LLM 流水线的盲点：离线处理与无人提及的队列设计
大多数 LLM API 的支出都用于批处理工作负载——如每日分类、数据增强、嵌入生成——但团队往往将其设计得像缓慢的对话式 API。本文是一份关于离线 LLM 流水线的实用指南，涵盖队列架构、断点续传、故障分类以及针对每个流水线的成本归因。
insider
batch-processing
llm-infrastructure
cost-optimization
+1·tian
批量 LLM 流水线的盲点：离线 AI 的队列设计、检查点与成本分摊
生产环境中的 LLM 批量流水线如果按照实时服务模式构建，往往会面临失败。在处理离线工作负载时，任务规格选择、检查点续传、死信队列、成本分摊以及队列背压等环节都需要重新思考。
llm-ops
batch-processing
data-pipelines
cost-optimization