Page 54
12 articlesLLM 驱动的数据流水线：那个没人做基准测试的 ETL 层
大多数 LLM 基准测试衡量的是聊天机器人的质量。但企业在 LLM 上的大部分支出其实都投入到了批量处理流水线中 —— 而几乎没有人去衡量这些流水线是否真的有效。
LLM 供应商锁定是一个光谱，而非非黑即白
并非所有的 LLM 依赖关系都是平等的。有些是可接受的工程权衡；有些则从第一天起就是技术债。本文将通过六个不同的锁定层级教你如何区分它们。
长会话上下文退化：多轮对话如何变得陈旧
超过 50 轮的会话会积累矛盾、用户意图漂移和奉承循环。这是一份用于检测退化并保持长对话有用性的工程指南。
长尾覆盖问题：为什么你的AI系统在最关键的地方失败
准确率和F1等聚合指标看起来很好，但你的AI系统可能在最重要的少数输入上悄然失败。如何在用户发现之前检测、衡量并修复长尾覆盖盲区。
生产环境中的LoRA适配器组合：无冲突运行多个微调技能
团队为语气、格式、领域知识和安全性分别构建LoRA适配器，组合时却频繁产生冲突。本文介绍如何检测干扰、选择合适的合并策略，以及在不重载权重的情况下按请求提供混合适配器服务。
区分优秀AI工程师与普通工程师的思维模型转变
从确定性系统到随机系统的过渡会让优秀的工程师陷入困境。以下是真正区分有经验的AI工程师与其他人的思维模型、调试直觉和实践方法。
模型弃用是一场等待发生的生产事故
LLM提供商会在6-12个月的窗口期内弃用模型，但大多数团队将迁移视为积压工作——直到它变成凌晨3点的故障。以下是使模型升级变得平常无奇的运营手册。
多租户 AI 系统：大规模场景下的隔离、定制与成本归因
如何在共享的 AI 基础设施中为多个客户提供服务，同时避免数据泄露、消除喧闹邻居效应，并精准追踪每个租户的成本支出。
生产环境中的多模态智能体：纯文本评估从未发现的问题
在智能体管道中加入视觉和文档输入会引入纯文本评估从未发现的故障模式。本文介绍实践者遇到的问题以及如何构建能够捕获这些问题的评估体系。
多模态AI在生产环境中的落地：基准测试与现实之间的鸿沟
视觉和音频模型在演示中令人印象深刻。但在生产环境中，它们面临延迟惩罚、空间定位失败和提取不一致等问题，而大多数基准测试分数完全掩盖了这些问题。
90% 可靠性之墙：为什么 AI 功能会陷入瓶颈以及该如何应对
为什么 AI 功能在可靠性达到 90% 左右时会停滞不前，如何诊断可减少误差与不可减少误差，以及能让你交付真实价值的产品架构决策。
随机系统的值班响应：为何你的 AI 运行手册需要重写
传统故障响应假设故障是可复现的，但 LLM 驱动的系统并非如此。以下是如何针对非确定性 AI 重写告警方案、分类决策树和事后分析模板。
关于 Tian Pan
我是 Tian Pan，一名工程师型创始人，专注于智能体工程——构建自主 AI 系统并扩展工程团队。我撰写关于系统设计、技术领导力和 AI 智能体实战的实用指南。曾在 Uber、Brex 和 IoTeX 担任早期工程师。
