Page 40
12 articlesLLM 应用中的 SSE vs WebSockets vs gRPC Streaming：那个稍后会让你头疼的协议抉择
探讨 SSE、WebSockets 和 gRPC streaming 在背压下的不同失效方式，分析哪些浏览器限制和边缘代理会在生产环境中引发故障，以及如何根据失效模式概览来选择你的传输协议。
有状态多轮对话基础设施：超越传递完整历史记录
为什么「传递完整对话历史」在 p99 规模下会失效，以及真正能在生产环境中撑得住的会话存储设计、压缩策略和运维模式。
结构化输出不等于结构化思维：大多数团队跳过的语义验证层
JSON 模式确保 LLM 输出符合 schema，但不保证输出有意义。语义验证层能在矛盾字段、不可能的日期范围和领域约束违反悄悄污染数据之前将其拦截。
结构化输出的隐性代价：JSON 模式质量税
约束解码能保证 JSON 格式合法，但会带来隐性的质量损耗。本文教你如何量化这笔质量税，并判断在你的业务场景下是否值得支付。
合成种子数据：在首批千名用户到来之前启动微调
AI个性化和任务专项微调在没有行为数据时会遭遇冷启动困境。了解如何生成500–1,000个高质量合成样本，以及可能悄然毒化模型的失败模式。
过度规格化系统提示词的质量税
臃肿的系统提示词不只是花费更多——它们会让模型变蠢。本文介绍如何衡量提示词肥胖并在不引发回退的情况下进行精简。
你的 RAG 懂文档，但它不懂你的工程师所知道的。
大多数企业级 RAG 系统只索引书面文档，忽略了真正驱动决策的隐性知识。本文将探讨如何构建能够捕获工程师核心知识的系统，以免这些宝贵财富随人员流失而消失。
Temperature 是产品决策，不是模型旋钮
LLM temperature 控制输出方差——而这种方差直接影响用户信任、参与度和行为。大多数团队将其视为技术默认值，但其实并非如此。
大规模 Text-to-SQL：上线之前没人告诉你的那些事
Text-to-SQL 演示很容易构建，生产部署却截然不同。Schema 歧义、权限提升以及 80% 的基准测试差距，揭示了大多数团队忽略的工程层。
集成你不拥有的系统：第三方 AI 模型 API 集成实战手册
依赖外部模型 API，意味着限流、行为漂移和成本冲击都由你来承担。本文介绍一套能够应对提供商变更、服务中断和静默模型更新的系统架构。
转录层的谎言：为何你的多模态管道会在下游产生幻觉
将ASR和OCR输出视为可信文本会悄无声息地污染下游LLM推理——解决之道不是更好的模型，而是在整个管道中保留置信度分数。
用户适配陷阱：为什么回滚 AI 模型会导致两次破坏
当模型更新引入了细微的错误行为时，用户会围绕它调整工作流程。当你发现并回滚时，你可能最终会得到两组被“破坏”的用户，而不是一组。
关于 Tian Pan
我是 Tian Pan，一名工程师型创始人，专注于智能体工程——构建自主 AI 系统并扩展工程团队。我撰写关于系统设计、技术领导力和 AI 智能体实战的实用指南。曾在 Uber、Brex 和 IoTeX 担任早期工程师。
