Page 103
12 articlesAI 个性化的冷启动问题：在拥有数据之前如何提供价值
新用户没有历史记录，你的模型没有上下文，而你正在与“AI 不了解他们”的固有印象竞争。这是弥补这一差距的工程实践指南。
为什么 “准确率 92%” 几乎总是一个谎言
单一的准确率数字掩盖了真正重要的错误。这里有一个包含四个维度的分类法 —— 正确、可恢复、有害、弃权 —— 以及一个单页格式，为非技术领域的利益相关者提供足够的信息，从而做出正确的产品、法律和投资决策。
数据飞轮并非免费：构建真正提升 AI 产品的工程反馈闭环
大多数团队只是收集点赞或踩就自称拥有反馈闭环。真正的基础设施在于隐性信号提取、弱监督流水线以及闭环架构，能够在不陷入标注成本泥潭的情况下，将生产数据导回训练环节。
AI数据版本控制：团队发现得太晚的数据集-模型耦合问题
模型回退了通常意味着上游数据变了——本文介绍血缘图模式，让你在浪费一周重新调优提示词之前，就能将生产降级追溯到数据根因。
隐性反馈陷阱：为什么参与度指标在 AI 质量上具有误导性
点赞评价、点击率和满意度得分通常会系统性地偏向听起来自信的 AI 输出，而非准确的输出。本文将探讨为什么参与度指标会随着时间的推移让 AI 变得更糟，以及哪些行为信号才能真正追踪质量。
知识图谱 vs. 向量存储：选择你的检索原语
向量相似度和图遍历解决的是不同的问题。了解向量存储在多跳推理中何时失效，知识图谱在结构化查询中何时胜出，以及如何构建能够处理两者的混合检索系统。
LLM 本地开发循环：在不耗尽 API 预算的情况下实现快速迭代
如何使用录制回放模式、确定性 Fixtures 和分层测试策略，为 LLM 应用构建快速的内部循环 —— 且无需在每次代码变更时耗费大量 API 预算。
LLM 流水线单体 vs. 链式架构的权衡：任务分解何时有益，何时有害
大多数团队在没有测量链式调用是否优于单次大上下文调用的情况下就默认选择了链式架构。以下是关于何时链式、何时单体的实证依据。
模型弃用就绪：在 90 天倒计时之前审计你的行为依赖
当一个模型被弃用时，最难的部分不是更新 API 调用，而是发现系统所假设的所有隐形行为契约。以下是在时间耗尽前审计这些契约的方法。
生产环境中的模型路由：当路由器成本超过节省时
大多数团队部署模型路由器时期待自动节省成本。反直觉的现实是：设计不良的路由器可能比将所有请求都发送到昂贵模型还要费钱。这是真正有效的决策框架。
在写第一个提示词之前，如何选对 LLM
公开基准已经饱和，无法告诉你哪个 LLM 能在你的系统中正常工作。本文提供一套实用框架，从真正重要的维度评估模型：函数调用可靠性、结构化输出合规性、你的领域拒绝率，以及真实并发下的延迟。
预算有限下的偏好数据：无需研究团队即可捕获 RLHF 信号
如何通过隐式行为遥测、行内编辑和 A/B 提示词从真实用户那里收集成对偏好信号，以及在没有 PPO 基础设施的情况下也能运行的最小可行奖励模型设置。
关于 Tian Pan
我是 Tian Pan，一名工程师型创始人，专注于智能体工程——构建自主 AI 系统并扩展工程团队。我撰写关于系统设计、技术领导力和 AI 智能体实战的实用指南。曾在 Uber、Brex 和 IoTeX 担任早期工程师。
