跳转到主要内容

164 含有标签「production-ai」

Posts tagged "production-ai" on TianPan.co.

查看所有标签

·tian

季度模型迁移:将其变成日程安排,而非消防演习

基础模型提供商退役模型的节奏往往不在你团队的计划之内。将每次迁移视为一次性项目,意味着每年要支付三到四次相同的设置成本。相反,应该进行季度演练——指定负责人 (DRI)、候选模型、回归测试重跑、运行手册更新——这样当下一次弃用邮件寄达时,它只是团队既定节奏中的一部分。

insider
llm-ops
model-migration
production-ai
+2
·tian

推理模型套利:在处理难题时,慢速昂贵模型反而更省钱

按 Token 计价仅反映了中位请求的成本,而非你产品实际服务分布的全额成本。一旦重试、人工介入和信任损失计入损益表,将复杂提示词路由至推理模型便会胜过默认使用通用模型。

insider
llm-routing
ai-cost
model-selection
+2
·tian

为什么 AI 质量监控会将模型漂移、数据漂移和提示词漂移混为一谈 —— 以及针对每种情况的对策

当生产环境中的 AI 质量下降时,根源通常是三个截然不同的问题之一 —— 但传统的监控手段往往将它们混为一谈,导致在错误的修复方向上浪费数周时间。

insider
ai-engineering
mlops
observability
+2
·tian

AI 输出波动性是你可能定价不足的业务风险

在概率系统之上构建定价层级、 SLA 和客户承诺蕴含着未公开的风险。这里介绍了如何量化这些风险并进行对冲。

insider
llm
production-ai
reliability
+2
·tian

RAG 中的领域专家瓶颈:为什么知识策展会导致生产环境 AI 崩溃

构建一个 RAG 管道只需几天。但在第一年里,维护支撑它的知识库才是让团队崩溃的原因。领域专家策展是生产环境 RAG 中真正的“最后一公里”难题。

insider
rag
ai-engineering
knowledge-management
+1
·tian

嵌入模型更迭:当你的提供商悄然导致整个向量索引失效

当你的嵌入模型提供商悄然更新模型时,索引中的每个向量都会与新查询不兼容——没有错误,没有警报,只有检索质量的下降。本文将介绍如何检测并应对这一挑战。

rag
vector-search
embeddings
mlops
+1
·tian

解释债务:为什么用户有权知道你的AI做了什么

团队花费数月优化AI输出质量,却在没有解释层的情况下上线——本文分析了这一选择所积累的代价,以及能够解决问题的轻量级归因模式、置信度信号和申诉机制。

insider
ai-engineering
explainability
ux
+2
·tian

人工接管作为一等功能:设计能够优雅降级至人工控制的 AI 系统

大多数 AI 系统将人工接管视为错误状态,而非设计模式。以下是如何将接管协议构建为一等操作路径而非事后补救的方法。

insider
ai-engineering
production-ai
reliability
+1
·tian

权重中的幽灵:预训练残留如何在生产环境中破坏你的微调模型

微调调整的是权重,而不是重置它们。预训练先验在分布外输入上持续渗透,产生置信度极高却错误百出的答案,而你的评估套件根本察觉不到。以下是在这些问题触达用户之前如何检测和缓解它们的方法。

insider
llm
fine-tuning
production-ai
+1
·tian

系统提示中的冲突指令:无人负责的隐性故障模式

系统提示通过拉取请求不断增长,积累相互冲突的指令,并以不可预测的行为漂移形式表现出来。本文介绍如何检测矛盾并构建能够经受变更的提示架构。

insider
llm
prompt-engineering
system-design
+1
·tian

知识半衰期问题:为什么你的 RAG 系统现在就已经出错了

语义相似度没有时间概念——这正是生产级 RAG 系统悄然退化的根源。本文是关于新鲜度分类、分层重建索引计划、过期检测以及将知识库视为基础设施的实践指南。

rag
retrieval
production-ai
knowledge-management
·tian

AI 流水线异常处理:幻觉、拒绝和格式违规是一等公民错误

如何在生产 LLM 流水线中将幻觉、拒绝和格式违规视为一等公民错误类型——以及每种类型的检测策略和处理模式。

insider
llm
ai-engineering
error-handling
+1
显示第 1–12 篇,共 164 篇
1 / 14下一页