跳转到主要内容

13 含有标签「production-ml」

Posts tagged "production-ml" on TianPan.co.

查看所有标签

·tian

那个在东部时间凌晨 3 点采样生产流量的评估集

一个基于凌晨 3 点定时任务构建的离线评估集,悄然变成了针对深夜批量重试和亚太地区流量的调查——而排行榜无法告诉你那是谁的模型。

insider
llm-evals
sampling-bias
production-ml
+1
·tian

你的模型路由是一个看不见负载的负载均衡器

模型路由在模型执行任何操作之前就决定了由哪个模型处理查询 —— 但它所需的难度信号仅存在于答案中。本文将探讨为什么分类器准确率会带有误导性,为什么错误路由看起来像是平庸的质量而非明显的错误,以及如何监测真正随路由质量波动的下游信号。

llm-routing
model-cascades
evaluation
production-ml
+1
·tian

当你的评测结果不一致时:在数据互相矛盾时的一套信号优先级体系

对于提示词变更,四种不同的评测信号很难完全一致。如果没有一套明确的优先级体系来规定在何种情况下以哪个信号为准,那么每个发布周都会变成一场关于“该信任谁的数据”的争论。

evals
llm-evaluation
ab-testing
judge-calibration
+1
·tian

你的模型路由是基于评估集训练的,而不是你的真实流量

基于基准测试训练的路由器会带来隐蔽的质量退化:低成本路径在宏观数据上表现尚可,但在你的评估套件从未采样的少数关键用户群体中却会失败。本文探讨了为什么路由器是一个控制系统而非分类器,以及实现闭环处理究竟需要什么。

insider
llm-routing
model-cascades
evaluation
+1
·tian

数据飞轮陷阱:为什么你的反馈循环可能在原地空转

数据飞轮听起来像是复利优势,但大多数实现都有至少三个漏洞,会悄悄污染训练信号。以下是区分真实飞轮与其仿品的审计方法。

machine-learning
production-ml
data-quality
feedback-loops
+1
·tian

生产环境中的知识蒸馏:让小模型完成大模型的任务

如何利用前沿模型的输出作为监督信号来构建特定任务的小模型——涵盖数据集构建流程、质量崩溃检测,以及判断蒸馏模型何时可以上线的基准测试方法。

ai-engineering
llms
fine-tuning
production-ml
·tian

生产环境中的LoRA适配器组合:无冲突运行多个微调技能

团队为语气、格式、领域知识和安全性分别构建LoRA适配器,组合时却频繁产生冲突。本文介绍如何检测干扰、选择合适的合并策略,以及在不重载权重的情况下按请求提供混合适配器服务。

insider
fine-tuning
lora
mlops
+2
·tian

为什么视觉模型在基准测试中表现卓越,却在你的企业级 PDF 上折戟沉沙

视觉模型在文档理解的基准测试中表现惊人,但在处理真实的 PDF 时,企业团队经常会遇到静默失败。本文将分析失效原因,并探讨如何构建能够经受生产环境文档考验的处理流水线。

insider
document-ai
vision-models
production-ml
+2
·tian

投机解码在生产环境中的应用:免费 Token 与隐藏陷阱

投机解码承诺通过草稿模型辅助生成实现 2–3 倍的 LLM 延迟提升。以下是基准测试未告诉你的生产部署真相。

llm-inference
performance
production-ml
systems
·tian

嵌入漂移问题:语义搜索的静默退化

嵌入模型将语言冻结在训练时刻。随着新术语的涌现,你的语义搜索正在悄然失准——没有错误触发,没有告警响起。本文教你如何检测并应对这一问题。

embeddings
vector-search
RAG
production-ml
+1
·tian

AI 技术债务:Sprint 回顾中从未出现的四个类别

提示词腐化、评估漂移、嵌入锁定和影子耦合——传统工程实践无法捕获的四种复合型 AI 技术债务,以及管理每种债务的实用策略。

insider
ai-engineering
technical-debt
llm-ops
+1
·tian

生产环境中的模型合并:用权重平均打造多任务专家

深入解析模型合并技术——权重平均、SLERP、任务算术、TIES 和 DARE——涵盖合并何时优于集成、常见故障模式,以及如何在生产环境中部署合并后的 LLM。

insider
machine-learning
llm
model-merging
+1
显示第 1–12 篇,共 13 篇
1 / 2下一页