跳转到主要内容

778 含有标签「llm」

Posts tagged "llm" on TianPan.co.

查看所有标签

·tian

Tokenizer 算术:生产环境中悄然作祟的隐藏层

BPE 分词会产生可预测的故障模式,破坏结构化输出解析器、损坏缓存策略,并导致成本估算在真实流量下崩溃——在责怪模型之前,先检查 tokenizer。

insider
llm
tokenization
production
+1
·tian

当提示词工程师离职时:AI 知识转移的难题

提示词积累了隐性的业务逻辑、默契的决策以及未记录的边缘案例修复。当作者离职时,这些组织知识也随之流失——而由此产生的代价是真实存在的。

insider
prompt-engineering
ai-operations
technical-debt
+1
·tian

适配器兼容性悬崖:当你的微调模型遇到新版基础模型

LoRA 和 PEFT 适配器在维度上与训练时使用的基础模型深度绑定。当提供商悄然或公开地更新底层模型时,你的微调结果可能以形状不匹配错误崩溃,更危险的是,它可能在毫无警报的情况下静默降级。本文解析哪些部分会出问题、为何会出问题,以及如何保护生产环境中的微调模型免受基础模型更新的影响。

llm
fine-tuning
mlops
lora
+1
·tian

大规模语料库策展:为什么你的 RAG 质量上限取决于你的文档质量下限

大多数 RAG 失败并不是模型故障,而是数据故障。本文探讨文档质量如何决定你的检索上限,以及在生产环境中语料库卫生究竟意味着什么。

insider
rag
llm
information-retrieval
+2
·tian

你的 LLM 评估套件中的古德哈特定律:当优化分数破坏系统时

团队如何在无意中博弈自己的 LLM 评估,为什么基准分数与生产质量的偏差比你预期的更快,以及保持评估套件诚实的元评估实践。

evaluation
llm
ai-engineering
testing
·tian

混合 LLM 工作负载的 GPU 调度:那个没人解决好的装箱问题

在共享 GPU 集群上服务多个 LLM 模型会浪费 30–50% 的可用算力。本文解析 Kubernetes GPU 调度为何不适用于 LLM 推理,以及真正有效的解决方案。

insider
llm
infrastructure
gpu
+2
·tian

幽灵工具调用:当AI智能体调用不存在的工具

LLM智能体有时会凭空捏造工具调用——调用不存在的函数,并配上看似合理的参数。本文解释为什么会发生这种情况、五种失败类别,以及在幽灵调用破坏工作流之前捕获它们的运行时防御模式。

ai-agents
llm
tool-calling
reliability
·tian

质量感知模型路由:为什么仅优化成本会毁掉你的 AI 产品

仅优化成本的 LLM 路由虽然省钱,但会悄悄降低最重要查询的质量。本文提供按任务复杂度、模型能力和生产反馈进行路由的实用指南——而不仅仅是按每 token 价格。

ai-engineering
llm
model-routing
production
+1
·tian

Spec-to-Eval:将产品需求转化为可证伪的 LLM 评估标准

大多数 AI 功能用自然语言描述、也用自然语言评估——这正是为什么团队在站会上达成共识,却在上线时产生分歧。本文介绍一套实用方法,在编写第一个 Prompt 之前,将英文需求转化为具体、可证伪的 LLM 评估标准。

llm
evaluation
ai-engineering
product
·tian

利益相关者提示冲突:当平台、业务与用户指令在推理时相互竞争

每个生产级LLM系统都有至少三个指令来源。当它们冲突时,模型会做出一个未经审计的优先级决策。以下是如何显式定义层级结构并在它掌控你之前掌控它。

llm
prompt-engineering
production-ai
governance
+1
·tian

环境 AI 一致性问题:当每个功能都由 AI 驱动,整个产品却失去了统一感

在搜索、摘要、对话和推荐中同时部署 AI,会产生跨功能矛盾,其对用户信任的损害远超任何单一的错误答案。本文介绍如何构建让用户感受到统一产品体验的系统。

insider
ai-engineering
llm
product
+1
·tian

“够用就好”的模型选择陷阱:为什么你的团队在为 AI 支付冤枉钱

大多数团队会将所有 AI 功能都运行在最昂贵的模型上,仅仅是因为 Demo 是这么构建的。通过任务复杂度审计、三层路由策略以及正确的 A/B 测试方法,你可以在用户毫无察觉的情况下将 AI 支出降低一半。

insider
llm
cost-optimization
model-selection
+1
显示第 613–624 篇,共 778 篇