跳转到主要内容

118 含有标签「llm-ops」

Posts tagged "llm-ops" on TianPan.co.

查看所有标签

·tian

你用智能体替换的内部搜索框刚刚成为了你的 SLO

停用一个确定性功能而转用智能体,会悄无声息地将前任的 SLO 移交给一个无法满足它的系统 —— 而这种差距会在你的推理提供商进行限流的那个早晨显现出来。

ai-agents
sre
reliability
enterprise-search
+1
·tian

那个让你的故障面成倍增加的供应商故障转移方案

增加备用 LLM 供应商并不能让你的系统实现冗余。它会让维护成本翻倍 —— 如果你跳过了后续的提示词工程工作,系统还会变得更加脆弱。

llm-ops
reliability
prompt-engineering
evals
·tian

被你扔掉的产品路线图,其实就是那份 Prompt 日志

你 AI 功能的 prompt 日志,是手里分辨率最高的产品发现信号——也是产品团队没人在读的那一份。这里是把它挖成未满足需求清单的方法。

ai-product
prompt-mining
product-discovery
llm-ops
+1
·tian

你的 Agent 学会了致敬的那个错别字

微调让模型学会像你的语料库一样表现——包括其中的错别字、犹豫语气和某位客服的口头禅。本文剖析这种继承是怎么发生的,以及能拦截它的那道整理工序。

insider
fine-tuning
llm-ops
data-quality
+2
·tian

没人接线的紧急开关:因为功能从未失效

发布标志会被清理,但紧急开关不会。为什么每个 AI 功能都需要持久的运行时禁用机制、预先确定的备选链,以及一个明确标注了控制杠杆的运行手册。

ai-engineering
feature-flags
incident-response
llm-ops
·tian

拒绝“大声失败”的 Agent:过度补偿的回退机制如何掩盖生产环境的质量回退

生产环境中的 Agent 积累了大量的重试、回退和修复逻辑,这些逻辑会悄悄掩盖质量回退,直到流量评估指标发生偏移,而团队却无法追踪根本原因。

ai-reliability
observability
agents
sre
+1
·tian

无故障停机情况下的面向客户 AI 质量退化复盘指南

状态页显示正常,错误率为零,但客户依然不满意。这是一份关于在没有发生系统崩溃时编写 AI 质量退化复盘报告的实战指南——涵盖了根因术语、严重程度分级以及闭环后续跟进的节奏。

insider
ai-engineering
incident-response
llm-ops
+1
·tian

免费层级流量才是你真实的评估集

针对付费用户队列的追踪记录来对 LLM 进行评分,实际上是在针对简单的分布进行评分。仍在犹豫是否升级的群体主要集中在免费层级 —— 而评估集往往忽略了这一点。

insider
evals
freemium
ai-product
+2
·tian

模型迁移的双重账单:被忽视的评测重锚税

更换基础模型会悄无声息地使你的评测基准失效——人工锚定的评分、LLM 裁判、快照以及团队直觉都需要重新锚定,而由此产生的人工成本通常比节省的 token 费用更高。

insider
evals
model-migration
llm-ops
+1
·tian

按客户定制的提示词分支:为什么你的下一次模型迁移是 47 次迁移

针对每个客户的系统提示词定制会在不知不觉中累积,直到模型迁移那一天,单一供应商的版本弃用演变成了 47 个独立的重新验证任务。本文探讨了能够防止这种情况的“基础加覆盖”架构和审批规范。

insider
prompt-engineering
llm-ops
enterprise-ai
+2
·tian

Prompt 的 Pre-Commit Hooks:LLM 团队一直缺失的内环工具链

如今 Prompt 对行为的影响已经超过了代码,但大多数团队仍在使用 2008 年时代的工具进行评审。本文介绍了五种 pre-commit hooks —— 格式化工具、静态检查器、密钥与 PII 扫描器、冒烟评估以及缓存影响评估器 —— 旨在以应有的严谨态度对待 Prompt 的修改。

prompt-engineering
llm-ops
pre-commit
ci-cd
+1
·tian

季度模型迁移:将其变成日程安排,而非消防演习

基础模型提供商退役模型的节奏往往不在你团队的计划之内。将每次迁移视为一次性项目,意味着每年要支付三到四次相同的设置成本。相反,应该进行季度演练——指定负责人 (DRI)、候选模型、回归测试重跑、运行手册更新——这样当下一次弃用邮件寄达时,它只是团队既定节奏中的一部分。

insider
llm-ops
model-migration
production-ai
+2
显示第 25–36 篇,共 118 篇