跳转到主要内容

118 含有标签「llm-ops」

Posts tagged "llm-ops" on TianPan.co.

查看所有标签

·tian

Semver 的谎言:为什么 LLM 的次要更新比重大重构更容易搞垮生产环境

模型提供商的版本更新不包含行为兼容性保证,因此每次版本变更都应像数据库迁移一样进行分阶段发布:锁定评估、影子流量、金丝雀发布以及真实的回滚路径。

insider
llm-ops
model-versioning
evals
+1
·tian

你的 Agent 发布说明只是在列出文件,但集成商需要的是行为差异(Behavior Diffs)。

每次 Agent 发布都包含系统提示词、模型、工具、评分标准和检索器的变更集合——而基于文件差异的变更日志无法告诉集成商任何关于行为转变的信息,而这些转变才是他们真正需要解析、制定预算或导致系统报警的关键。

ai-engineering
agent-versioning
release-management
observability
+1
·tian

你的 AI 功能灰度发布正沿着错误的轴线进行

基于用户百分比的功能标志会将那 5% 的疑难查询均匀分布在不同人群中,从而掩盖长尾回归,直到全量发布时才爆发。你应该转而按照难度、Token 长度、查询切片或工具调用深度进行灰度——这才是 AI 爆炸半径真正存在的维度。

ai-engineering
progressive-delivery
feature-flags
llm-ops
+1
·tian

Eval 瓶颈:你的 Eval 工程师现在就是路线图

在 2026 年,AI 功能的吞吐量限制不再是模型发布或 Prompt 迭代,而是 Eval 工程。这里有在你的唯一一名 Eval 工程师辞职之前,你所需了解的人员配比、平台投入和领导层认知重构。

evals
ai-engineering
team-structure
hiring
+1
·tian

评估集毒丸:当你的基准测试成为后门

大多数团队信任评估,因为没人负责对其进行审计。标注流水线是一个人力供应链 —— 而黄金数据集会继承人类引入的任何扭曲。

ai-engineering
evaluation
llm-ops
data-quality
+1
·tian

你的 APM 正在悄悄丢弃 LLM 遥测数据,而 Bug 就隐藏在这些缝隙中

传统的 APM 是为有限维度和无状态服务设计的。LLM 工作负载的基数特征更接近产品分析,这种不匹配会悄悄抹除那些能暴露提示词故障的唯一信号。

insider
ai-engineering
observability
llm-ops
+2
·tian

分页是一项工具目录规范:为什么智能体在处理列表返回时会耗尽上下文

返回无界列表的工具会将智能体变成函数调用时代的 SELECT * 反模式。分页是一种降级原语 —— 应该将其作为工具目录中的规范,而不是逐个工具去决定。

ai-agents
tool-design
context-engineering
mcp
+1
·tian

Prompt Linting 是 Eval 与生产环境之间缺失的一层

行为评估(Behavioral evals)捕捉模型说了什么,但无法捕捉你的 Prompt 本身是什么。一个快速、确定且结构化的 Prompt Linter,能够填补“评估通过但生产环境翻车”之间的鸿沟,避免在深夜 11 点触发生产事故。

prompt-engineering
llm-ops
ci-cd
evaluation
+1
·tian

下午 3 点和凌晨 3 点的同一个 Prompt 并不是同一个 Prompt:LLM 评估中的昼夜漂移

LLM 调用的行为取决于挂钟时间 —— 批次大小、缓存状态和路由层级会随着供应商负载而变化。凌晨 2 点运行的评估是在生产环境永远不会遇到的条件下进行校准的。这里有五个实践,可以缩小非高峰期评估与高峰期现实之间的差距。

insider
ai-engineering
llm-evals
llm-ops
+2
·tian

12 个月的 AI 功能悬崖:为什么你的生产模型在无人标记的日历上悄然衰减

AI 功能发布时通过率为 92%,但在没有进行任何更改的情况下,12 个月后却下滑至 78%。五个复合时钟——模型弃用、权重轮换、输入漂移、提示词补丁债务、评判模型校准——产生了一个大多数团队只有在模型弃用截止日期前才会发现的悬崖。这是你必须在产品发布前就列入日历的维护节奏。

ai-engineering
llm-ops
model-deprecation
evals
+1
·tian

AI 功能与 OKR 的错位:为什么季度节奏会破坏 AI 路线图

季度 OKR 是为确定性软件校准的。AI 功能具有发布曲线和持续曲线,而将它们视为交付物的模板所产生的 Demo,在规划周期之间会逐渐退化。

ai-engineering
engineering-leadership
okrs
llm-ops
+1
·tian

五面分诊树:当常规操作手册不再适用时的 AI 轮值指南

如果报警显示模型开始撒谎,那么为“重启服务”设计的传统操作手册就不再适用了。本文介绍了五面分诊树、冻结按钮以及重放测试框架,正是这些工具让 AI 轮值成为了一门独立的学科。

ai-oncall
sre
incident-response
llm-ops
+1
显示第 73–84 篇,共 118 篇