跳转到主要内容

95 含有标签「llmops」

Posts tagged "llmops" on TianPan.co.

查看所有标签

·tian

AI 功能的 RACI 模型:为什么四个绿色仪表盘组合在一起却是一个破碎的产品

每个生产环境中的 AI 功能都有四个交付物负责人,却没有人为集成的用户体验负责。这种差距正是接缝漏洞产生的原因——以及填补这一空白的组织设计修复方案。

ai-engineering
team-structure
llmops
ownership
+1
·tian

评估作者的单一文化:为什么你的基准测试会变成一张自画像

评估套件并不是对你模型的测量——它是编写者的一张静态画像。在绿色的 CI 变成一个自我陶醉的谎言之前,请审计、轮换并消除基准测试中的单一文化。

evals
llmops
ai-engineering
testing
+1
·tian

提示词资产贬值:你团队中缺失的 AI 维护时间表

生产环境中的提示词会随着底层模型、分词器(tokenizer)和产品规则的更迭而悄然失效。请将每一个提示词都视为会贬值的资产,为其指定负责人、重验证日期以及评估偏差(eval delta)—— 否则,你只能接受那些团队里没人想发布、却真实发生的质量回退。

prompt-engineering
llmops
technical-debt
ai-engineering
+1
·tian

共享提示词的“夺旗日”:当一次修改引发三十个团队的性能回归

将安全前导语(safety preamble)集中化管理看起来像是典型的 DRY 原则胜利,直到第一次修改发布,导致三十个下游团队的评估指标暴跌。本文将探讨为什么共享提示词的行为类似于分布式系统,以及如何构建能够经受住“夺旗日”考验的治理框架。

insider
llmops
platform-engineering
prompt-management
+1
·tian

Token 预算是新一代的内部 IAM

当你的 AI 账单跨过七位数时,Token 配额就不再只是一个财务数字,而是开始演变为一种授权边界。为什么配额分配需要 IAM 级别的纪律,而不是简单的仪表板滑块。

llmops
finops
governance
ai-platform
·tian

用户侧概念漂移:当你的提示词依然奏效,但用户已经变了

固化的黄金数据集依然显示为绿色,但生产环境的满意度却在悄然崩塌 —— 因为改变的是用户,而非模型。本文探讨检测模式以及评估集的“保质期”管理规范。

llm-evals
drift-detection
observability
prompt-engineering
+1
·tian

你在无意中为 Prompt 构建了一个功能开关系统 —— 但却缺少治理

Prompt 配置仓库在运行时表现得像功能开关服务,但缺乏曝光追踪、审计日志、回滚遥测和针对单个用户的灰度控制。本文将探讨这一治理缺口以及如何填补它。

llmops
prompt-engineering
feature-flags
governance
+1
·tian

Agent 回填问题:你的模型升级是对过去 90 天的一次审判

当一个更聪明的模型与你已经发布的模型产生分歧时,每一个持久化的 Agent 决策都会变成一个有争议的记录。这是一个关于评估、决策和动作重放的框架 —— 以及你在下次升级前需要的架构先决条件和策略矩阵。

insider
ai-agents
llmops
model-upgrade
+2
·tian

智能体能力悬崖:为什么你的模型升级让简单的 95% 变得完美,却让困难的 5% 成了你最糟糕的季度

模型升级提升了你的整体通过率,但同时也让剩余的失败集中在最困难的 5% 流量中 —— 本文将探讨分层评估和能力边界探测如何在这些问题进入你的值班轮值表之前,揭示这种“能力悬崖”。

insider
ai-engineering
evals
llmops
+2
·tian

你的 AI 产品在需要另一个模型之前,更需要一名 SRE

大多数举步维艰的 AI 团队都在用 2012 年时代的运营方式运行前沿模型。解决这一问题的下一个关键员工通常是 SRE,而不是另一位应用科学家。

sre
ai-engineering
reliability
llmops
+1
·tian

“完成!”不是返回码:为什么智能体完成需要结构化信号

智能体用自然语言发出完成信号;编排器则需要结构化事件。一个带有状态枚举、原因代码和可恢复句柄的 done 工具,能将静默的智能体失败转变为清晰的模式违规 (schema violations),让你的流水线能够真正进行路由。

ai-agents
orchestration
llmops
agent-design
+1
·tian

LLM 升级的金丝雀发布:为什么模型上线与代码部署的失效方式完全不同

替换 LLM 版本并非简单的代码部署。输出语义会发生偏移,下游解析器会因为细微的结构差异而崩溃,等你的监控告警响起时,成千上万的用户可能已经遭遇了失败。本文将介绍让模型升级变得可预测的工程规范。

insider
llm
production
deployment
+2
显示第 61–72 篇,共 95 篇