跳转到主要内容

221 含有标签「production」

Posts tagged "production" on TianPan.co.

查看所有标签

·tian

护栏税:当安全分类器让你的延迟和账单翻倍时

外挂式安全分类器堆叠在关键路径中,使延迟增加三倍并推高了你的推理账单。本文介绍如何根据爆炸半径调整护栏规模,并采用并发而非串行的方式运行它们。

llm
ai-safety
guardrails
latency
+1
·tian

测试无法察觉却破坏了一切的模型升级

你迁移到了更新的模型,所有评估都通过了,延迟也降低了,但支持工单却不断增加。本文将探讨这类能够绕过所有断言的回归问题,以及如何在用户发现之前捕捉到它们。

insider
llm
evaluation
production
+2
·tian

从 Demo 到生产环境的“税收”:原型隐藏了 90% 的 AI 开发工作

那个令全场惊叹的 AI demo 只完成了 10% 的工作。剩下的 90% —— 评估、护栏、可观测性、成本控制、回退路径 —— 正是导致 88% 的试点项目在上线前夭折的“税收”。

insider
ai-engineering
llmops
evals
+2
·tian

供应商上调 max_tokens 默认值,导致你的尾部响应长度翻倍

一家 LLM 供应商悄悄调高了 max_tokens 的默认值,导致你的 p99 输出长度在一夜之间翻了一倍。那些你没有显式传递的参数,往往就是背后发生变化的配置 —— 本文将介绍如何停止继承那些你无法控制的默认设置。

insider
llm
api-design
production
+2
·tian

一次导致所有运行中 Agent 任务失效的 Prompt 热重载故障

在晚上 11:46 进行了一次正常的 Prompt 推送,一分钟后却出现了由于幻觉导致的退款 —— 深度解析为什么在 Agent 运行期间,Prompt 注册表需要将会话视为契约而非缓存。

insider
ai-agents
llmops
prompt-engineering
+2
·tian

当安全训练把运营方塌缩成用户

经过安全调优的 LLM 智能体会拒绝合法的运营方请求,因为模型分不清值班工程师和匿名用户。修复手段是架构性的——签名 runbook、能力令牌、运营方模式通道——而不是重新调校拒绝阈值。

ai-engineering
agent-architecture
safety
authorization
+1
·tian

那个你从未进行过负载测试的备用模型

配置好的备用模型只能证明你的路由机制有效 —— 却无法证明你的应用是否能在次要模型的输出下生存。本文探讨了为什么名义上的备用方案在真实流量下会失败,以及如何在供应商出故障前先行测试你的故障转移机制。

insider
llm
reliability
failover
+2
·tian

智能体熔断机制:为什么步骤预算是保险丝,而非断路器

步骤计数预算只是在损失造成后才烧断的保险丝。真正的智能体熔断机制结合了语义循环检测、进展信号、Token 生成速度上限以及“停止并移交”机制。

ai-agents
reliability
observability
cost-control
+1
·tian

幻影技能:当你的智能体展示出你从未测试过的能力

当用户基于未经测试验证的 AI 智能体行为构建工作流时,你发布的正是你无法维护的能力。在下一次模型升级悄然移除这些“幻影技能”之前,你需要一套发现它们的学科方法。

ai-engineering
evaluation
agents
production
+1
·tian

停止序列的“自毁”陷阱:当用户输入与分隔符发生冲突

在工程示例中表现良好的停止序列,一旦与用户内容混合,就会变成无形的潜在隐患。本文将探讨该 Bug 的表现形式、为何评估套件难以发现它,以及如何通过保留命名空间来防止其再次发生。

llm
prompt-engineering
observability
ai-engineering
+1
·tian

Agent 的写操作侧:在行动层设计可逆性

AI Agent 的每一次写操作都是一个潜在的事故。如何在 Agent 删除无法找回的数据之前,为行动层设计可逆性。

insider
ai-engineering
agents
distributed-systems
+1
·tian

从开发到生产的成本冲击:为什么你的 AI 功能在测试环境仅需几分钱,而在生产环境却要花费数美元

测试环境系统性地隐藏了生产环境中的关键成本驱动因素。本文探讨了开发支付与规模化生产账单之间的差距,以及如何诚实地建立成本模型。

insider
ai
llm
cost
+2
显示第 1–12 篇,共 221 篇
1 / 19下一页