跳转到主要内容

778 含有标签「llm」

Posts tagged "llm" on TianPan.co.

查看所有标签

·tian

Postel 法则在工具边界是一种负担

宽容的解析器通过强制转换“差一点就对”的工具调用,会误导 AI Agent 认为草率的调用也是可行的,从而在循环中累积错误。带有清晰示例且包含错误的严格验证是一种循环内训练信号 —— 本文将探讨何时应保持严格,以及 Postel 法则在何处依然适用。

insider
ai-agents
tool-design
api-design
+1
·tian

为权重签名:模型是供应链忽略的可执行文件

你的 CI 为容器签名并锁定包哈希,但决定产品行为的模型权重却在未经校验的情况下加载。pickle 后门、受污染的检查点(checkpoints)和开放的存储桶已成为被忽视的攻击面 —— 了解 OMS 签名、safetensors 和摘要锁定(digest pinning)如何填补这些安全漏洞。

insider
ai-security
supply-chain
mlops
+1
·tian

你在廉价模型上测试,却在昂贵模型上部署

在廉价模型上运行 CI 和评估,而生产环境却使用尖端模型,这在最关键的地方破坏了开发与生产环境的一致性。本文将探讨为什么层级差距会使你的评估门控失效,以及缩小这一差距的预算计算方法。

insider
llm
evals
ci-cd
+1
·tian

让所有模型都变得平庸的抽象层

多供应商 LLM 网关承诺可以通过一行代码切换模型,但却悄无声息地剥离了提示词缓存、模式强制执行和推理控制——而这些正是决定成本和质量优势的核心功能。本文将探讨何时值得支付这种“可移植性税”,以及如何利用“逃生舱”模式回归供应商原生功能。

llm
ai-engineering
infrastructure
architecture
·tian

批处理层级是 AI 时代的竞价实例

你有一半的智能体工作负载可以忍受数小时的延迟,且供应商为此层级提供了 50% 的折扣——但目前这些任务却都在交互式端点上运行。本文提供了一个根据延迟容忍度对 LLM 任务进行分类的框架,探讨了如何在 24 小时的批处理窗口中生存,并将“延迟执行”作为一种设计决策。

ai-engineering
llm
cost-optimization
agents
+1
·tian

崩溃是承重性的:大语言模型 (LLM) 的容错性如何掩盖了破碎的数据契约

流水线曾通过崩溃来强制执行数据契约。然而,作为消费者的 LLM 却能应对畸形的输入,从而将明显的故障转变为无声的质量下降 —— 本文将介绍如何通过验证门和金丝雀断言来恢复告警机制。

llm
data-engineering
reliability
ai-engineering
·tian

真正关键的 LLM 合同条款:企业级 AI 采购者的谈判清单

模型弃用通知、零数据保留、版权赔偿排除条款以及合同规定的速率限制 —— 这些是真正能为企业级 AI 采购者转嫁风险的 LLM 合同条款,也是供应商真正愿意谈判的筹码。

llm
procurement
enterprise-ai
ai-contracts
+1
·tian

模型 API 现已成为 Tier 0 级别。在状态页变红之前,请先设计好降级模式

模型 API 位于请求路径中,与数据库同等重要,但大多数灾备 (DR) 计划仍将其视为“锦上添花”。这份实用指南涵盖了降级模式 —— 缓存、前置版本、队列和诚实的停机 —— 以及在下一次供应商故障发生前需要做出的业务决策。

ai-engineering
reliability
disaster-recovery
llm
+1
·tian

模型已经在直接与你的客户对话了

AI 助手正在那些你永远看不到的对话中引用你过时的报价、推荐已废弃的端点,甚至还在推销竞争对手。了解如何像对待生产环境一样监控模型的回答,并交付机器可读的真实源数据。

insider
ai
llm
devtools
+2
·tian

思维的 p99:当模型决定你的请求耗时多久

推理模型使响应时间成为问题难度的函数,导致 p99 延迟激增至 p50 的 3-5 倍,超时调整也演变为成本问题。通过针对更小模型的对冲请求、按路由设置的推理开销上限以及感知难度的 SLO,可以将尾部延迟控制在合理范围内。

insider
llm
inference
sre
+2
·tian

你的智能体幻觉出的软件包现在已存在 —— 而且它是恶意的

LLM 会反复幻觉出相同的虚假软件包名称 —— 43% 的名称在每次重新运行时都会重复出现 —— 而攻击者正在注册这些名称。本文探讨了为什么拥有安装权限的智能体会将幻觉演变为供应链攻击,为什么 Diff 审查无法捕捉此类问题,以及能够防御此类威胁的 lockfile、白名单和冷却期防御机制。

insider
ai-engineering
security
supply-chain
+2
·tian

脚手架审计:每一次模型发布都让你的部分开发框架变成累赘

重试机制编排、JSON 修复解析器以及强制思维链,都是为你不再运行的模型而构建的。这是一套在每次模型升级时,对过时的 LLM 脚手架进行标记、消融和删除的实用规范。

insider
ai-engineering
agents
llm
+1
显示第 25–36 篇,共 778 篇