跳转到主要内容

990 含有标签「insider」

Posts tagged "insider" on TianPan.co.

查看所有标签

·tian

当硬件说谎时:静默数据损坏遇上随机性软件

大约每千个加速器中就有一个会静默地计算出错误答案,而 LLM 推理是第一个硬件故障与采样噪声看起来完全一致的大规模工作负载。本文将探讨位翻转如何隐藏在随机输出中,以及如何利用金丝雀通道和单机统计数据来捕捉说谎的 GPU。

insider
ai-engineering
reliability
gpu
+2
·tian

技能是过程性知识的包管理器

RAG 检索事实,但过程性知识必须完整加载或根本不加载。为什么 Agent 技能的表现类似于包生态系统 —— 以及为什么你的操作手册现在需要版本控制、测试、代码审查和负责人。

insider
ai
agents
skills
+1
·tian

你在廉价模型上测试,却在昂贵模型上部署

在廉价模型上运行 CI 和评估,而生产环境却使用尖端模型,这在最关键的地方破坏了开发与生产环境的一致性。本文将探讨为什么层级差距会使你的评估门控失效,以及缩小这一差距的预算计算方法。

insider
llm
evals
ci-cd
+1
·tian

黑板模式回归:1980 年代的 AI 如何处理多智能体协作

通过共享计划文件进行协作的智能体团队正在重新发现 20 世纪 70 年代的黑板架构 —— 但他们只重建了白板,却遗忘了让其发挥作用的调度器、置信度评分和层级结构。

insider
ai-agents
multi-agent-systems
architecture
+1
·tian

内部容量市场:在团队间分配稀缺的推理资源

当多个团队共享同一个推理池时,一个团队的评估扫描(Eval Sweep)可能会使另一个团队的生产环境对话系统陷入饥饿。借鉴大型机分时系统和 Borg 的优先级波段:本文将探讨优先级层级、抢占、费用回填,以及团队在何时应当获得专用容量。

insider
ai-agents
infrastructure
cloud-costs
+1
·tian

合并队列成了新的瓶颈

编程代理让你的 PR 数量翻了一番,但合并过程仍像是在为人类打字速度设计的队列中缓慢爬行。本文将探讨合并队列拥堵背后的容量计算逻辑、为什么不稳定测试会在代理规模下产生连锁反应,以及分层预合并/合并后测试如何恢复吞吐量。

insider
ai-engineering
ci-cd
devops
+1
·tian

模型已经在直接与你的客户对话了

AI 助手正在那些你永远看不到的对话中引用你过时的报价、推荐已废弃的端点,甚至还在推销竞争对手。了解如何像对待生产环境一样监控模型的回答,并交付机器可读的真实源数据。

insider
ai
llm
devtools
+2
·tian

晨间审查队列:如何分流处理 Agent 八小时无人值守的工作成果

通宵编程 Agent 交给你的不只是完成的代码,而是一个分流处理难题。本文将探讨信任层级、来源回执、批量决策以及双轮分流机制,如何防止晨间审查队列成为你团队最大的时间黑洞。

insider
ai-agents
code-review
engineering-management
+1
·tian

思维的 p99:当模型决定你的请求耗时多久

推理模型使响应时间成为问题难度的函数,导致 p99 延迟激增至 p50 的 3-5 倍,超时调整也演变为成本问题。通过针对更小模型的对冲请求、按路由设置的推理开销上限以及感知难度的 SLO,可以将尾部延迟控制在合理范围内。

insider
llm
inference
sre
+2
·tian

你的智能体幻觉出的软件包现在已存在 —— 而且它是恶意的

LLM 会反复幻觉出相同的虚假软件包名称 —— 43% 的名称在每次重新运行时都会重复出现 —— 而攻击者正在注册这些名称。本文探讨了为什么拥有安装权限的智能体会将幻觉演变为供应链攻击,为什么 Diff 审查无法捕捉此类问题,以及能够防御此类威胁的 lockfile、白名单和冷却期防御机制。

insider
ai-engineering
security
supply-chain
+2
·tian

真正的后端是电子表格 —— 而你的智能体刚刚获得了写入权限

Excel 和 Google Sheets 承载了大多数公司的业务运营逻辑 —— 无类型、未测试、且缺乏审查 —— 而 AI 智能体现在正以机器速度向其中写入数据。通过保护区域、命名区域、公式差异对比以及迁移式写入,可以防止因公式被误覆盖而导致的业务决策失误。

insider
ai-agents
spreadsheets
data-integrity
+1
·tian

无法回滚的回滚:提示词、工具和记忆必须同步版本化,否则满盘皆输

当工具和记忆持续演进时,单独回滚智能体的提示词并不能恢复到已知的良好状态 —— 这样做只会交付一个未经测试的“怪胎”。本文探讨了为什么智能体部署是一个三位一体的过程,解析了每种单一维度的回滚是如何失败的,并介绍了如何像使用 lockfile 一样锁定提示词、工具契约和记忆。

insider
ai-agents
llmops
release-engineering
+1
显示第 37–48 篇,共 990 篇