跳转到主要内容

8 含有标签「reproducibility」

Posts tagged "reproducibility" on TianPan.co.

查看所有标签

·tian

在 18 个月后复现 AI 决策

一旦模型、提示词和检索索引都发生了轮换,复现你在 18 个月前做出的 AI 决策几乎是不可能的。本文将介绍如何在推理时捕捉具有说服力的决策记录。

ai-engineering
compliance
observability
llmops
+1
·tian

Notebook 对编程智能体来说是“敌对领域”

隐藏的内核状态破坏了编程智能体所做出的每一项假设:文件并非程序本身、输出可能带有欺骗性,且重新运行单元格是不安全的。本文探讨了为什么“重启并运行所有单元格”是智能体唯一能验证的契约,纯函数式单元格如何让 Notebook 对智能体更安全,以及 Notebook 工具现在欠其最新用户(AI 智能体)的功能。

insider
jupyter
ai-agents
notebooks
+1
·tian

零温度并非确定性:复现那些你无法重新运行的事故

将温度设置为零会强制执行贪婪解码,但这并不能使 LLM 推理具有可复现性。导致 Token 发生跳变的并不是采样器,而是与 Batch 相关的 GPU 数值计算 —— 本文将介绍如何为你无法重新运行的实例构建事故后分析。

llm
reproducibility
inference
debugging
+1
·tian

离职工程师带走的微调产物

微调模型不仅仅是注册表中的一个文件;它是流水线在训练集上的闭包。那些只交付权重的团队,会在需要进行基础模型迁移而原工程师已经离职的那天,发现他们的公交车指数有多低。

mlops
fine-tuning
reproducibility
ml-engineering
·tian

客户无法复现的隐形个性化层

推理时个性化层虽然可以提升整体满意度,但通过注入客户无法读取、重置或在其评估套件中复现的隐藏状态,它依然会破坏 API 合约。

llm-api
reproducibility
personalization
platform-engineering
+1
·tian

你的评估套件设置了确定性种子,但供应商却悄悄忽略了它

你的评估流水线设置了 seed=42 并报告了可复现的数值。然而,供应商可能在网关处丢弃了它,批次大小在负载下发生了变化,或者系统指纹在一夜之间轮换了 —— 你的基准测试离得到一个完全不同的答案其实只差一个批次的距离。

llm-evaluation
reproducibility
observability
inference
·tian

没有复现步骤的故障工单:可复现性是工程化的结果

一个智能体删除了错误的记录,而事后剖析报告中却找不到原因。AI 智能体的可复现性并非技术栈自带的属性——它是你需要有意识地去捕获、进行版本控制并回放的东西。

ai-agents
observability
reproducibility
debugging
+1
·tian

确定性重放:如何调试永远不会以相同方式运行两次的 AI Agent

记录 Agent 执行期间的每个 LLM 调用、工具响应和时间戳,然后重放精确序列来复现故障——因为把 temperature 设为零并不能让你的多步 Agent 变得确定性。

ai-agents
debugging
observability
llm-ops
+1