跳转到主要内容

990 含有标签「insider」

TianPan.co 上标记为“insider”的文章。

查看所有标签

·tian

标注经济学:每种标签来源背后隐藏的代价

在评测标签来源的选择上——人类领域专家、众包工人、LLM 合成生成和行为推断——的决策框架,以及何时「无标注」才是正确答案。

insider
evaluation
annotation
llm
+1
·tian

你从未闭合的反馈回路:将用户行为转化为 AI 真值

显式的点赞评分可能是表象。编辑率、重试模式和会话中断能更真实地反映 AI 的质量 —— 而且你可以在没有标注预算的情况下,将它们转化为评估数据集。

insider
ai-engineering
evaluation
observability
+1
·tian

基准污染:为什么那个90% MMLU分数并不意味着你想象的那样

前沿模型在标准基准上表现亮眼,但污染——测试数据泄漏到预训练中——会显著虚高这些数字。本文揭示实际差距有多大,以及如何设计能给出诚实信号的评估。

insider
ai-engineering
evaluation
llm
+1
·tian

生产环境中的浏览器 Agent:DOM 脆弱性税

浏览器和计算机使用型 AI Agent 的失败方式,既不在基准测试中出现,也不在演示中暴露。本文揭示生产环境中真正导致失败的原因,以及保持系统稳定运行的架构模式。

insider
browser-agents
computer-use
automation
+2
·tian

AI 推理的突发容量规划:当黑色星期五遇上你的 KV Cache

AI 推理负载对流量峰值的响应与传统 API 截然不同——冷 KV Cache、长达数分钟的冷启动、受内存限制的并发,使得响应式自动扩缩容方案完全失效。本文介绍实用的容量规划计算方法、预热策略,以及真正有效的优雅降级模式。

insider
ai-engineering
infrastructure
performance
+2
·tian

能力激发差距:升级到更新模型为何会破坏你的产品

当你升级到更新的前沿模型时,你的产品所依赖的特定能力可能会悄然退化。以下是安全训练导致这一现象的原因、如何检测它,以及在无需微调的情况下恢复被抑制行为的技巧。

insider
llm
rlhf
model-evaluation
+2
·tian

认知负载倒置:为什么 AI 建议让你感觉有帮助却精疲力竭

实时 AI 建议通过将工作从生成转向验证,反而增加了认知负载。这里有相关研究和真正有效的设计模式。

insider
ai-engineering
developer-experience
ux
+1
·tian

复合 AI 系统:当你的流水线比任何单一模型都更智能

将检索器、重排序器、代码解释器、分类器和 LLM 组合成流水线,使其性能可靠地超越任何单一组件 —— 以及当你没有针对衔接处进行工程化处理时出现的涌现性故障模式。

insider
ai-engineering
system-design
llm
+2
·tian

上下文窗口不是免费存储:显式驱逐策略的必要性

工程团队习惯性地把代码库、历史记录和文档塞进上下文,默默承受成本上升和质量下降,却从不进行度量。本文阐述为何 LLM 上下文需要像 CPU 寄存器一样进行显式管理,以及如何构建切实可行的驱逐策略。

insider
llm-engineering
context-management
ai-infrastructure
+1
·tian

对话设计师在 AI 产品质量中的隐形角色

系统提示词、错误提示和能力披露中的 UX 写作直接影响模型行为和用户信任——而大多数工程团队从未衡量这一点。

insider
ai-engineering
ux
prompt-engineering
+1
·tian

RAG 语料库架构:决定检索质量的索引决策

大多数 RAG 失败发生在查询时被诊断出来,但根本原因在索引时就已埋下。本文深入讲解分块大小、重叠、层级结构和元数据决策如何悄无声息地决定检索质量。

insider
rag
retrieval
chunking
+2
·tian

LLM系统中的数据质量税:劣质输入为何带来截然不同的代价

传统机器学习在噪声数据上会优雅地退化。LLM则会自信地幻觉,污染向量库,并以看似权威的方式向下游传播错误。本文介绍如何度量和缓解数据质量税。

insider
llm
data-quality
rag
+2
显示第 697–708 篇,共 990 篇