跳转到主要内容

990 含有标签「insider」

TianPan.co 上标记为“insider”的文章。

查看所有标签

·tian

裁判模型独立性:当评分者与被评分者共享盲点时,你的评测为何会失效

使用同一模型家族同时担任产品和裁判会因共享盲点导致评分虚高 8–16%。本文介绍如何构建真正能捕获模型遗漏问题的评测系统。

insider
evaluation
llm-as-judge
ai-engineering
+1
·tian

没人调校的 max_tokens 旋钮:将输出截断作为成本杠杆

大多数团队为了避免生成中途截断而过度填充 max_tokens,并为此持续支付冗余的费用。根据真实的输出分布进行基于路由的校准,可以在不损失质量的情况下将输出 token 支出降低 20–40%。

insider
llm
cost-optimization
latency
+1
·tian

模型 EOL 倒计时:将供应商 LLM 视为外部依赖项管理

每个锁定的模型版本都有一个你无法控制的弃用日期。本文介绍如何将供应商 LLM 视为外部依赖项,在通知到来之前就内置行为回归测试套件、EOL 处置手册和迁移测试框架。

insider
llm
production
devops
+1
·tian

模型路由是系统设计问题,而非配置选项

将 LLM 的选择视为运行时分发决策而非部署常量,能够带来真实的成本节省。本文探讨如何思考路由信号、故障转移失效模式、影子路由,以及大多数团队忽略的成本核算方法。

insider
llm
system-design
mlops
+1
·tian

共享 LLM 基础设施中的“吵闹邻居”问题:AI 功能的租户模型

当某个功能的批处理作业耗尽了共享的 API 配额时,付费用户会看到 429 错误。本文将介绍共享 LLM 基础设施的检测信号与隔离模式。

insider
llm
infrastructure
ai-engineering
+2
·tian

提示层中的个人信息:大多数团队忽视的隐私工程缺口

个人身份信息如何在不受控制的情况下流入LLM推理调用,以及脱敏、令牌化和日志记录架构如何弥合合规缺口。

insider
privacy
security
llm
+1
·tian

AI 产品定价:逃脱算力成本陷阱

传统 SaaS 定价假设每位用户的边际成本接近零。LLM 功能打破了这一假设——Token 可能消耗毛利率的 20–40%。本文介绍如何构建能够生存下去的定价架构。

insider
ai
pricing
saas
+2
·tian

主动型 Agent:后台 AI 的事件驱动与定时自动化

绝大多数 Agent 设计文章都假设由人类触发执行。而生产环境中的 AI 越来越多地在后台运行——基于定时调度、变更事件和系统状态转换。这在架构层面改变了什么?

insider
ai-engineering
agents
event-driven
+1
·tian

检索空洞问题:为什么你的 RAG 拒绝说“我不知道”

向量搜索总是返回前 K 个结果,无论匹配质量如何,这会将缺失的信息转化为自信的虚构。修复这一问题不仅需要提高阈值——弃权机制必须成为一等输出。

insider
rag
retrieval
llm
+2
·tian

LLM Agent 的重试预算:为什么 20% 的单步失败率会让你的 Token 账单翻倍

在链式 LLM Agent 中,20% 的单步重试率很少只增加 20% 的成本 —— 由于上下文回放,成本往往会攀升至 2 倍左右。本文将介绍如何通过预算限制重试、在 CI 中捕获成本爆炸,并停止为失败支付双倍费用。

insider
llm-agents
retry-budget
reliability
+2
·tian

设计不拖垮延迟的 AI 安全层

串行安全检查会在响应到达用户之前叠加出数百毫秒的开销。本文介绍如何设计既能维持安全态势、又不破坏用户体验的护栏架构。

insider
guardrails
llm
production
+2
·tian

SFT、RLHF 与 DPO:垂直领域应用中的模型对齐方法决策矩阵

一个实用的决策框架,用于在垂直领域应用中对 LLM 进行对齐时,在有监督微调 (SFT)、RLHF 和 DPO 之间进行选择——包括如何诊断你的对齐差距是数据问题、奖励问题还是能力缺失。

insider
fine-tuning
llm
alignment
+1
显示第 829–840 篇,共 990 篇