跳转到主要内容

778 含有标签「llm」

Posts tagged "llm" on TianPan.co.

查看所有标签

·tian

推理模型经济学:思维链何时物有所值

深度思考模型的单次查询成本高出 10–50 倍。本文提供了一套任务分类法,告诉你何时这笔溢价是值得的,以及如何构建自动应用该策略的路由架构。

insider
llm
ai-engineering
cost-optimization
+1
·tian

串行工具调用瀑布:Agent循环中隐藏的延迟税

Agent框架默认串行执行工具调用,即使这些调用在逻辑上相互独立,造成与N+1查询问题如出一辙的延迟级联。本文介绍如何识别并修复这一问题。

insider
ai-agents
performance
tool-use
+2
·tian

六个月悬崖:为什么生产环境中的 AI 系统会在没有一行代码改动的情况下发生退化

你的 AI 功能在发布时表现优异,通过了所有测试。但六个月后,它在悄无声息中退化了 20–40% —— 而你的仪表盘却从未发出警告。本文将探讨这种情况发生的原因以及如何阻止它。

llm
production
monitoring
mlops
+1
·tian

生产环境中的结构化输出可靠性:为什么 JSON 模式并非契约

JSON 模式保证了合法的语法 —— 但不能保证正确的答案。本文深入剖析了摧毁生产级 AI 流水线的三种故障模式,并介绍了一个能真正捕获这些问题的三层验证架构。

insider
llm
production-ai
structured-output
+2
·tian

谄媚陷阱:为何 AI 验证工具在应该反驳时却选择赞同

经过 RLHF 训练的模型存在系统性的赞同偏差,这使它们在代码审查、事实核查和决策支持场景中极为危险。本文探讨如何衡量这一问题,并恢复模型应有的反驳能力。

insider
llm
production-ai
evaluation
+2
·tian

合成评估冷启动:在没有标注数据的情况下如何构建基准数据集

如何在零标注数据的情况下,利用合成测试生成、人工验证锚点、跨模型分歧和行为不变量构建可用的LLM评估流水线——以及合成评估与被测模型共享的失效模式。

evaluation
llm
testing
evals
+1
·tian

系统提示词蔓延:当你的 AI 指令变成 Bug 的源头

随着系统提示词从几百个 token 增长到几千个,内部矛盾不断积累,模型行为变得难以预测。本文将介绍如何在产生损失之前,检测、控制并重构你的提示词。

insider
prompt-engineering
llm
ai-engineering
+1
·tian

多智能体系统中的温度治理:为什么方差是一类预算

以相同的温度运行你的所有智能体组件,就像给它们设置相同的超时时间一样错误。本指南将介绍如何设计基于角色的采样策略,使输出方差与每个流水线阶段的实际需求相匹配。

insider
ai-engineering
multi-agent
llm
+2
·tian

时间上下文注入:让 LLM 真正知道今天是几号

LLM 没有时钟。你发布的每一个日期敏感功能,默认都是坏的——除非你显式地注入时间上下文。本文介绍如何在不破坏提示缓存的前提下做到这一点。

llm
production-ai
rag
prompt-engineering
·tian

生产环境中的Text-to-SQL:自然语言查询为何在Schema边界失败

为什么Text-to-SQL的供应商演示效果完美,而生产部署却一团糟——以及真正能缩小这一差距的工程技术。

ai-engineering
llm
sql
data-engineering
·tian

多轮工具调用的Token经济学:为什么你的Agent成本比你想象的高5倍

基于单次调用数学建立的Agent成本估算从设计上就是错误的。本文解释多轮工具调用如何以非线性方式复合Token成本——以及保持长任务Agent经济可行的具体设计杠杆。

insider
ai-engineering
llm
agents
+1
·tian

破坏生产级 LLM 系统的分词器盲点

为什么 “1000 个 Token ≈ 750 个单词” 的假设在最关键的情况下会失效:多语言文本、结构化输出和代码密集型工作负载 —— 以及随之而来的生产环境 Bug。

insider
llm
tokenization
production
+2
显示第 409–420 篇,共 778 篇