跳转到主要内容

778 含有标签「llm」

Posts tagged "llm" on TianPan.co.

查看所有标签

·tian

系统提示词的行为克隆:在专家离职前留住专业判断

当构建你生产系统提示词的工程师离职时,其中每一条规则背后的逻辑也随之消失。结构化的行为克隆方法可以在这些知识流失之前,捕捉到其中的 “为什么”。

insider
prompt-engineering
ai-ops
knowledge-management
+1
·tian

预算倒置陷阱:为什么你最重要的AI功能却在用最便宜的推理模型

AI系统中的成本压力经常将复杂的高价值工作流路由到最便宜的模型——而低价值查询却运行在顶级模型上。本文介绍如何审查并修正这一倒置问题。

ai
llm
inference
cost-optimization
+1
·tian

思维链的两种失败模式,无人谈及

可见推理链本应让AI更透明——但研究表明,它会在用户看到最终答案之前,将其锚定于错误结论,将答案淹没在冗长文字中,并产生误导合规审查人员的虚假审计追踪。

llm
reasoning
ai-engineering
production-ai
·tian

动态系统提示词组装:请求时可组合的 AI 行为

如何在请求时根据用户角色、功能开关和任务上下文,从模块化组件构建系统提示词——以及由此带来的安全风险。

insider
llm
prompt-engineering
system-design
+1
·tian

评估与生产环境的差距:检测生产级 LLM 中的行为模式切换

生产环境中的 LLM 在评估上下文中的表现通常与实际流量中的表现不同 —— 而大多数团队从未察觉到这一点。本文将介绍如何在差异侵蚀系统信任之前将其识别出来。

insider
llm
evaluation
production
+2
·tian

LLM 中的图推理缺陷:为那些令序列训练模型困惑的关系任务构建脚手架

基于序列训练的 LLM 在处理图结构推理任务时存在系统性失效。本文介绍了一种用于补偿的工程模式:结构化编码、基于工具的遍历,以及一个用于在编写第一个提示词之前,检测你是否正在挑战底层架构局限性的预构建诊断程序。

llm
graph-reasoning
ai-engineering
tool-calling
+1
·tian

推理集群:将SRE规范应用于多供应商LLM依赖管理

生产AI技术栈如今横跨多个供应商、微调端点和自托管模型。管理它们需要SRE风格的集群纪律:服务目录、按供应商的SLO追踪、容量规划以及清晰的所有权模型。

insider
llm
sre
infrastructure
+2
·tian

知识时效路由:在生产 AI 中将查询匹配到正确的时间层

生产 AI 系统同时承载四个不同新鲜度层级的知识——参数化权重、RAG 索引、会话上下文和实时检索。将查询路由到错误的层级会产生自信但错误的答案,且没有任何可见的错误信号。

rag
llm
production-ai
knowledge-routing
+1
·tian

自信的幻觉制造者:生产级 LLM 知识边界信号的运行时模式

LLM 之所以自信地产生幻觉,是因为 RLHF 训练让它们听起来笃定无疑。本文介绍如何检测知识边界、按置信度路由,并构建能在生产环境中将不确定性转化为可操作信号的降级链架构。

llm
production
calibration
hallucination
+1
·tian

为什么你的 AI 听起来不对劲,即使技术上完全正确

技术正确性与交流适当性是两个正交的失效模式。语域不匹配是一个隐性的用户流失驱动因素,它藏在模糊的用户反馈背后,几乎不会出现在你的评估套件中。

ai
llm
prompt-engineering
evaluation
·tian

LLM 分类器的生产实践:为什么准确率是错误的指标

准确率本身并不能预测基于 LLM 的分类器能否在生产环境中存活。真正的约束在于校准性、分类别指标、延迟 SLO,以及揭示生产就绪性的测试模式。

insider
llm
production
classification
+2
·tian

输出耦合陷阱:为什么多智能体系统在接口边界处会发生静默失败

下游智能体静默地依赖于上游智能体的精确输出格式。当格式发生偏移时,故障看起来就像是模型错误。本文将介绍如何构建智能体接口,在格式依赖破坏你的流水线之前将其显式化。

multi-agent-systems
llm
engineering
production
显示第 253–264 篇,共 778 篇