跳转到主要内容

778 含有标签「llm」

Posts tagged "llm" on TianPan.co.

查看所有标签

·tian

超越 JSON 模式:在生产环境中获取可靠的 LLM 结构化输出

仅靠提示词的 JSON 提取在生产环境中会有 5–20% 的失败率。本文深入解析了从 JSON 模式到约束解码的全部四代结构化输出技术,并提供了库推荐和模式设计规则。

llm
production
structured-outputs
ai-engineering
·tian

关于在生产环境运行 MCP,没人告诉你的那些事

一份关于 MCP 隐藏生产挑战的实用指南 —— 涵盖传输协议选择、工具 Schema 设计、工具投毒攻击,以及真正可扩展的网关模式。

mcp
ai-agents
security
llm
+1
·tian

生产环境中的 LLM 防护栏:为什么单层防护永远不够

5 个准确率为 90% 的防护栏仅能为你提供 59% 的系统正确率。这是一份关于分层防护栏架构的实用指南——涵盖输入和输出验证、工具选择、延迟权衡,以及为什么复合错误率是隐藏的失败模式。

llm
guardrails
ai-safety
production
+1
·tian

每个生产级 AI Agent 都需要的三个记忆系统

关于 AI Agent 中情节记忆、语义记忆和程序性记忆的实用指南——以及为什么将所有持久状态视为单一向量存储最终会导致你的生产系统崩溃。

ai-agents
memory
llm
production
·tian

上下文工程:为什么你喂给 LLM 的内容比你提问的方式更重要

上下文工程是提示词工程无法解决的系统架构问题。本文将解释为什么投毒、干扰、混淆和冲突这四种失败模式解释了大多数生产环境中的 LLM 故障,以及如何通过工程化手段解决这些问题。

llm
ai-agents
rag
production
+1
·tian

生产环境中的 LLM 护栏:哪些方法真正奏效

一份关于 LLM 护栏的实用工程指南:涵盖分层输入/输出验证、误报累积的原因、串行与并行执行的权衡,以及如何在生产环境中监控重要指标。

llm
guardrails
production
safety
+1
·tian

生产级 LLM 应用的 Token 预算策略

一份关于在生产级 LLM 系统中管理 Token 预算的实用指南 —— 涵盖了上下文腐烂、分级分配、摘要处理、KV 缓存利用以及防止 Agent 静默失败的中间层。

llm
production
cost-optimization
context-management
+1
·tian

LLM 路由:如何停止为简单查询支付顶级模型的昂贵价格

将每个查询都发送给你最昂贵的模型,所花费的成本比实际需要的高出 27 倍。本指南提供了一份实用的 LLM 路由策略指南——包括基于规则、分类器和级联路由——并附带真实的基准测试数据以及可能遇到的故障模式。

llm
cost-optimization
production
infrastructure
+1
·tian

生产环境中的 LLM 可观测性:工程师容易忽略的四个隐性故障

标准监控在生产环境 LLM 系统中容易遗漏的四种故障模式 —— 以及如何通过分布式追踪、持续评估和正确的遥测架构,在用户发现之前捕捉到这些问题。

llm
observability
monitoring
production
+1
·tian

微调 vs. 提示工程:生产级 LLM 的决策框架

一个实用的框架,帮助你决定何时对你的 LLM 进行微调或提示工程——涵盖成本权衡、LoRA/QLoRA、模型蒸馏,以及每个 AI 团队在投入训练前都应回答的六个诊断问题。

fine-tuning
prompt-engineering
llm
mlops
+1
·tian

生产环境中的提示工程:真正重要的是什么

让演示令人印象深刻的提示技术,往往不是那些能让生产系统保持可靠的技术。以下是在大规模交付 LLM 功能时真正重要的事项。

llm
prompt-engineering
ai-engineering
production
·tian

多智能体 LLM 系统为何失败(以及如何构建不失败的系统)

多智能体 LLM 系统在生产环境中 41% 至 87% 的时间会发生故障——其中 79% 的故障源于协作和规范问题,而非模型质量。本文将介绍故障分类及其应对设计。

multi-agent
llm
distributed-systems
production
+1
显示第 745–756 篇,共 778 篇