跳转到主要内容

990 含有标签「insider」

TianPan.co 上标记为“insider”的文章。

查看所有标签

·tian

意图鸿沟:当你的 LLM 完美回答了错误的问题

意图不一致导致了 32% 的 LLM 答非所问 —— 模型虽然回答了字面上的问题,却忽略了用户的真实需求。本文将探讨为什么这种现象能逃过你的评估,以及如何缩小这一鸿沟。

insider
llm
production-ai
evaluation
+1
·tian

LLM 排队论:为什么你的负载均衡器按请求思考,而你的 GPU 按 Token 思考

将利特尔法则、优先级队列和准入控制应用于基于 Token 的 LLM 推理工作负载——探讨为什么请求级负载均衡会失效,工作保留调度器如何释放额外 30-70% 的 GPU 吞吐量,以及防止生产环境意外的容量规划数学。

insider
llm-inference
queuing-theory
gpu-scheduling
+1
·tian

LLM 请求生命周期是一个状态机 —— 像对待状态机一样对待它

LLM 请求并非线性的 —— 它们会悄无声息地穿越重试、降级和验证状态,而大多数团队从未对这些状态进行埋点。将请求生命周期建模为显式的有限状态机,可以使每一次转换都变得可见、可调试且成本可归因。

insider
llm
observability
reliability
+1
·tian

你的 try/catch 漏掉的 LLM 请求生命周期

将 LLM 调用封装在 try/catch 中只能捕获简单的失败。采用状态机方法可以将重试、降级、校验和升级路径变为一等可观测状态 —— 并揭示那些返回 HTTP 200 的失败模式。

insider
llm
observability
reliability
+1
·tian

MCP 服务端供应链风险:当你的智能体工具成为攻击向量

第三方 MCP 服务端是 AI 智能体领域的新一代 npm left-pad 问题。从 Postmark 邮件外泄到 mcp-remote 命令注入,真实的漏洞案例揭示了五种攻击向量以及在不破坏可组合性的前提下降低风险的分层防御模式。

insider
mcp
security
supply-chain
+1
·tian

生产环境中的 MoE 模型:稠密模型基准测试所掩盖的服务特性

稀疏 MoE 模型所需的 GPU 显存是其激活参数量的 8.6 倍,且表现出稠密模型监控容易忽略的延迟波动,并打破了朴素的批处理假设。本文将深入分析基准测试中经常忽略的服务端细节。

insider
moe
llm-inference
gpu-serving
+1
·tian

模型指纹识别:在后端模型静默切换破坏你的评估系统前发现它

当你的 LLM 供应商在稳定的 API 端点背后静默更新模型时,你的评估测试可能依然通过,但用户却能感觉到差异。本文介绍一套指纹识别和漂移检测技术栈,帮助你第一时间捕获这类变动。

insider
llm
monitoring
production-ai
+1
·tian

模型迁移指南:如何在不破坏生产环境的情况下更换基座模型

一份在生产环境中安全迁移基座模型的分步指南 —— 涵盖影子测试、嵌入向量重新索引、提示词适配、金丝雀发布,以及区分两周完成更换与两个月完成更换的组织协调工作。

insider
llm-migration
model-swap
shadow-testing
+2
·tian

模型迁移指南:如何在不冻结功能开发的情况下更换基础模型

一份分阶段的生产环境指南,用于更换 LLM 基础模型——涵盖了影子部署、跨供应商的提示词重构、嵌入模型重新索引策略,以及为什么仅凭你的评估套件无法捕捉到那些至关重要的回归问题。

insider
llm-ops
model-migration
production-ai
·tian

代理系统的非确定性 CI:为什么二进制的通过/失败模式会失效,以及取而代之的是什么

当每次测试运行都具有非确定性时,二进制的通过/失败 CI 就会失效。统计判定、分级阈值、轨迹指纹识别和序列分析可以在不让团队陷入虚假失败的情况下,捕捉真实的代理回归。

insider
ai-agents
ci-cd
testing
+2
·tian

LLM Agent 中的并行工具调用:你可能尚未意识到的耦合测试

在 LLM Agent 中启用并行工具执行会暴露工具设计中隐藏的耦合问题 —— 本文探讨了三种静默失败模式、如何为安全并行对工具进行分类,以及何时应该合并工具而非并行化。

insider
llm-agents
tool-use
agent-architecture
+1
·tian

Prompt Sprawl:当系统提示词演变成难以维护的遗留代码

系统提示词从 200 个 token 膨胀到 4,000 个,会悄然降低 LLM 的性能。本文介绍如何审计、拆解并构建可维护的模块化提示词——将 DRY 原则、关注点分离和版本控制应用于提示词管理。

insider
prompt-engineering
llm-ops
production-ai
+1
显示第 949–960 篇,共 990 篇