跳转到主要内容

778 含有标签「llm」

Posts tagged "llm" on TianPan.co.

查看所有标签

·tian

LLM 流水线单体 vs. 链式架构的权衡:任务分解何时有益,何时有害

大多数团队在没有测量链式调用是否优于单次大上下文调用的情况下就默认选择了链式架构。以下是关于何时链式、何时单体的实证依据。

llm
engineering
production
architecture
·tian

模型弃用就绪:在 90 天倒计时之前审计你的行为依赖

当一个模型被弃用时,最难的部分不是更新 API 调用,而是发现系统所假设的所有隐形行为契约。以下是在时间耗尽前审计这些契约的方法。

insider
llm
production
mlops
+2
·tian

生产环境中的模型路由:当路由器成本超过节省时

大多数团队部署模型路由器时期待自动节省成本。反直觉的现实是:设计不良的路由器可能比将所有请求都发送到昂贵模型还要费钱。这是真正有效的决策框架。

insider
llm
cost-optimization
ai-engineering
+1
·tian

在写第一个提示词之前,如何选对 LLM

公开基准已经饱和,无法告诉你哪个 LLM 能在你的系统中正常工作。本文提供一套实用框架,从真正重要的维度评估模型:函数调用可靠性、结构化输出合规性、你的领域拒绝率,以及真实并发下的延迟。

llm
model-selection
evaluation
production-ai
·tian

预算有限下的偏好数据:无需研究团队即可捕获 RLHF 信号

如何通过隐式行为遥测、行内编辑和 A/B 提示词从真实用户那里收集成对偏好信号,以及在没有 PPO 基础设施的情况下也能运行的最小可行奖励模型设置。

rlhf
fine-tuning
preference-data
llm
·tian

大规模提示词注入:防御智能体流水线免受恶意内容的侵害

提示词注入是生产环境 AI 智能体中的首要漏洞。本文将探讨其攻击面、为什么指令级防御会失效,以及在对抗压力下保持系统可用性的架构设计。

security
ai-agents
llm
ai-engineering
·tian

真正能阻断 PR 合并的提示词回归测试

大多数团队声称在测试他们的提示词。但几乎没有团队建立了能让构建失败的 CI 门控。这里有一个轻量级框架,可以在不烧掉 API 预算的情况下改变这一局面。

insider
ai-engineering
testing
ci-cd
+2
·tian

生产环境中的采样参数:那些没人解释清楚的调参决策

Temperature、top-p 和 top-k 在无声地左右你的 LLM 输出质量。以下是工程师在生产环境中调参时真正需要了解的机制与权衡——包括为何 temperature=0 并不确定,以及 top-p 与 temperature 如何相互作用。

llm
production
engineering
ai
·tian

结构化输出并非已解决的问题:生产环境中的 JSON 模式失效模式

JSON 模式看起来像是一个已经解决的问题,直到你遇到深度嵌套的 schema、包含大量枚举的类型,或者是静默截断的长补全。本文提供了一份完整的故障分类指南,以及在错误影响用户之前捕获故障的验证模式。

llm
structured-outputs
json
production
+1
·tian

当代码胜过模型:用确定性逻辑替换 LLM 调用的决策框架

“直接用模型就好”的本能反应是 AI 系统中不必要复杂性的主要诱因。本文提供了一个决策框架,帮助你识别何时正则表达式、查找表或基于规则的分类器在准确性、延迟和成本方面优于 LLM 调用。

ai-engineering
llm
system-design
performance
·tian

为非确定性 AI 功能编写验收标准

当你的系统是概率性的时,标准的验收标准就会失效。本文介绍了评估阈值协议、基于示例的规范以及衡量模式,帮助产品和工程团队在 AI 功能的“完成”定义上达成一致。

insider
ai-engineering
evaluation
product
+1
·tian

追踪规划层:为什么你的智能体追踪只记录了一半的故事

智能体可观测性工具能为你提供完整的工具调用日志和耗时,但驱动这些决策的规划与推理过程往往是不可见的。本文将探讨什么是规划层追踪,为什么它能捕捉到完全不同的失败类型,以及如何在今天就开始实施。

ai-agents
observability
debugging
llm
显示第 481–492 篇,共 778 篇