跳转到主要内容

778 含有标签「llm」

Posts tagged "llm" on TianPan.co.

查看所有标签

·tian

共享 LLM 基础设施中的“吵闹邻居”问题:AI 功能的租户模型

当某个功能的批处理作业耗尽了共享的 API 配额时,付费用户会看到 429 错误。本文将介绍共享 LLM 基础设施的检测信号与隔离模式。

insider
llm
infrastructure
ai-engineering
+2
·tian

提示层中的个人信息:大多数团队忽视的隐私工程缺口

个人身份信息如何在不受控制的情况下流入LLM推理调用,以及脱敏、令牌化和日志记录架构如何弥合合规缺口。

insider
privacy
security
llm
+1
·tian

AI 产品定价:逃脱算力成本陷阱

传统 SaaS 定价假设每位用户的边际成本接近零。LLM 功能打破了这一假设——Token 可能消耗毛利率的 20–40%。本文介绍如何构建能够生存下去的定价架构。

insider
ai
pricing
saas
+2
·tian

提示词差异审查作为一种规范:审查者真正需要问的问题

传统代码审查的直觉无法直接应用于提示词编辑。这里是检查清单、工具链,以及将提示词PR转化为行为契约的审查者与作者对话指南。

prompt-engineering
llm
code-review
ai-engineering
·tian

提示熵预算:将输出方差作为生产环境的核心指标

大多数生产环境的 LLM 系统只追踪准确率,却忽视了方差。衡量相同输入的输出分布——即提示熵预算——是决定用户体验一致性的缺失指标。

llm
production
observability
evaluation
+1
·tian

推理模型的提示词用法大不同:为何你现有的模式在 o1、o3 和 Claude 扩展思考上会失效

o1、o3 和带扩展思考的 Claude 等推理模型处理提示词的方式,与指令跟随模型有着本质区别。那些在 GPT-4 上有效的模式,反而会主动损害思考模型的性能——本文提供一套适配框架。

prompt-engineering
reasoning-models
llm
ai-engineering
·tian

公开幻觉应对指南:当你的 AI 在公众场合说出蠢话时该怎么办

为面临公开 AI 幻觉事件的工程师和产品团队提供的实战指南——涵盖分类、根因分析、面向用户的沟通,以及真正能防止再次发生的事件后评估工作。

ai
llm
incident-response
hallucination
+1
·tian

RAG 特有的提示词注入:对抗性文档如何劫持你的检索管道

在数百万文档的语料库中,仅需五份精心构造的文档,就能在 90% 的情况下操控 RAG 系统的响应——而你的输入验证层对此毫无察觉。本文解析为何 RAG 的威胁模型从根本上有别于传统注入,以及真正有效的防御措施。

security
rag
prompt-injection
ai-engineering
+1
·tian

你的 RAG 系统缺少的查询改写层

大多数 RAG 调优工作集中在分块策略和嵌入模型上。而最高杠杆的干预点其实在流水线更前端:在查询命中向量索引之前对其进行变换。

rag
retrieval
llm
ai-engineering
·tian

检索空洞问题:为什么你的 RAG 拒绝说“我不知道”

向量搜索总是返回前 K 个结果,无论匹配质量如何,这会将缺失的信息转化为自信的虚构。修复这一问题不仅需要提高阈值——弃权机制必须成为一等输出。

insider
rag
retrieval
llm
+2
·tian

研究型 Agent 设计:为何科学工作流会打破编码 Agent 的底层假设

编码 Agent 收敛于唯一正确答案。研究型 Agent 必须探索开放式的假设空间,而成功标准在事先并不明确。本文探讨这一差异在架构层面的具体要求。

ai-agents
research
llm
architecture
·tian

设计不拖垮延迟的 AI 安全层

串行安全检查会在响应到达用户之前叠加出数百毫秒的开销。本文介绍如何设计既能维持安全态势、又不破坏用户体验的护栏架构。

insider
guardrails
llm
production
+2
显示第 577–588 篇,共 778 篇