跳转到主要内容

9 含有标签「context-management」

Posts tagged "context-management" on TianPan.co.

查看所有标签

·tian

擦除模型仍在读取的上下文:数据保留策略带来的隐患

一个每晚运行的删除作业正在清理你的提示词组装器在请求时读取的消息表。模型进入了一个被截断的对话,并自信地捏造了用户实际同意的 SLA。这个 Bug 存在于两个都认为自己拥有该表的团队之间。

insider
ai-engineering
llm
data-retention
+2
·tian

渐进式上下文替换:在长 AI 对话中保持质量的方法

硬截断和朴素摘要在长 AI 对话中都会导致质量下降。滚动替换模式——对近期轮次保持原始状态,同时对较旧内容进行增量压缩——是在会话超过四十轮时保持质量的有效方法。

insider
ai-engineering
context-management
llm
+1
·tian

对话历史是你的提示词从未承认的负担

聊天历史并非免费的上下文。每一轮对话都会增加噪声,干扰注意力,并导致单轮准确率下降 —— 本文将介绍如何检测、压缩和整理这些内容。

llm
context-management
ai-engineering
agents
+1
·tian

上下文窗口不是免费存储:显式驱逐策略的必要性

工程团队习惯性地把代码库、历史记录和文档塞进上下文,默默承受成本上升和质量下降,却从不进行度量。本文阐述为何 LLM 上下文需要像 CPU 寄存器一样进行显式管理,以及如何构建切实可行的驱逐策略。

insider
llm-engineering
context-management
ai-infrastructure
+1
·tian

上下文窗口悬崖:长对话的应用层管理策略

当 LLM 上下文在会话中途耗尽时究竟会发生什么,为什么大多数框架处理得很糟糕,以及能让长对话保持连贯的摘要、选择性保留和外部化模式。

llm
context-management
production-ai
ai-engineering
·tian

Token 是有限资源:复杂 Agent 的上下文预算分配框架

如何将上下文窗口视为稀缺的计算预算,在系统提示、记忆注入、工具结果和暂存空间之间进行显式分配——以及在任务执行中途耗尽预算时对 agent 可靠性的影响。

insider
ai-engineering
llm
agents
+2
·tian

上下文压缩改变了你的模型真正看到的内容

Token 剪枝和提示词压缩可以将 LLM 推理成本降低 3 到 10 倍,但它们会在无形中改变模型看到的内容。本文将深入分析其失败模式——如指代链丢失、约束条件遗漏、工具输出幻觉——并探讨如何安全地验证和分配压缩预算。

llm
context-management
prompt-engineering
ai-engineering
·tian

上下文的隐性成本:管理生产级 LLM 系统中的 Token 预算

上下文窗口并不是免费的存储空间 —— 它是 LLM 系统中最大的隐性成本。了解二次方注意力缩放、迷失在中间(lost-in-the-middle)问题以及上下文长度激增如何推高账单,并掌握有效控制这些成本的分层策略。

llm
cost-optimization
context-management
production
·tian

生产级 LLM 应用的 Token 预算策略

一份关于在生产级 LLM 系统中管理 Token 预算的实用指南 —— 涵盖了上下文腐烂、分级分配、摘要处理、KV 缓存利用以及防止 Agent 静默失败的中间层。

llm
production
cost-optimization
context-management
+1