跳转到主要内容

778 含有标签「llm」

Posts tagged "llm" on TianPan.co.

查看所有标签

·tian

负面提示词是代码异味:为什么系统提示词中的每个 “不要” 都是技术债

生产环境系统提示词中的每一个 “不要” 子句,都是对行为不匹配的补丁。跟踪负面提示词的密度,将每个否定项重构为正面规范,并将残留的否定项作为一种信号,表明提示工程可能并不是解决该问题的正确工具。

insider
prompt-engineering
llm
ai-engineering
+1
·tian

策略文件:为什么你不应该把拒绝规则写在系统提示词里

生产环境的系统提示词就像是披着一件风衣的三个配置文件——对话语气、输出格式和拒绝策略被塞进同一个工件中,共用同一个评审人和发布节奏。每一次策略修改都会导致无关任务的行为回归。这里有一种能显著获益的解耦方案。

insider
llm
ai-engineering
prompt-engineering
+2
·tian

Prompt 修改不只是措辞变动:将 Prompt 视为软件的代码审查规范

Prompt 修改看起来像是英语,但行为表现却像代码。通过配对评估与 Prompt 的 PR、行为差异注释以及划分审查角色等规范,在用户发现之前捕捉行为回归。

insider
llm
prompt-engineering
code-review
+2
·tian

RAG 中的新鲜度与相关度权衡:为什么你无法在查询时同时优化两者

纯语义检索会忽略时间,而基于新鲜度权重的检索则更看重活跃度而非正确性。本文将深入探讨针对每个查询的时间敏感度分类器、针对每个文档的波动性评分,以及如何通过双轴评分让 RAG 在处理稳定型和时变型问题时都能保持正确。

rag
retrieval
ai-engineering
llm
+1
·tian

检索级联失效:文档删除如何毒害你的 RAG 流水线

当源文档消失时,它们的嵌入仍滞留在向量索引中,并持续返回貌似正确的错误答案。这是一份关于墓碑机制、级联失效以及检索时新鲜度检查的实战指南。

rag
vector-database
ai-engineering
llm
+1
·tian

“展示过程”的 UX 陷阱:当推理链只是披着产品外壳的调试输出

大多数 AI 功能之所以带有可见的推理过程,仅仅是因为模型输出了它,而将其隐藏似乎很浪费。这是一个团队从未真正做出的产品决策——也是信任流失的一个可衡量的来源。

insider
ai
ux
product-design
+2
·tian

小模型,大账单:为什么单 Token 成本更低反而更贵

为了降低单 Token 成本而切换到更小的模型,可能会在不知不觉中增加你的 LLM 账单。正确的衡量单位是“每次成功任务的成本”,而大多数仪表板从未测量过这一指标。

llm
cost-optimization
observability
model-selection
+1
·tian

停止序列的“自毁”陷阱:当用户输入与分隔符发生冲突

在工程示例中表现良好的停止序列,一旦与用户内容混合,就会变成无形的潜在隐患。本文将探讨该 Bug 的表现形式、为何评估套件难以发现它,以及如何通过保留命名空间来防止其再次发生。

llm
prompt-engineering
observability
ai-engineering
+1
·tian

流式结构化输出:为什么你的解析器会在第 47 个 Token 处卡住

Token 流式传输与结构化输出在架构上是相互矛盾的。天真的 try/catch JSON.parse 循环复杂度为 O(n²),is_complete 布尔值是个谎言,而部分枚举则是 Delete 工具在 DeleteIfEmpty 上误触发的原因。

ai-engineering
streaming
structured-output
llm
·tian

总结税:当压缩消耗的 Token 超过了它节省的量

长期运行的 Agent 在溢出或层级化处理时会触发摘要生成,而在大规模应用中,压缩过程会悄然成为主要的推理成本——而仪表盘永远不会告诉你这一点。

insider
llm
agents
cost
+2
·tian

每个开放 RAG 系统自带的攻击向量

当用户可以向你的知识库贡献内容时,他们并不是唯一的写入者。在 260 万个条目的语料库中,仅需 5 份恶意文档即可实现 97% 的攻击成功率 —— 且流水线不会显示任何错误。

rag
security
llm
ai-engineering
·tian

孤儿微调:基础模型废弃后如何恢复领域专业知识

当基础模型被废弃时,微调后的领域专业知识不会自动迁移。三条恢复路径——行为蒸馏、重新标注和提示编码——以及提前规划的重要性。

fine-tuning
llm
model-deprecation
knowledge-distillation
+1
显示第 157–168 篇,共 778 篇