跳转到主要内容

164 含有标签「prompt-engineering」

Posts tagged "prompt-engineering" on TianPan.co.

查看所有标签

·tian

停不下来的 Agent:作为运行时故障模式的范围蔓延

Agent 修复了 Bug,然后继续运行——重构周围的代码、扩大范围、消耗大量 Token。这是一份关于在范围蔓延演变成静默故障模式之前,如何为 Agent 任务设计停止标准、步数预算和“完成”信号的指南。

agents
ai-engineering
reliability
prompt-engineering
·tian

故障复盘:根本原因竟是一个无人负责的提示词

一次生产事故追溯到了几周前修改的一个系统提示词(Prompt),由于当时没有 PR、没有审核人、也没有负责人。本文探讨了为什么提示词总是能绕过变更管理,以及如何在不降低迭代速度的前提下,将它们重新纳入审核流程。

insider
prompt-engineering
llmops
incident-response
+2
·tian

模型已到生命周期终点,并带走了你的提示词

模型弃用通知看起来只是一个单行配置更改,但你花费六个月调优的提示词是针对特定模型的特性而设计的,无法在切换后继续使用。应将模型生命周期终点视为一个带有可重复运行评估集的周期性迁移项目。

llm
prompt-engineering
model-migration
evaluation
+1
·tian

每次事故后你的系统提示词都会增长 —— 而且没人会删掉任何一行

每一个生产事故都会在你的系统提示词中留下一句防御性语句,而且从来没人会删掉它们。本文将探讨为什么提示词积聚是真实的技术债,以及如何通过日期标记、半衰期和消融实验来修剪它。

insider
llm
prompt-engineering
ai-agents
+1
·tian

AI 工程师的前 90 天:一份在六周文档失效期内依然有效的入职指南

一份为 AI 工程师准备的 90 天入职计划,用观摩 Eval 评审、受监督的 Prompt 差异比对和端到端裁判模型校准,取代陈旧的架构文档。

insider
ai-engineering
onboarding
evals
+2
·tian

按客户定制的提示词分支:为什么你的下一次模型迁移是 47 次迁移

针对每个客户的系统提示词定制会在不知不觉中累积,直到模型迁移那一天,单一供应商的版本弃用演变成了 47 个独立的重新验证任务。本文探讨了能够防止这种情况的“基础加覆盖”架构和审批规范。

insider
prompt-engineering
llm-ops
enterprise-ai
+2
·tian

Prompt 的 Pre-Commit Hooks:LLM 团队一直缺失的内环工具链

如今 Prompt 对行为的影响已经超过了代码,但大多数团队仍在使用 2008 年时代的工具进行评审。本文介绍了五种 pre-commit hooks —— 格式化工具、静态检查器、密钥与 PII 扫描器、冒烟评估以及缓存影响评估器 —— 旨在以应有的严谨态度对待 Prompt 的修改。

prompt-engineering
llm-ops
pre-commit
ci-cd
+1
·tian

Prompt 即文档:当系统 Prompt 成为唯一可信的交付物时

当 PM、支持团队和销售开始通过阅读系统 Prompt 来了解产品功能时,这既是一种褒奖,也是一种结构性失效。本文将介绍如何保留有效的部分并修复其余问题。

insider
ai-engineering
prompt-engineering
product-management
+1
·tian

Prompt 作者身份问题:三个角色同时编辑同一个文件

每个生产环境的系统 prompt 都有三个作者 —— 工程、产品和 ML —— 而且他们对什么是“变更”各执一词。这里有一套结构化的解决方案。

prompt-engineering
ai-engineering
team-process
code-review
·tian

Agent 内部的提示词图谱:无人绘制的跨提示词回归链

规划器中四个词的修改,会导致下游验证器的通过率波动三个百分点。解决方案是将你的 Agent 提示词组合视为微服务网格——关注图谱、边、契约、爆炸半径 PR 审查、逐边回归评估以及边负责人。

insider
ai-agents
prompt-engineering
evals
+2
·tian

过时的 Few-Shot 示例以及你的提示词仓库所忽略的半衰期

你系统提示词中的经典示例正在悄悄地教导模型一个已不存在的产品。评估分数之所以保持绿色,是因为评估集也随之腐化了。

ai-engineering
prompt-engineering
llmops
evaluation
·tian

工具 Schema 演进陷阱:当一个可选参数改变了你 Planner 的先验分布

在现有工具描述中新增一个可选参数,发布过程顺利,没有破坏任何调用者,也没有导致评估失败 —— 但由于 Planner 的先验分布发生了偏移,它悄无声息地让工具调用频率增加了两位数。为什么工具 Schema 需要语义化版本(SemVer)、频率基准,以及与系统提示词(System Prompt)同样严格的评估规范。

ai-engineering
agents
tool-calling
evals
+1
显示第 25–36 篇,共 164 篇