跳转到主要内容

834 含有标签「ai-engineering」

Posts tagged "ai-engineering" on TianPan.co.

查看所有标签

·tian

这场本该成为评测 (Eval) 的会议

“模型是否足够好?”的争论之所以反复出现且无法达成一致,是因为团队在依靠轶事案例进行争辩。本文将介绍如何将这种主观的发布争议转化为一套全团队共同遵守的常设离线指标。

insider
llm-evals
ai-engineering
shipping
+2
·tian

资历倒置:为什么当 Agent 加速时,你的资深工程师反而变慢了

Agent 让代码生成变得廉价,却让审查变得昂贵。成本落在了唯一无法扩展的资源上:资深工程师的判断力。本文探讨了负载为何会向他们集中,以及如何重新平衡。

insider
ai-engineering
engineering-management
code-review
+2
·tian

你的编程代理基于落后 Main 分支三周的代码版本重建的代码库索引

当编程代理的语义索引与其工作树发生漂移时,代理会基于已不存在的代码提出自信的主张 —— 而这种失败模式往往隐藏在看似平常的 PR 之中。

insider
ai-engineering
coding-agents
infrastructure
+1
·tian

服务商在 API 边界遵守但在缓存处违反的数据驻留契约

区域 API 终端节点承诺了你的请求去向,但未承诺满足该请求的缓存前缀字节存放地。可审计边界与缓存部署边界受不同的 SLA 约束 —— 而这一差距正是合规态势失效之处。

ai-engineering
data-residency
compliance
prompt-caching
+1
·tian

那个将你的系统提示词泄露到客户审计日志中的调试日志器

你的平台团队为了排查故障而添加的一个字段,最终出现在了租户的审计导出中 —— 这次泄露不需要任何攻击者,仅仅是两个“正确”的决定组合在了一起。

llm-security
observability
audit-logs
prompt-leakage
+1
·tian

权重并列语气与正确性的评估准则:如何悄无声息地筛选掉正确答案

将帮助性、清晰度、共情力和准确性进行等权重组合,会悄悄地奖励“模棱两可的错误”,而非“直截了当的正确”。本文将探讨为什么仪表盘显示一片大绿而产品质量却在倒退,以及如何设计评估准则模式,让优化梯度回到你预期的方向。

llm-evals
ai-engineering
judge-models
rubric-design
+1
·tian

那些被你的提示词工程师转变为生产环境 Few-Shot 示例的评估集

当提示词工程师将精心挑选的评估示例重新用作 Few-shot 演示时,一种团队级的数据泄漏正潜伏在指标不断攀升的评估仪表盘背后。本文将探讨为什么这种污染是隐形的,真正的独立性究竟需要什么,以及谁必须被赋予说“不”的权力。

insider
ai-engineering
evals
prompt-engineering
+1
·tian

被你的模型视为“约束性判例”的 Few-Shot 示例

Few-shot 示例并非中立的演示 —— 它们是“判例法”。模型会通过表面 Token 绑定到最接近的示例,并继承其约束,从而输出评估套件无法察觉的、充满自信的错误答案。

insider
llm
prompt-engineering
evals
+1
·tian

KV Cache 驱逐:供应商称其为“缓存压力”,而你的账单则称其为“双倍前缀费用”

Prompt 缓存看起来像是一种配置好的折扣,但在共享 LLM 基础设施上的 KV Cache 驱逐使其变成了一种概率性的折扣 —— 在不更改任何代码的情况下,同一个对话在繁忙时段的成本可能会高出数倍。

insider
prompt-caching
kv-cache
llm-cost
+2
·tian

当 On-Behalf-Of 悄然变成 Act-As:你的智能体继承的 OAuth 作用域陷阱

一个持有用户形态 OAuth 令牌的 AI 智能体正在冒充该用户,无论安全审查如何称呼它。提示词注入是如何将这一间隙演变为安全事件的,以及修复该问题的令牌级模式。

insider
security
oauth
agents
+2
·tian

用户还来不及核实多模态模型的结论,预签名 URL 就已过期

当资产时钟和结论时钟的运行速度不一致时,任何基于事实的多模态回答在日后回溯对话的人看来,最终都会像是凭空捏造。

ai-engineering
multimodal
observability
storage
·tian

那些悄然成为你唯一评测集阅读者的提示工程师

你的评测集只是一个文件,而使其具备可读性的判断力却存在于某个工程师的脑海中 —— 本文将探讨这种巴士系数如何在他们离职后才显现出来。

insider
evals
ai-engineering
team
+2
显示第 61–72 篇,共 834 篇