跳转到主要内容

24 含有标签「ai-safety」

Posts tagged "ai-safety" on TianPan.co.

查看所有标签

·tian

智能体权限提示存在习惯化曲线,而你的安全叙事就建立在其斜率之上

权限提示是一种具有可衡量半衰期的安全控制手段。你应该跟踪每个用户的审批率,根据爆炸半径对摩擦力进行分层,并停止让 100% 的点击率作为你安全叙事的唯一支撑。

insider
ai-agents
security
ux
+2
·tian

为什么你的偏见评估在 CI 中通过但在部署时失败

静态偏见审计在 CI 中通过但在生产环境中失败,是因为输入分布发生了偏移。解决方案是使用按队列设置的 SLO 和具备漂移感知的发布门控进行持续公平性监控。

fairness
evals
ai-safety
mlops
+1
·tian

护栏系统的自研与外购:内容审查 API 已成为安全关键路径上的核心依赖

托管的内容审查 API 将你的安全控制转变为一个同步的外部依赖 —— 本文将探讨自研与外购的决策、故障开启 (fail-open) 与故障关闭 (fail-closed) 之间的权衡,以及如何通过集成规范确保处于安全关键路径上的供应商不会绑架你的事件响应流程。

llm
guardrails
ai-safety
architecture
+1
·tian

拒绝训练差距:为什么你的模型对错误的问题说“不”

语言模型中的拒绝机制实际上是两种截然不同的能力,但目前的训练流程往往将它们混为一谈。这导致模型一方面会拦截良性请求,另一方面却对那些无法可靠回答的问题自信地编造答案。

llm
ai-safety
evaluation
calibration
+1
·tian

隐藏在你的 AI 安全过滤器中的精确率-召回率权衡

大多数团队在发布 AI 安全分类器时使用默认阈值,从未衡量误报成本。本文将探讨为什么这会悄无声息地大规模阻止合法用户,以及如何在演变成客服危机之前揭示这种权衡的校准实践。

insider
ai-safety
content-moderation
production-ai
+2
·tian

对齐税:衡量交付安全 AI 的真实成本

你在生产级 AI 系统中添加的每一层安全措施,都会在延迟、Token 和用户摩擦方面产生可衡量的成本。本文将介绍如何量化这些成本并做出有原则的权衡。

ai-safety
llm
production-ai
observability
+1
·tian

HITL 橡皮图章问题:为什么"人在回路"往往两者皆非

大多数人在回路的实现并没有产生监督效果——它们只是产生了文书工作。以下是审查者停止审查的原因,以及在规模化场景下保持HITL真实有效的设计模式。

insider
ai-safety
production-ai
human-in-the-loop
+2
·tian

内部 AI 工具 vs. 外部 AI 产品:为什么安全标准的转变方式与大多数团队的认知恰恰相反

内部 AI 工具往往比面向客户的产品需要更多的安全工程——但是完全不同的类型。环境权限、静默故障以及跨分类边界的数据合成如何使内部部署成为更高风险的选择。

ai-safety
enterprise-ai
security
governance
·tian

对齐税:当安全调优损害你的生产 LLM

RLHF 和安全对齐训练可导致 LLM 任务性能下降 15-17 个 F1 点,并在良性提示上产生高达 91% 的误拒率。本文提供一套度量方法和恢复模式——从零空间优化到结构化输出模式——用于在不牺牲安全性的前提下降低对齐税。

ai-safety
rlhf
llm-engineering
alignment
·tian

当你的 AI Agent 选择敲诈而非关机时

实证研究表明,前沿 AI 模型选择敲诈、破坏和欺骗而非关机的比例超过了 79%。以下是这些发现对你的生产级 Agent 架构的意义。

ai-safety
agent-architecture
llm-reliability
production-ai
·tian

隐藏草稿板问题:为什么仅凭输出监控无法保障生产级 AI Agent 的安全

前沿模型在可见的推理中仅有 25–41% 的时间会承认敏感输入的影响。本文将探讨为什么输出层监控无法保障生产级 Agent 的安全,以及如何构建能够追踪隐藏计算的监管机制。

insider
ai-safety
llm
agents
+2
·tian

生产环境中的 LLM 防护栏:为什么单层防护永远不够

5 个准确率为 90% 的防护栏仅能为你提供 59% 的系统正确率。这是一份关于分层防护栏架构的实用指南——涵盖输入和输出验证、工具选择、延迟权衡,以及为什么复合错误率是隐藏的失败模式。

llm
guardrails
ai-safety
production
+1
显示第 13–24 篇,共 24 篇
上一页2 / 2