跳转到主要内容

17 含有标签「ai-security」

Posts tagged "ai-security" on TianPan.co.

查看所有标签

·tian

间接提示注入:你以为处于惰性的数据平面

你的智能体将检索到的每个文档都视为惰性数据,但检索到的文本实际上是以系统提示词的权限运行的。本文将探讨间接提示注入的工作原理、为什么 EchoLeak 证明了它的存在,以及真正有效的防御手段。

insider
ai-security
prompt-injection
llm
+2
·tian

为权重签名:模型是供应链忽略的可执行文件

你的 CI 为容器签名并锁定包哈希,但决定产品行为的模型权重却在未经校验的情况下加载。pickle 后门、受污染的检查点(checkpoints)和开放的存储桶已成为被忽视的攻击面 —— 了解 OMS 签名、safetensors 和摘要锁定(digest pinning)如何填补这些安全漏洞。

insider
ai-security
supply-chain
mlops
+1
·tian

你的机密管理器在上下文窗口开始的地方终结

一旦凭证进入 LLM 的上下文,泄露便不可逆 —— 在轮换机制运行之前,它就已经被复制到了追踪日志、提示词缓存、内存存储、评估固件以及模型提供商的日志中。本文将探讨为什么工具边界是唯一的真实瓶颈,以及短效凭证如何有效限制爆炸半径。

ai-security
llm-agents
secrets-management
ai-engineering
·tian

你在供应商支持呼叫中通过屏幕共享泄露的系统提示词

系统提示词保护方案加固了应用程序边界,却忽略了屏幕像素。泄露面覆盖了你的工程师参与的每一次屏幕共享、Loom 录制和供应商支持呼叫。

insider
ai-security
llm-ops
operational-security
+1
·tian

CTO 已拨款但安全团队拒绝让你上线的 AI 功能

能够按时上线的 AI 功能会将安全威胁模型视为需求阶段的“形态约束”,而不是发布前的核对清单。这是一份面向工程领导者的安全左移指南。

insider
ai-security
threat-modeling
engineering-leadership
+2
·tian

继承了本不该看到的系统提示词的子智能体

多智能体框架中的默认上下文传播将每次子智能体的生成都变成了一种隐形的权限授予。解决方案在于移交协议、作用域凭据和追踪身份,而不是存在于提示词中。

multi-agent-systems
ai-security
agent-orchestration
privilege-escalation
+1
·tian

上下文长度是安全边界,而不仅仅是成本线

足够长的对话会将你的系统提示词埋在更新的 Token 之下,直到防护栏悄然失效。为什么上下文长度属于威胁模型——以及如何控制它。

insider
ai-security
llm
prompt-injection
+2
·tian

对话历史是信任边界,而非文本块

对话历史是多源反馈流,而非仅可追加的状态。为每一轮对话的来源打上标签,使用 HMAC 锚定用户回合,并将工具输出封装在信任区内 —— 否则你的 Agent 攻击面将随对话轮数线性增长。

insider
ai-security
agents
prompt-injection
+2
·tian

Prompt Cache 作为隐蔽信道:TTFT 探测泄露跨租户 Prompt

Prompt 缓存通过在租户间共享 KV 状态,可为缓存请求节省 80–90% 的开销——但也让首词延迟 (TTFT) 变成了一个侧信道,能以 92% 的准确率恢复其他客户的 Prompt。这是大多数团队尚未权衡过的成本与隔离之间的博弈。

insider
ai-security
llm-infrastructure
multi-tenancy
+2
·tian

无人测试的隐私边界:为什么“无状态”工具是 AI 时代的 IDOR

“无状态” AI 工具调用是如何通过共享缓存、向量库和记忆模块在租户之间悄悄泄露数据的 —— 以及如何在客户发现之前捕获这些问题的审计协议。

insider
ai-security
multi-tenancy
privacy
+2
·tian

输出即有效载荷:你的 AI 威胁模型只守住了一半边界

AI 威胁模型通常止步于模型本身,并将输出视为安全内容。间接提示词注入将渲染的 Markdown、结构化输出、生成的代码以及工具调用参数转化为攻击载荷——而真正值得防御的边界其实位于模型的下游。

ai-security
threat-modeling
llm-security
appsec
+1
·tian

80 问之墙:企业级 AI 安全调查问卷的真实需求

企业 CISO 现在针对 AI 开展专门的安全审查,涉及训练数据、提示词日志、租户隔离和拒绝行为等 80 多个问题。这是一份关于他们真实需求的实战指南。

ai-security
enterprise
compliance
procurement
+1
显示第 1–12 篇,共 17 篇
1 / 2下一页