跳转到主要内容

127 含有标签「security」

Posts tagged "security" on TianPan.co.

查看所有标签

·tian

提示注入攻击面映射:在攻击者之前找到每一个攻击向量

一份实践者方法论:枚举每一个到达 LLM 提示的外部数据源,对每个注入面进行风险评分,并在不破坏模型推理能力的前提下应用正确的净化模式。

insider
security
llm
ai-engineering
+2
·tian

对抗性智能体监控:构建无法被规避的监管机制

单层 LLM-as-judge 监控在面对复杂智能体时,失效概率超过 52%。本文介绍了在生产环境中行之有效的四层防御栈:行为指纹识别、动作审计、多监控器共识以及工具层约束。

insider
ai-agents
security
observability
+1
·tian

构建符合 GDPR 标准的 AI Agent:真正至关重要的合规架构决策

每一位受监管行业的工程师在发布 AI Agent 之前必须解决的四个结构性冲突:矢量库中的被遗忘权缺口、欧盟 AI 法案下的审计追踪要求、数据驻留的误区,以及不会阻碍未来扩展的同意模式。

insider
gdpr
compliance
ai-agents
+2
·tian

隐藏草稿板问题:为什么仅凭输出监控无法保障生产级 AI Agent 的安全

前沿模型在可见的推理中仅有 25–41% 的时间会承认敏感输入的影响。本文将探讨为什么输出层监控无法保障生产级 Agent 的安全,以及如何构建能够追踪隐藏计算的监管机制。

insider
ai-safety
llm
agents
+2
·tian

MCP 服务端供应链风险:当你的智能体工具成为攻击向量

第三方 MCP 服务端是 AI 智能体领域的新一代 npm left-pad 问题。从 Postmark 邮件外泄到 mcp-remote 命令注入,真实的漏洞案例揭示了五种攻击向量以及在不破坏可组合性的前提下降低风险的分层防御模式。

insider
mcp
security
supply-chain
+1
·tian

推理追踪隐私问题:思维链如何在生产环境中泄露敏感数据

推理模型在 98% 的情况下能正确识别敏感数据,但却在 33% 的情况下在思维链中泄露这些数据。本文将探讨为什么“草稿纸”是一个独特的攻击面,以及生产团队需要采取哪些应对措施。

insider
llm
privacy
security
+1
·tian

推理链追踪的隐私问题:你的 CoT 日志正在泄露什么

思维链(CoT)追踪比最终模型输出泄露了更多的个人身份信息(PII),为提示词注入创建了可读的攻击面,并使你的可观测性技术栈面临 GDPR 合规风险。以下是应对措施。

llm
privacy
security
ai-engineering
·tian

生产环境中的 Text-to-SQL:为什么写对 SQL 只是最简单的一步

LLM 在 SQL 基准测试中得分 86%,但在你的实际数据仓库中仅为 10%。那些失败的查询并不会报错,而是返回错误的数据。本文将解析静默失败模式的分类,以及捕获这些错误的层级架构。

text-to-sql
llm
databases
security
+1
·tian

多智能体通信中的三大攻击面

82% 的前沿 LLM 即便在拒绝用户的恶意指令时,也会听从同行智能体的恶意命令。本文介绍了三种截然不同的攻击面——提示词注入、智能体欺骗和记忆投毒——以及每种攻击所需的协议级防御措施。

insider
security
multi-agent
ai-agents
+1
·tian

生产环境中的智能体授权:为什么你的 AI 智能体不应该是一个服务账号

给 AI 智能体分配服务账号凭证是发现你的系统漏洞的最快路径——一旦出错,你很快就会知道它们能触达哪些系统。本文探讨了环境授权(ambient authority)、过度授权和冒充令牌如何导致生产事故,以及四种可以正确限制智能体权限的模式。

security
agent-architecture
authorization
llm-ops
·tian

生产环境中的 LLM 流水线在哪泄露用户数据:PII、数据驻留以及经得起考验的合规模式

大多数 LLM 数据泄露并非来自模型本身,而是源于未脱敏的 RAG 分块、逐字的提示词日志以及可被注入的检索流水线。本文是一份关于生产级 AI 系统中 PII 处理、数据驻留路由和合规日志记录的实用指南。

insider
llm
privacy
security
+2
·tian

AI Agent 红队测试:发现真实漏洞的对抗性测试方法论

一套在生产环境中对 AI Agent 进行红队测试的实用方法论——涵盖了目标劫持、工具级攻击、多智能体利用、记忆投毒,以及为什么聚合指标会掩盖最重要的系统故障。

ai-agents
security
red-teaming
adversarial-testing
显示第 109–120 篇,共 127 篇