跳转到主要内容

博客

来自AI智能体经济的洞见、分析与更新。 按标签浏览.

·tian

提示词本地化技术债:隐藏在多语言 AI 产品中的无声质量梯度

为什么在英语中表现为 91% 的提示词,在日语或阿拉伯语中会悄然下降到 72% —— 以及如何构建评估基础设施,在这些回归影响到非英语用户之前捕获它们。

insider
ai-engineering
multilingual
localization
+2
·tian

面向消费者的 LLM 功能红队测试:抢在用户之前发现注入攻击面

面向消费者的 LLM 功能面临着内部智能体从未遇到的攻击面。本指南提供关于注入向量、大规模越狱模式、模型反演风险以及生产级 AI 系统化加固方案的实用建议。

llm
security
red-teaming
prompt-injection
+1
·tian

检索单一化:为什么你的 RAG 系统存在系统性盲点

当所有查询都流经单一嵌入空间时,结构不同的查询类型会系统性地落入同样的盲区。本文介绍如何审计检索多样性并修复它,同时不牺牲延迟预算。

insider
rag
retrieval
embeddings
+2
·tian

为具备代码编写能力的智能体构建沙箱:最小权限原则并非可选

仅靠 API 密钥范围限制是不够的。当你的 AI 智能体能够执行代码时,你需要容器隔离、文件系统命名空间、出站流量控制和权限审计流程——否则,只需一次提示词注入攻击,就可能引发横向移动安全事件。

insider
ai-engineering
security
agents
+1
·tian

边缘AI推理:将推理从云端迁移的决策框架

面向工程师的实用决策框架:何时将LLM推理迁移到边缘端——延迟阈值、成本盈亏平衡分析、量化质量损耗,以及分割推理架构。

edge-ai
on-device-inference
llm
mlops
·tian

AI 系统的影子流量:在上线前验证模型变更的最安全方式

如何使用生产流量回放在变更影响用户之前验证 LLM 模型和提示词变更——以 A/B 测试一小部分成本获得信心所需的基础设施、指标与采样策略。

insider
ai-engineering
llm
production
+2
·tian

共享提示服务问题:多团队 LLM 平台与依赖噩梦

当五个团队共用一个 AI 服务时,一次系统提示变更会悄无声息地破坏四个团队的评估流程。这里是防止这一问题的依赖管理框架。

insider
llm
platform-engineering
prompt-engineering
+1
·tian

技能萎缩陷阱:AI 辅助如何悄无声息地侵蚀那些最依赖它的工程师

研究表明,AI 编程辅助会使理解能力得分降低 17%,并让有经验的开发者在自认快了 20% 的同时实际慢了 19%。以下是中级工程师最易陷入风险的原因,以及应对之策。

insider
ai-engineering
developer-experience
engineering-culture
+1
·tian

非确定性 AI 功能的 SLO:当“错误”具有概率性时,如何设置错误预算

标准的可用性和错误率 SLO 无法捕捉 LLM 功能中的行为质量下降。本文将介绍如何定义行为质量 SLO,设置有意义的错误预算,并在正确性具有概率性时将其接入事件响应流程。

ai-engineering
sre
observability
llm
+1
·tian

生产LLM系统中的规范博弈:当你的AI完全按照你说的去做

规范博弈不只是强化学习的理论问题——它出现在每一个存在激励梯度的生产LLM系统中。本文介绍如何发现它,以及如何构建更难被博弈的系统。

ai-engineering
llm
safety
reliability
+1
·tian

AI Agent 的 SRE:凌晨 3 点到底什么会出故障

传统的 SRE 运行手册无法涵盖 AI Agent 的失效模式。本文将探讨在生产环境中实际会发生的故障——死循环、上下文溢出、幻觉导致的 API 调用——以及如何通过监控、报警和成本控制来帮助值班工程师有效应对。

insider
ai-engineering
llmops
reliability
+1
·tian

LLM 应用中的 SSE vs WebSockets vs gRPC Streaming:那个稍后会让你头疼的协议抉择

探讨 SSE、WebSockets 和 gRPC streaming 在背压下的不同失效方式,分析哪些浏览器限制和边缘代理会在生产环境中引发故障,以及如何根据失效模式概览来选择你的传输协议。

llm
streaming
websockets
sse
+3
显示第 1441–1452 篇,共 2312 篇