跳转到主要内容

94 含有标签「infrastructure」

Posts tagged "infrastructure" on TianPan.co.

查看所有标签

·tian

AI 应用的开发与生产环境一致性:预发布环境欺骗你的七种方式

预发布环境系统性地歪曲了 LLM 应用在生产环境中的表现。本文介绍了从 Prompt 缓存预热到隐蔽的流量分配漂移等七种特定的失效模式,以及发现这些问题的预发布检查方法。

llmops
production
testing
infrastructure
+1
·tian

除了大模型供应商:如何评估 AI 服务供应商

大多数团队会严密审查他们的大模型(LLM)供应商,但对其他服务却全凭感觉。本文提供了一个严谨的框架,用于评估防护栏供应商、嵌入服务商、可观测性工具和微调平台,并包含了能帮你规避商业模式风险的尽职调查标准。

ai-engineering
vendor-evaluation
production-ai
infrastructure
·tian

多租户 AI 系统:大规模场景下的隔离、定制与成本归因

如何在共享的 AI 基础设施中为多个客户提供服务,同时避免数据泄露、消除喧闹邻居效应,并精准追踪每个租户的成本支出。

ai-engineering
architecture
multi-tenancy
llm
+1
·tian

生产环境中的端侧 LLM 推理:何时选择边缘模型以及它们的实际成本

在 iOS、Android 和浏览器上运行 LLM 推理的隐私、延迟和离线优势——以及质量与体积的权衡、成本计算,以及在上线六个月后让团队深陷困扰的模型更新问题。

performance
infrastructure
mobile
edge-ai
+1
·tian

为具备代码编写能力的智能体构建沙箱:最小权限原则并非可选

仅靠 API 密钥范围限制是不够的。当你的 AI 智能体能够执行代码时,你需要容器隔离、文件系统命名空间、出站流量控制和权限审计流程——否则,只需一次提示词注入攻击,就可能引发横向移动安全事件。

insider
ai-engineering
security
agents
+1
·tian

LLM 应用中的 SSE vs WebSockets vs gRPC Streaming:那个稍后会让你头疼的协议抉择

探讨 SSE、WebSockets 和 gRPC streaming 在背压下的不同失效方式,分析哪些浏览器限制和边缘代理会在生产环境中引发故障,以及如何根据失效模式概览来选择你的传输协议。

llm
streaming
websockets
sse
+3
·tian

AI基础设施碳核算:你的团队尚未衡量的可持续发展成本

AI推理现在占全球排放量的2.5–3.7%,且每年增长15%。本文介绍如何衡量你的团队的贡献,以及为何这将成为合规问题,无论你是否提前规划。

ai-engineering
sustainability
infrastructure
observability
·tian

为生产环境选择向量数据库:基准测试不会告诉你的事

基准测试排行榜衡量的是错误的指标。这里有一套评估框架,能真正预测你的向量数据库是否能在生产环境中经受住考验。

vector-database
production
RAG
embeddings
+1
·tian

事件驱动的 Agent 调度:为什么 Cron + REST 调用无法胜任循环 AI 工作负载

Cron 是为运维脚本而生的,而非自主 Agent。本文剖析将其用于循环 LLM 任务时的失效场景,以及真正可行的消息队列架构。

insider
ai engineering
infrastructure
agent systems
+2
·tian

LLM 速率限制是一个分布式系统问题

LLM API 速率限制的行为类似于分布式锁 —— 批处理作业通过饥饿、队头阻塞和优先级反转,静默地使面向用户的流程陷入饥饿,而此时你的错误仪表盘依然显示正常。

llm
distributed-systems
rate-limiting
infrastructure
+1
·tian

LLM 供应商锁定的隐性迁移成本

API 兼容性只是冰山一角,更换 LLM 提供商的真实成本藏在提示词重写、评估重建和嵌入重索引中——这里梳理了模型切换后哪些东西能留下、哪些东西会消失。

insider
llm
production-ai
vendor-strategy
+2
·tian

多区域 LLM 服务:没人警告过你的缓存局部性问题

在不同区域部署 LLM 推理会产生无状态 HTTP 服务所没有的一致性和延迟问题。本文将介绍一种既能解决这些问题,又不会让你的运维负担增加三倍的路由架构。

insider
llm
infrastructure
mlops
+2
显示第 61–72 篇,共 94 篇