跳转到主要内容

27 含有标签「platform-engineering」

Posts tagged "platform-engineering" on TianPan.co.

查看所有标签

·tian

内部容量市场:在团队间分配稀缺的推理资源

当多个团队共享同一个推理池时,一个团队的评估扫描(Eval Sweep)可能会使另一个团队的生产环境对话系统陷入饥饿。借鉴大型机分时系统和 Borg 的优先级波段:本文将探讨优先级层级、抢占、费用回填,以及团队在何时应当获得专用容量。

insider
ai-agents
infrastructure
cloud-costs
+1
·tian

当 AI 卓越中心成为瓶颈时

AI 卓越中心初期能推动技术的落地,随后却悄然演变成了一个长达六周的排队窗口,导致所有人都避而远之。本文探讨了 CoE 过期的信号、哪些职能应转化为“铺就之路”,以及哪三个职能应始终保持中心化。

ai
org-design
governance
platform-engineering
·tian

谁在为 Token 买单?内部 LLM 平台的费用分摊与结算设计

免费推理会将你的 LLM 平台变成一场容量拍卖;而幼稚的按 Token 计费则会扼杀实验。采用账单展示优先的阶梯、工作单元定价,并将影子集成视为内部市场失效的信号。

ai-engineering
platform-engineering
finops
llm
·tian

你的内部平台的新首要客户是 AI Agent

AI Agent 正在成为内部 API 的主要消费者,且它们出错的方式与人类完全不同。如何为那些无法阅读文档或提交工单的客户设计工具。

insider
ai-agents
platform-engineering
developer-experience
+2
·tian

那个因无人负责而逃过租户删除清理的智能体记忆库

当所遍历的资产列表已过时,即使删除流程正确也无济于事。为什么每当发布一个无人申报的新持久化存储时,你的租户删除保证就在悄然失效。

insider
compliance
agent-memory
gdpr
+2
·tian

那个平台团队搭建却无人更新的模型注册表

模型注册表的晋级门槛只有在评审者拥有充足时间、独立证据以及一致的激励机制时才能发挥作用。大多数团队只完成了这套机制的前半部分,却忽略了其余部分,导致注册表沦为一种文书流水线,无论开发者交付什么都会被批准。

mlops
governance
platform-engineering
ai-safety
+1
·tian

客户无法复现的隐形个性化层

推理时个性化层虽然可以提升整体满意度,但通过注入客户无法读取、重置或在其评估套件中复现的隐藏状态,它依然会破坏 API 合约。

llm-api
reproducibility
personalization
platform-engineering
+1
·tian

上下文窗口是公地,而每个团队都在过度放牧

Agent 的上下文窗口是一种共享的、可耗尽的资源,且缺乏分配机制。本文将探讨为什么单个功能的增加在局部是合理的,但在全局却是毁灭性的,以及如何通过归因、配额和审计来进行治理。

context-engineering
ai-agents
llm
platform-engineering
·tian

AI 网关:那个没人点名的单点故障 (SPOF)

位于 LLM 供应商前端的这一层薄抽象,已成为你发布的每一项 AI 功能的承重控制平面。本文探讨了为什么它的爆炸半径现在已经超过了任何供应商的中断风险,以及随之而来的 SRE 规范。

ai-gateway
llm-infrastructure
sre
reliability
+1
·tian

内部工具代理:当你杠杆率最高的 AI 功能却零客户时

面向客户的 AI 功能占据了大部分预算,但你公司中杠杆率最高的 AI 投资却是那个无人运维的内部 Slack 机器人。这里有背后的数学逻辑、失败模式以及捕捉这些价值所需的纪律性。

insider
ai-engineering
internal-tools
productivity
+2
·tian

我们已经有了:当 AI 功能在重新造你已有的代码轮子

在成熟的公司中,大多数 AI 功能其实是在重复代码库中已有的逻辑。解决方法是在开发前进行审计,并采用一种组合模式,让模型成为备选路径而非首选路径。

insider
ai-engineering
legacy-code
architecture
+2
·tian

智能体组合审计:如何在不损害团队自主性的前提下,将15个独立智能体整合为统一平台

当独立构建的AI智能体数量超出你的治理能力时,你需要的不是更多智能体——而是一次审计。以下是整合操作手册。

insider
ai-agents
engineering-leadership
platform-engineering
+1
显示第 1–12 篇,共 27 篇
1 / 3下一页