1 含有标签「autoscaling」

在解码中途缩减至零的自动伸缩器：当推理被视作无状态网络流量时

一个成本驱动的缩容策略将一个 30 分钟的长上下文作业视为无状态的 HTTP 请求。Pod 在解码中途被回收，唯一的信号是一个小时后网关日志中的 499 错误。这篇复盘报告将自动伸缩重新定义为一个工作负载形态问题。