·tian
客户无法复现的隐形个性化层
推理时个性化层虽然可以提升整体满意度,但通过注入客户无法读取、重置或在其评估套件中复现的隐藏状态,它依然会破坏 API 合约。
llm-api
reproducibility
personalization
platform-engineering
+1·tian
供应商速率限制是你从未编写过的容量计划
当你的应用遇到 429 错误时,随后运行的重试代码便悄然成为了你的容量策略。应将速率限制处理视为有意识的负载脱落——包含优先级层级、抖动和调度器——而非无人审核的库默认设置。
rate-limiting
llm-api
capacity-planning
load-shedding
+1