跳转到主要内容
Tian Pan

Tian Pan

Software Engineer

查看所有作者

·tian

被你的模型视为“约束性判例”的 Few-Shot 示例

Few-shot 示例并非中立的演示 —— 它们是“判例法”。模型会通过表面 Token 绑定到最接近的示例,并继承其约束,从而输出评估套件无法察觉的、充满自信的错误答案。

insider
llm
prompt-engineering
evals
+1
·tian

离职工程师带走的微调产物

微调模型不仅仅是注册表中的一个文件;它是流水线在训练集上的闭包。那些只交付权重的团队,会在需要进行基础模型迁移而原工程师已经离职的那天,发现他们的公交车指数有多低。

mlops
fine-tuning
reproducibility
ml-engineering
·tian

JSON Schema 校验通过了,但下游消费者因语义漂移拒绝了你的输出

JSON Schema 验证的是数据的形状而非含义。当 LLM 升级导致在符合 Schema 的情况下数值分布发生偏移时,下游消费者会遭遇崩溃,而生产者的监控面板却依然显示正常。

insider
llm
structured-outputs
contract-testing
+2
·tian

KV Cache 驱逐:供应商称其为“缓存压力”,而你的账单则称其为“双倍前缀费用”

Prompt 缓存看起来像是一种配置好的折扣,但在共享 LLM 基础设施上的 KV Cache 驱逐使其变成了一种概率性的折扣 —— 在不更改任何代码的情况下,同一个对话在繁忙时段的成本可能会高出数倍。

insider
prompt-caching
kv-cache
llm-cost
+2
·tian

KV 缓存预热 Cron 任务只在蓝环境运行而从未进入绿环境,原因竟是主机绑定从未迁移

一次蓝绿部署导致固定在旧环境颜色的 Cron 任务孤立,Prompt 缓存变冷,账单悄然翻了三倍 —— 本文剖析了这一静默回归的始末,并提出了四个闭合缝隙的最佳实践。

insider
prompt-caching
blue-green-deployment
cron-jobs
+2
·tian

法律免责声明如何从答案泄露到工具调用参数中

添加到你的系统提示词中的安全免责声明并不仅仅停留在面向用户的回复中。它还会渗透进模型生成的每一个工具调用参数里 —— 并进入这些调用所触发的下游系统中。

llm-agents
prompt-engineering
compliance
tool-calling
+1
·tian

达成共识的 LLM-as-Judge 集成:只因评委都来自同一家族

一个由同一供应商家族构成的 LLM-as-judge 集成,测量的是家族内部的一致性,而非判断质量。所谓的高一致性评分,不过是某种无人提及的供应商选择偏差的产物。

llm-as-judge
evaluation
ensemble
bias
·tian

供应商移除的 Logprobs 字段如何静默地破坏了你的置信度路由

一个不再升级低置信度回答的置信度路由,导致该问题的供应商静默层级变更,以及响应结构契约、群体级告警和针对错误故障模式编写的回退机制是如何共同掩盖问题的。

insider
llm
observability
api-contracts
+2
·tian

供应商上调 max_tokens 默认值,导致你的尾部响应长度翻倍

一家 LLM 供应商悄悄调高了 max_tokens 的默认值,导致你的 p99 输出长度在一夜之间翻了一倍。那些你没有显式传递的参数,往往就是背后发生变化的配置 —— 本文将介绍如何停止继承那些你无法控制的默认设置。

insider
llm
api-design
production
+2
·tian

那些你的团队遗忘在后台且正使用生产环境凭据运行的 MCP 服务器

在一个运行着 CI 级别 OAuth 令牌的开发人员笔记本电脑上,MCP 服务器就是一个生产环境的攻击面。本文将揭示 DNS 重绑定、错误的绑定以及共享令牌是如何将一个被攻陷的浏览器标签页演变成部署密钥泄露的。

insider
mcp
security
oauth
+1
·tian

模型指标卡的基准测试:当你的合同引用该数字时,其方法论已发生偏移

基准测试数字是协议下的测量结果,而协议是由你的供应商控制的。请锁定方法论,或在合同中规定使用你自己的评估套件。

insider
llm
benchmarks
procurement
+2
·tian

供应商将你的模型标识符重定向到特定租户的微调模型,而其他人使用的却是基础模型

如果将 LLM 模型标识符视为权重的名称而非路由决策的标签,那么供应商可能会在评估套件仍保持“绿色”通过状态时,静默地将你的租户从微调模型切换回基础模型,导致客户最先察觉到问题。

insider
llm
evals
observability
+2
显示第 181–192 篇,共 2312 篇