跳到主要内容

2 篇博文 含有标签「open-weight-models」

查看所有标签

开放权重模型许可是你的团队尚未规划的合规雷区

· 阅读需 11 分钟
Tian Pan
Software Engineer

在 “开放权重”(open-weight)这个词中,“开放” 二字承担了极大的重任。当一名工程师从模型中心下载 safetensors 文件时,他们往往倾向于将这种行为归类为与 npm install lodash 相同的心理范畴 —— 拉取依赖、上线功能、继续下一步。但伴随这些权重而来的许可证很少是 Apache 2.0 或 MIT。它通常是带有可接受使用例外项、署名要求、衍生品命名规则以及用户数量阈值的自定义社区许可证,一旦你的产品变得流行,这些阈值就会改变合同条款。而且,加载器几乎不会强制执行其中任何一项。无论你是否遵守,模型都会运行。

这就是合规债务如何悄无声息地累积的。如果团队将许可证审查视为一次性的下载检查,那么公司就在为一项审计结果埋单,而该结果将在点击 “我同意” 的开发者离职多年后才会显现。解决方法不是在入口处设置更严格的采购门槛,而是将模型权重视为供应链的一种严谨做法,具备来源追溯、定期重新审查以及一份能够将每条已部署的推理路径追溯回其上游许可证的清单。

开源权重模型的生产实践:自托管何时真正优于 API

· 阅读需 10 分钟
Tian Pan
Software Engineer

每隔几个月,团队里就会有人转发一篇关于 Llama 或 Qwen 在某个基准测试上"媲美 GPT-4"的博客文章,然后不可避免地提出这个问题:"既然我们可以自己运行,为什么还要为 API 调用付费?"在草稿纸上算一算,这个数字看起来很有吸引力。但现实是,大多数尝试自托管的团队最终花费反而更多——不是因为模型不好,而是他们低估了模型之外的所有成本。

话虽如此,在某些特定场景下,自托管开源权重模型确实是明确正确的选择。关键在于认清你实际所处的场景,而不是你希望自己所处的场景。