关键趋势
- 能力飞速提升:自 2018 年以来,LLMs 快速发展。
- 访问减少:从开放的论文、代码和权重转向仅限 API 的模型,限制了实验和研究。
为什么访问很重要
- 访问推动创新:
- 1990 年代:数字文本推动了统计 NLP。
- 2010 年代:GPU 和众包推动了深度学习和大型数据集的发展。
- 访问级别定义了研究机会:
- API:像认知科学家一样,测量行为(提示-响应系统)。
- 开放权重:像神经科学家一样,探测内部激活以实现可解释性和微调。
- 开源:像计算机科学家一样,控制和质疑系统的每个部分。
基础模型的访问级别
-
API 访问