StableLM 开源: Stability AI 发布可商用语言模型！

“A Stochastic Parrot, flat design, vector art” — Stable Diffusion XL^[1]

Stability AI^[2] 发布了一个新的开源语言模型，名为 StableLM^[3]。该模型的 Alpha 版本有 30 亿和 70 亿个参数，后续还将推出 150 亿到 650 亿个参数的模型。开发者可以自由检查、使用和调整 StableLM 基础模型，用于商业或研究目的，但需要遵守 CC BY-SA-4.0 许可证^[4]的条款。

CC BY-SA-4.0：署名-相同方式共享 4.0 国际 (CC BY-SA 4.0)

2022年，Stability AI 推出了 Stable Diffusion^[5]（了解更多：Stable Diffusion 入门篇），这是一种革命性的图像模型，代表了专有 AI 的透明、开放和可扩展的替代方案。随着 StableLM 模型套件的推出，Stability AI 正在继续使基础 AI 技术对所有人可用。StableLM 模型可以生成文本和代码，并为一系列下游应用提供支持。它们展示了小而高效的模型如何在适当的训练下提供高性能。

StableLM 的发布是基于 Stability AI 与非营利研究中心 EleutherAI^[6] 一起开源早期语言模型的经验。这些语言模型包括 GPT-J^[7]、GPT-NeoX^[8] 和 Pythia^[9] 套件，它们是在 The Pile^[10] 开源数据集上训练的。许多最近的开源语言模型继续建立在这些努力的基础上，包括 Cerebras-GPT^[11] 和 Dolly-2^[12]。

The Pile：是一个 825 GiB 的多样化开源语言建模数据集，由 22 个较小的高质量数据集组合而成。

GPT-J：模型由 Ben Wang 和 Aran Komatsuzaki 在 https://github.com/kingoflolz/mesh-transformer-jax 存储库中发布。它是在 Pile 数据集上训练的类 GPT-2 因果语言模型。该模型由 Stella Biderman^[13] 提供。

GPT-NeoX：该代码库记录了 EleutherAI 在 GPU 上训练大规模语言模型的库。目前的框架基于 NVIDIA 的 Megatron 语言模型^[14]，并添加了来自 DeepSpeed^[15] （了解更多：DeepSpeed Chat：一键搞定不同规模 ChatGPT 类模型训练！）以及一些新的优化技术。目标是使这个库成为一个集中且易于访问的地方，收集训练大规模自回归语言模型的技术，并加速大规模训练的研究。对于那些寻找 TPU 中心代码库的人，推荐使用 Mesh Transformer JAX^[16]。如果你不打算从头开始训练数十亿个参数的模型，那么使用该库可能是不正确的选择。对于通用推断需求，建议使用 Hugging Face transformers^[17] 库，该库支持 GPT-NeoX 模型。

TPU：张量处理单元（英文：Tensor Processing Unit，简称：TPU），也称张量处理器，是 Google 开发的专用集成电路（ASIC），专门用于加速机器学习。自 2015 年起，谷歌就已经开始在内部使用 TPU，并于 2018 年将 TPU 提供给第三方使用，既将部分 TPU 作为其云基础架构的一部分，也将部分小型版本的 TPU 用于销售。

StableLM 是在一个新的实验数据集上训练的，该数据集是在 The Pile 的基础上建立的，但规模是其三倍，包含了 1.5 万亿个 tokens 的内容。后续会发布有关该数据集的详细信息。这个数据集的丰富性使得 StableLM 在会话和编码任务中具有出人意料的高性能，尽管它的参数只有 30 亿到 70 亿（相比之下，GPT-3 有 1750 亿个参数）。

还发布了一组指令微调的研究模型。在最初这些微调模型将使用五个最近的开源数据集来进行对话代理人的微调：Alpaca^[18]、GPT4All^[19]、Dolly^[20]、ShareGPT^[21] 和 HH^[22]。这些微调模型仅供研究使用，根据斯坦福大学的 Alpaca 许可证^[23]，采用非商业 CC BY-NC-SA 4.0 许可证^[24]发布。

CC BY-NC-SA 4.0：署名-非商业性使用-相同方式共享 4.0 国际 (CC BY-NC-SA 4.0)

以下是 70 亿参数微调模型生成的示例：

承诺

语言模型将成为我们数字经济的支柱，Stability AI 也希望每个人都能在其设计中发表自己的声音。像 StableLM 这样的模型展示了我们所致力于透明、可访问和支持性人工智能技术的承诺：

• 透明：我们开源我们的模型，以促进透明度并建立信任。研究人员可以“查看内部结构”以验证性能，研究解释性技术，识别潜在风险并帮助开发安全保障措施。公共和私营部门的组织可以调整（“微调”）这些开源模型以适用于其自己的应用程序，而无需共享其敏感数据或放弃对其人工智能功能的控制。

• 可访问：我们为边缘设计，以便普通用户可以在本地设备上运行我们的模型。使用这些模型，开发人员可以构建独立的应用程序，与广泛可用的硬件兼容，而不是依赖于一两个公司的专有服务。通过这种方式，人工智能的经济利益由广泛的用户和开发者社区共享。对我们模型的开放、细粒度访问，使得广泛的研究和学术社区可以开发解释性和安全性技术，超越了封闭模型的可能性。

• 支持性：我们构建模型来支持我们的用户，而不是取代他们。我们专注于高效、专业和实用的人工智能性能，而不是寻求神一样的智能。我们开发的工具帮助普通人和普通公司使用人工智能解锁创造力，提高生产力，并开辟新的经济机会。

这些模型可在 GitHub 存储库（https://github.com/Stability-AI/StableLM）中使用。在不久的将来发布完整的技术报告，并期待与开发者和研究人员的持续合作，以推出 StableLM 套件。此外，将启动众包 RLHF（Reinforcement Learning for Humans）计划，并与 Open Assistant^[25] （了解更多：Open Assistant：开源聊天助手）等社区努力合作，创建用于人工智能助手的开源数据集。

原文地址：Stability AI Launches the First of its StableLM Suite of Language Models^[26]

References