MPT-7B - オープンで商用利用可能なLLM｜npaka

以下の記事が面白かったので、簡単にまとめました。 ・Introducing MPT-7B: A New Standard for Open-Source, Commercially Usable LLMs 1. MPT-7B「MPT-7B」は、「MosaicML」が開発した、テキストとコードの1Tトークンでゼロから学習したLLMです。オープンソースで、商用利用可能で、LLAMA-7Bと同等の品質を持ちます。約20万ドル、人間介入なし、9.5日間、MosaicMLプラットフォームで学習しています。 2. モデル一覧ベースモデルに加えて、3つのファインチューニングモデルも提供しています。 2-1. MPT-7B (ベースモデル)「MPT-7B」は、6.7Bパラメータを持つベースモデルです。MosaicMLのデータチームが収集したテキストとコードの1Tトークンで学習しました。 ・ライセンス :