Stable Diffusionの開発で知られるAI企業Stability AIは、オープンソースの大規模言語モデル(LLM)「StableLM」を発表しました。 現在GitHubで公開中のアルファ版では30億パラメータと70億パラメータのモデルを提供。GitHubリポジトリで公開しています。150億パラメータから650億パラメータのモデルも提供する予定です。ライセンスはCC BY-SA-4.0で、商用または研究目的で利用できます。 GPT-3と比較して小規模なパラメータ数であるにも関わらず、「会話やコーディングのタスクで驚くほど高い性能を発揮する」という性能をうたう背景には、1.5兆トークンのコンテンツを含む、実験用データセットがあると説明しています。 StableLM with human feedback (RLHF) でファインチューニング(微調整)された研究モデル一式も公開。Al