Sallowは東工大と産総研による大規模言語モデル(LLM)です。 Sallowを動かしてみたいという高校生の依頼により調べてみたところ、有料のGoogle Colab Proを使ってGPUが十分に利用できるようにしておく必要があるようでした。 しかしながら、やはり無料で試してみたいということで動くかどうかやってみました。 Colabの無料枠ではT4というGPUが選択されますが、最小モデルである7b-instructというモデルを使えば、サンプルは無事動きました。 コードはDr.(Shirai)Hakase しらいはかせ による以下のコードを利用させて頂きました。 https://github.com/aicuai/GenAI-Steam/blob/main/20231220_SwallowLLM.ipynb githubのトップにあるOpen in Colabでノートブックを開きます。