SB Intuitions様が公開されたLLM(7B)を無料Colabで動かしてみた！｜smorce

途中段階とはいえ大変興味がありますので、早速動かしてみようと思います！ さすがに無料Colabで 65B のサイズは動かせないため、今回は 7B のモデルを動かしてみました！ 公開されたモデルは7種類ありました。 無料Colabで 7B LLM を動かす(ソースコード)!pip install accelerate get_ipython().kernel.do_shutdown(restart=True)import torch from transformers import AutoModelForCausalLM, AutoTokenizer, pipeline, set_seed model = AutoModelForCausalLM.from_pretrained("sbintuitions/sarashina2-7b", torch_dtype=torch.float16,