注目の日本語大規模モデルLLM-JP 13Bを試す(JSON吐けた)｜shi3z

国立情報学研究所が作ったLLM-JP 13Bが公開されていたので早速試してみた。色々なモデルが公開されているが、全部盛りっぽい 「llm-jp/llm-jp-13b-instruct-full-jaster-dolly-oasst-v1.0」を試す。 マシンはもちろんドスパラ製Memeplexマシン(A6000x2)だ。 import torch from transformers import AutoTokenizer, AutoModelForCausalLM tokenizer = AutoTokenizer.from_pretrained("llm-jp/llm-jp-13b-instruct-full-jaster-dolly-oasst-v1.0") model = AutoModelForCausalLM.from_pretrained("llm-jp/llm-jp-13b

[misshiki]

“国立情報学研究所が作ったLLM-JP 13Bが公開されていたので早速試してみた。色々なモデルが公開されているが、全部盛りっぽい 「llm-jp/llm-jp-13b-instruct-full-jaster-dolly-oasst-v1.0」を試す。”

[lifefucker]

どれくらいのマシンスペックいるんだろう

[so-apps]

A6000×2でこの程度か。普通の個人が買えるようなモノじゃないし、性能的にもAPI使う方がいいな。

[shields-pikes]

なるほど。やはりLLMは、自分でもモデル作れた方が楽しいよな。この辺のハードルが今後どんどん下がって行くだろうなー。

[kei_1010]

おー