ジャンクノートパソコンにPythonと日本語LLMのRinnaを入れてメモリ16GBとSwapフルでローカル質問してみた。メモリ足りなくてもSwap積めばなんとかなる。ローカルLLM最高GPUがなくてもRinnaいけました。メモリさえ合計32GBあればなんとかなります。ZramやZwapつかって圧縮しても良いです。日本語ローカルLLMはやっぱりいいですね。高性能ハイエンドPCは動かすだけならいらないです。初心者向けの解説を入れました。
注目の日本語大規模モデルLLM-JP 13Bを試す(JSON吐けた)｜shi3z
国立情報学研究所が作ったLLM-JP 13Bが公開されていたので早速試してみた。色々なモデルが公開されているが、全部盛りっぽい 「llm-jp/llm-jp-13b-instruct-full-jaster-dolly-oasst-v1.0」を試す。 マシンはもちろんドスパラ製Memeplexマシン(A6000x2)だ。 import torch from transformers import AutoTokenizer, AutoModelForCausalLM tokenizer = AutoTokenizer.from_pretrained("llm-jp/llm-jp-13b-instruct-full-jaster-dolly-oasst-v1.0") model = AutoModelForCausalLM.from_pretrained("llm-jp/llm-jp-13b
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
