エントリーの編集
エントリーの編集は全ユーザーに共通の機能です。
必ずガイドラインを一読の上ご利用ください。
記事へのコメント0件
- 注目コメント
- 新着コメント
このエントリーにコメントしてみましょう。
注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています
- バナー広告なし
- ミュート機能あり
- ダークモード搭載
関連記事
ご家庭用LLMでストリーミングする方法|shi3z
ネットで軽く探したけど書いてなかったのでご家庭用LLMを試す時にREPLでストリーミングしたい(なぜなら... ネットで軽く探したけど書いてなかったのでご家庭用LLMを試す時にREPLでストリーミングしたい(なぜなら長考に入ってしまうから)時に使うコード。 ELYZAのやつを例にするけど他も同じはず。 import torch from transformers import AutoModelForCausalLM, AutoTokenizer,TextIteratorStreamer B_INST, E_INST = "[INST]", "[/INST]" B_SYS, E_SYS = "<<SYS>>\n", "\n<</SYS>>\n\n" DEFAULT_SYSTEM_PROMPT = "あなたは誠実で優秀な日本人のアシスタントです。" model_name = "elyza/ELYZA-japanese-Llama-2-7b-instruct" tokenizer = AutoToken