エントリーの編集
エントリーの編集は全ユーザーに共通の機能です。
必ずガイドラインを一読の上ご利用ください。
gemma tokenizerとその他のtokenizer比較
記事へのコメント0件
- 注目コメント
- 新着コメント
このエントリーにコメントしてみましょう。
注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています
- バナー広告なし
- ミュート機能あり
- ダークモード搭載
関連記事
gemma tokenizerとその他のtokenizer比較
!pip install -U transformers !huggingface-cli login from transformers import AutoTokenizer tokeni... !pip install -U transformers !huggingface-cli login from transformers import AutoTokenizer tokenizer_llama2 = AutoTokenizer.from_pretrained("meta-llama/Llama-2-7b-hf") tokenizer_gemma = AutoTokenizer.from_pretrained("google/gemma-7b-it") tokenizer_llmjp = AutoTokenizer.from_pretrained("llm-jp/llm-jp-13b-v1.0") print('llama2: ', tokenizer_llama2.vocab_size) print('gemma: ', tokenizer_gemma.vocab_si