エントリーの編集
エントリーの編集は全ユーザーに共通の機能です。
必ずガイドラインを一読の上ご利用ください。
記事へのコメント1件
- 注目コメント
- 新着コメント
注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています
- バナー広告なし
- ミュート機能あり
- ダークモード搭載
関連記事
RubyでTokenizersを使う - Qiita
ChatGPTが流行して、RubyでOpenAI APIを呼び出したりするときに、Tokenが気になる人もいるかも知れない... ChatGPTが流行して、RubyでOpenAI APIを呼び出したりするときに、Tokenが気になる人もいるかも知れない。 そんなときのために、バインディングをAnkaneさんがちゃんとGemを作ってくれている。 こちらは、huggingface/tokenizers のRubyバインディングだ。 s = "In a hole in the ground there lived a hobbit." tokenizer = Tokenizers.from_pretrained("gpt2") ids = tokenizer.encode(s).ids tokenizer.decode(ids)
2023/03/02 リンク