Pythonでtiktokenを用いてトークンを数える
Pythonでtiktokenを用いてトークンを数えてみます。これにより、OpenAIのAPI呼び出しがいくらかかるかが概算でわかります。なお、OpenAIのAPIを利用する場合の料金はトークン単位。 今回はtiktokenを用います。このライブラリ・モジュールはPythonの標準ライブラリではありませんので事前にインストールする必要があります。 ■Python 今回のPythonのバージョンは、「3.9.9」を使用しています。（Windows11）（pythonランチャーでの確認） ■tiktokenを用いてトークンを数えるでは、早速tiktokenを用いてトークンを数えるスクリプトを書いていきます。 ■コードimport tiktoken def print_cl100k_encodings(example_string: str) -> None: encoding_name = "
Hugging FaceのAPIトークン（アクセストークン）を取得する
Hugging FaceのAPIトークン（アクセストークン）を取得することについて解説しています。 まずは、Webブラウザで、AIコミュニティ「Hugging Face」のアカウント登録（「Hugging Face Hub」）を行います。 その後、Log In（https://huggingface.co/login）から登録したメールアドレスとパスワードを入力欄に入力し、「Login」ボタンをクリックし、ログインを行います。 クリックするとログインが完了しますので、右上に表示されているアカウント画像（今回は初期設定）をクリックします。 クリックするとメニューが表示されますので、メニュー内から「Settings」をクリックします。 クリックすると「Profile Settings」などが表示されます。このページの左側にメニューが表示されていますので、メニューから「Access Tokens
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
