記事へのコメント4

    • 注目コメント
    • 新着コメント
    teddy-g
    teddy-g OpenAIでAPI呼ぶ時にいつも調整で困るのがToken数。Tiketokenで概ね正確なToken数を把握することができる。

    2023/09/13 リンク

    その他
    misshiki
    misshiki “tiktoken は、OpenAI のモデルで使用する高速BPEトークナイザーです。”BPE=Byte pair encoding(バイト対符号化)でトークンを作っている。

    2023/05/08 リンク

    その他
    oooooooo
    oooooooo 名前の由来が気になる

    2023/03/28 リンク

    その他
    efcl
    efcl tokenizer

    2022/12/18 リンク

    その他

    注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています

    アプリのスクリーンショット
    いまの話題をアプリでチェック!
    • バナー広告なし
    • ミュート機能あり
    • ダークモード搭載
    アプリをダウンロード

    関連記事

    GitHub - openai/tiktoken: tiktoken is a fast BPE tokeniser for use with OpenAI's models.

    You signed in with another tab or window. Reload to refresh your session. You signed out in anoth...

    ブックマークしたユーザー

    • styrian2024/02/13 styrian
    • s-takaya10272023/11/19 s-takaya1027
    • teddy-g2023/09/13 teddy-g
    • el72023/08/09 el7
    • misshiki2023/05/08 misshiki
    • yuiseki2023/05/05 yuiseki
    • AKIMOTO2023/05/05 AKIMOTO
    • oooooooo2023/03/28 oooooooo
    • efcl2022/12/18 efcl
    • samurairodeo2022/12/16 samurairodeo
    すべてのユーザーの
    詳細を表示します

    同じサイトの新着

    同じサイトの新着をもっと読む

    いま人気の記事

    いま人気の記事をもっと読む

    いま人気の記事 - テクノロジー

    いま人気の記事 - テクノロジーをもっと読む

    新着記事 - テクノロジー

    新着記事 - テクノロジーをもっと読む

    同時期にブックマークされた記事