タグ

ブックマーク / zenn.dev/microsoft (1)

  • OpenAI 言語モデルごとのエンコーディング一覧

    はじめに 本家 OpenAI や Azure OpenAI Service で利用できる各言語モデルで使われているエンコーディングについて情報をまとめました。 エンコーディングとは OpenAI の言語モデルにおけるエンコーディングとは、テキストがトークンに変換される際の (トークナイズされる際の) ルールのようなものです。モデルによって使われるエンコーディングは異なります。 エンコーディングの種類 下記 4 種類のエンコーディングが存在しています。 エンコーディング コメント

    OpenAI 言語モデルごとのエンコーディング一覧
    endo_5501
    endo_5501 2023/03/18
    “一方、 cl100k_base ではユニコード文字でもある程度のフレーズを 1 トークンにまとめてくれる”それでgpt-3.5-turboになったらトークン効率良くなったとか言われてたのか
    リンク
  • 1

お知らせ

もっと読む

公式Twitter

  • @HatenaBookmark

    リリース、障害情報などのサービスのお知らせ

  • @hatebu

    最新の人気エントリーの配信

はてなブックマーク

公式Twitter

はてなのサービス

  • App Storeからダウンロード
  • Google Playで手に入れよう
Copyright © 2005-2024 Hatena. All Rights Reserved.