“一方、 cl100k_base ではユニコード文字でもある程度のフレーズを 1 トークンにまとめてくれる”それでgpt-3.5-turboになったらトークン効率良くなったとか言われてたのか

endo_5501 のブックマーク 2023/03/18 21:57

<blockquote class="hatena-bookmark-comment"><a class="comment-info" href="https://b.hatena.ne.jp/entry/4733464902503140068/comment/endo_5501" data-user-id="endo_5501" data-entry-url="https://b.hatena.ne.jp/entry/s/zenn.dev/microsoft/articles/3438cf410cc0b5" data-original-href="https://zenn.dev/microsoft/articles/3438cf410cc0b5" data-entry-favicon="https://cdn-ak2.favicon.st-hatena.com/64?url=https%3A%2F%2Fzenn.dev%2Fmicrosoft%2Farticles%2F3438cf410cc0b5" data-user-icon="/users/endo_5501/profile.png">OpenAI 言語モデルごとのエンコーディング一覧</a><ul class="comment-tag" style="list-style: none; margin: 0px;"><li style="float: left">[<a href="https://b.hatena.ne.jp/q/ai">ai</a>]</li></ul><br><p style="clear: left">“一方、 cl100k_base ではユニコード文字でもある程度のフレーズを 1 トークンにまとめてくれる”それでgpt-3.5-turboになったらトークン効率良くなったとか言われてたのか</p><a class="datetime" href="https://b.hatena.ne.jp/endo_5501/20230318#bookmark-4733464902503140068"><span class="datetime-body">2023/03/18 21:57</span></a></blockquote><script src="https://b.st-hatena.com/js/comment-widget.js" charset="utf-8" async></script>

このブックマークにはスターがありません。
最初のスターをつけてみよう！