OpenCALMでは日本語を前提としたトークナイザーを使っています。トークナイザーが違うと、そもそもトークン数※がかなり変化するわけです。

機械学習

isrc のブックマーク 2023/07/07 10:25

<blockquote class="hatena-bookmark-comment"><a class="comment-info" href="https://b.hatena.ne.jp/entry/4737164153331340965/comment/isrc" data-user-id="isrc" data-entry-url="https://b.hatena.ne.jp/entry/s/www.businessinsider.jp/post-270379" data-original-href="https://www.businessinsider.jp/post-270379" data-entry-favicon="https://cdn-ak2.favicon.st-hatena.com/64?url=https%3A%2F%2Fwww.businessinsider.jp%2Fpost-270379" data-user-icon="/users/isrc/profile.png">和製生成AIをサイバーエージェントが作る理由。“無償公開の狙い”をAI開発チームに聞く</a><ul class="comment-tag" style="list-style: none; margin: 0px;"><li style="float: left">[<a href="https://b.hatena.ne.jp/q/%E6%A9%9F%E6%A2%B0%E5%AD%A6%E7%BF%92">機械学習</a>]</li></ul><br><p style="clear: left">OpenCALMでは日本語を前提としたトークナイザーを使っています。トークナイザーが違うと、そもそもトークン数※がかなり変化するわけです。</p><a class="datetime" href="https://b.hatena.ne.jp/isrc/20230707#bookmark-4737164153331340965"><span class="datetime-body">2023/07/07 10:25</span></a></blockquote><script src="https://b.st-hatena.com/js/comment-widget.js" charset="utf-8" async></script>

このブックマークにはスターがありません。
最初のスターをつけてみよう！