“たとえば、「吾輩は猫である」という7文字のテキストが、人間には理解しにくい13トークン(＜0xE5＞＜0x90＞＜0xBE＞＜0xE8＞＜0xBC＞＜0xA9＞は＜0xE7＞＜0x8C＞＜0xAB＞である)に区切られてしまう”

ledsun のブックマーク 2024/01/14 09:32

<blockquote class="hatena-bookmark-comment"><a class="comment-info" href="https://b.hatena.ne.jp/entry/4747809188095534767/comment/ledsun" data-user-id="ledsun" data-entry-url="https://b.hatena.ne.jp/entry/s/news.mynavi.jp/techplus/article/20231221-2845669/" data-original-href="https://news.mynavi.jp/techplus/article/20231221-2845669/" data-entry-favicon="https://cdn-ak2.favicon.st-hatena.com/64?url=https%3A%2F%2Fnews.mynavi.jp%2Ftechplus%2Farticle%2F20231221-2845669%2F" data-user-icon="/users/ledsun/profile.png">東工大など、日本語に強い大規模言語モデル「Swallow」を無償で公開</a><br><p style="clear: left">“たとえば、「吾輩は猫である」という7文字のテキストが、人間には理解しにくい13トークン(＜0xE5＞＜0x90＞＜0xBE＞＜0xE8＞＜0xBC＞＜0xA9＞は＜0xE7＞＜0x8C＞＜0xAB＞である)に区切られてしまう”</p><a class="datetime" href="https://b.hatena.ne.jp/ledsun/20240114#bookmark-4747809188095534767"><span class="datetime-body">2024/01/14 09:32</span></a></blockquote><script src="https://b.st-hatena.com/js/comment-widget.js" charset="utf-8" async></script>

このブックマークにはスターがありません。
最初のスターをつけてみよう！

東工大など、日本語に強い大規模言語モデル「Swallow」を無償で公開

news.mynavi.jp2024/01/13

東京工業大学(東工大)と産業技術総合研究所(産総研)の両者は12月19日、現在公開されている中で、日本語に強い生成AIの基盤である「大規模言語モデル」(LLM)としては最大規模となる「Swallow」を、米・MetaのLLM「...

230 人がブックマーク・16 件のコメント

他のコメントを読む

＼コメントがサクサク読めるアプリです／

はてなブックマーク

東工大など、日本語に強い大規模言語モデル「Swallow」を無償で公開

はてなブックマーク

公式Twitter

はてなのサービス