使っているとこの辺のパターンは肌感覚で分かる。知性は全く感じないけど、上手く調整(プログラミング)されているなぁと思える。ただ飽くまでもツールとしての精度が向上しただけの印象なんだよなぁ…

dazz_2001 のブックマーク 2023/04/07 11:16

<blockquote class="hatena-bookmark-comment"><a class="comment-info" href="https://b.hatena.ne.jp/entry/4734745344688231077/comment/dazz_2001" data-user-id="dazz_2001" data-entry-url="https://b.hatena.ne.jp/entry/s/gigazine.net/news/20230407-tokenizer-open-ai/" data-original-href="https://gigazine.net/news/20230407-tokenizer-open-ai/" data-entry-favicon="https://cdn-ak2.favicon.st-hatena.com/64?url=https%3A%2F%2Fgigazine.net%2Fnews%2F20230407-tokenizer-open-ai%2F" data-user-icon="/users/dazz_2001/profile.png">ChatGPTなどのチャットAIがどんな風に文章をトークンとして認識しているのかが一目で分かる「Tokenizer」</a><br><p style="clear: left">使っているとこの辺のパターンは肌感覚で分かる。知性は全く感じないけど、上手く調整(プログラミング)されているなぁと思える。ただ飽くまでもツールとしての精度が向上しただけの印象なんだよなぁ…</p><a class="datetime" href="https://b.hatena.ne.jp/dazz_2001/20230407#bookmark-4734745344688231077"><span class="datetime-body">2023/04/07 11:16</span></a></blockquote><script src="https://b.st-hatena.com/js/comment-widget.js" charset="utf-8" async></script>

このブックマークにはスターがありません。
最初のスターをつけてみよう！

ChatGPTなどのチャットAIがどんな風に文章をトークンとして認識しているのかが一目で分かる「Tokenizer」

gigazine.net2023/04/07

OpenAIが開発したChatGPTをはじめ、さまざまなAIが人間レベルの会話を行ってくれるようになりました。AIは文章を読み書きするとき「トークン」という単位で認識を行うのですが、普通の文章がトークン的にはどのよ...

224 人がブックマーク・11 件のコメント

他のコメントを読む

＼コメントがサクサク読めるアプリです／

はてなブックマーク

ChatGPTなどのチャットAIがどんな風に文章をトークンとして認識しているのかが一目で分かる「Tokenizer」

はてなブックマーク

公式Twitter

はてなのサービス