ChatGPTなどのチャットAIがどんな風に文章をトークンとして認識しているのかが一目で分かる「Tokenizer」
OpenAIが開発したChatGPTをはじめ、さまざまなAIが人間レベルの会話を行ってくれるようになりました。AIは文章を読み書きするとき「トークン」という単位で認識を行うのですが、普通の文章がトークン的にはどのように分解されるのかを一目で教えてくれるツール「Tokenizer」がOpenAIのページ上で公開されています。 OpenAI API https://platform.openai.com/tokenizer Tokenizerの画面はこんな感じ。テキストを入力する必要がありますが、いったん「Show example」をクリックして例を見てみます。 英語の場合、252文字の文章で64トークンとなる模様。下部にて文字がトークンのまとまりごとに色分けして表示されています。 「TOKEN IDS」をクリックするとそれぞれの数値も確認できます。人間が見てもなにがなんだか分かりませんが、G
sangmin.eth @ChoimiraiSchool on Twitter: "ChatGPTに指示を出す際に「テンプレート文字列（${文字列}）」を利用すれば、より複雑なタスクを依頼することもできる。下記の例↓ではテンプレート文字列を使って、３つの質問を繋げている😊。… https://t.co/NpqhEWZa3d"
ChatGPTに指示を出す際に「テンプレート文字列（${文字列}）」を利用すれば、より複雑なタスクを依頼することもできる。下記の例↓ではテンプレート文字列を使って、３つの質問を繋げている😊。… https://t.co/NpqhEWZa3d
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
