近年、文章(プロンプト)を入力するだけで画像が生成されるAIに関心が高まっており、誰でも簡単に画像生成AIを利用できる環境が整いつつあります。しかし、実際にAIがどのようにプロンプトを読み込んでいるのかを理解するのは困難です。プロンプトがどうやってAIに入力されているのかを視認できるウェブアプリ「Tokenizer」を、画像生成AIサービスを提供するNovelAIが公開しています。 Tokenizer - NovelAI https://novelai.net/tokenizer Hugging Face Courseで学ぶ自然言語処理とTransformer 【part5】 https://zenn.dev/ttya16/articles/0e3e1bff645f161fb4d7 画像生成AIにプロンプトを入力するにあたって必要となるのは自然言語処理(NLP)です。自然言語処理とは、人間
![画像生成AIのためのプロンプト・呪文が実際にはどのようなトークンとして伝わっているかを見せてくれる「Tokenizer」](https://cdn-ak-scissors.b.st-hatena.com/image/square/b759382bb157617d58f64c266c15dc960cba7440/height=288;version=1;width=512/https%3A%2F%2Fi.gzn.jp%2Fimg%2F2022%2F11%2F12%2Fnovelai-tokenizer-nlp-token%2F00.png)