自然言語処理のステップ①：「分かち書き」とは？

分かち書きとは？ 分かち書き（わかちがき）とは、読んで字のごとく、一つの文を小さい語のまとまりに「分けて」「書く」ことです。機械学習の現場では、自然言語処理を実行するときの最初のステップとして、分かち書きを行います。 自然言語処理というのは、人間の言語である「自然言語」をコンピュータで分析するための処理のことです。漢字にするといかめしいですが、今ここで読んでいる「この文字」や「あの文字」も、"Thank you!"も全て、自然言語です。 👉参考記事：『自然言語処理（NLP）とは何か？ 自然言語とプログラミング言語の違いを知ろう！』 自然言語は、コンピュータの言語である機械語や、その翻訳用言語であるプログラミング言語とは、言葉のルールや構成が大きく違います。 そのため、そのまま自然言語データをを分析しようとしても、コンピュータがうまく処理してくれません。 そこで登場するのが、機械学習の一分