形態素解析について調べたのでまとめました。 形態素解析とは Wiki 形態素解析 形態素(けいたいそ)とはおおまかにいえば、言語で意味を持つ最小単位。 文法的な情報の注記の無い自然言語のテキストデータから、対象言語の文法や、辞書と呼ばれる単語の品詞等の情報にもとづき、形態素の列に分割し、それぞれの形態素の品詞等を判別する作業である。 自然言語処理の分野における主要なテーマのひとつであり、機械翻訳やかな漢字変換など応用も多い。 使用イメージ1 文書分類、機械翻訳(リンク先スライド P12~21) 文書中の文章を形態素解析で分解してタグ付けし、文書を分類 文章を形態素解析で分解して翻訳 使用イメージ2 形態素解析、bowによるベクトル化 '私達はラーメンがとても大好きです。' '私達は蕎麦がとても大好きです。' 上記二つの文章を bag of the words によるベクトル化をすると以下の
![自然言語処理の形態素解析について調べたまとめ](https://cdn-ak-scissors.b.st-hatena.com/image/square/22a440f6966cbb1320541653128eb7cb4ec845c4/height=288;version=1;width=512/https%3A%2F%2Fres.cloudinary.com%2Fzenn%2Fimage%2Fupload%2Fs--EpU8QjDd--%2Fc_fit%252Cg_north_west%252Cl_text%3Anotosansjp-medium.otf_55%3A%2525E8%252587%2525AA%2525E7%252584%2525B6%2525E8%2525A8%252580%2525E8%2525AA%25259E%2525E5%252587%2525A6%2525E7%252590%252586%2525E3%252581%2525AE%2525E5%2525BD%2525A2%2525E6%252585%25258B%2525E7%2525B4%2525A0%2525E8%2525A7%2525A3%2525E6%25259E%252590%2525E3%252581%2525AB%2525E3%252581%2525A4%2525E3%252581%252584%2525E3%252581%2525A6%2525E8%2525AA%2525BF%2525E3%252581%2525B9%2525E3%252581%25259F%2525E3%252581%2525BE%2525E3%252581%2525A8%2525E3%252582%252581%252Cw_1010%252Cx_90%252Cy_100%2Fg_south_west%252Cl_text%3Anotosansjp-medium.otf_37%3Akoji%25252F%2525E3%252583%2525A1%2525E3%252582%2525AC%2525E3%252583%25258D%2525E7%252594%2525B7%252Cx_203%252Cy_121%2Fg_south_west%252Ch_90%252Cl_fetch%3AaHR0cHM6Ly9zdG9yYWdlLmdvb2dsZWFwaXMuY29tL3plbm4tdXNlci11cGxvYWQvYXZhdGFyLzY4ZjAyMjc2ZjQuanBlZw%3D%3D%252Cr_max%252Cw_90%252Cx_87%252Cy_95%2Fv1627283836%2Fdefault%2Fog-base-w1200-v2.png)