概要 タイトルの通りですが、勾配降下法を用いた深層学習による自然言語処理の流れをまとめました。 自分がPytorch×BERTを用いてモデル構築をしているので、各フェイズの説明ではそれらを例に出して説明します。 流れ 大まかに以下のような流れになります。 ①形態素解析 まず文章を形態素解析します。 形態素解析とは、文章を形態素(=意味を持つ最小単位)に分け、それらが品詞としてどれに当たるのか分類することです。日本語は英語など他の原語と比べると、単語間に空白がないため、単語の切り出しが難しく、形態素解析用のライブラリが必要になります。 有名なライブラリだとMecabがあります。 $ mecab こんにちは今日はいい天気ですね。 こんにちは 感動詞,*,*,*,*,*,こんにちは,コンニチハ,コンニチワ 今日 名詞,副詞可能,*,*,*,*,今日,キョウ,キョー は 助詞,係助詞,*,*,*,