ディープラーニングで文書分類（１） | developer's blog
はじめに 前回、前々回とSVM、ニューラルネットワークを使ったLivedoor Newsコーパス文書分類器を作成してきた。 今回からは、いよいよディープラーニングを使った文書分類器を作成してみたいと思う。ディープラーニングの中でも、畳み込みニューラルネットワーク (Convolutional Neural Networks: CNN) を使って、実装を行っていきたい。CNNと言うと、画像分類を思い浮かべる人が多いかと思われるが、最近はCNNを使った自然言語処理に関する研究も盛んになってきている。 まずは、文書分類に対してどのようにCNNを適用するのかを見ていきたい。 尚、CNN自体の説明は、ここでは行わない。 全体像 今回作成するモデルの全体像は、（いくらか省略はしているが）以下の図のようになる。 Livedoor Corpusの各文書をインプットに、畳み込み層（Convolution L
ディープラーニングで文書分類（２） | developer's blog
はじめに 前回ディープラーニング（CNN）を使って、文書分類を行う方法を示した。 今回は、前回示した方法を使って、Livedoor Newsコーパスをカテゴリー分類する分類器をTensorflowで実装していく。 全体像おさらい 今回作成するモデルの全体像は以下の図の通り。 詳細は前回の記事参照。 インプットデータの作成 Livedoor Newsコーパスの各文書を以下の図のような行列にする。 行=各文書の単語。行数を合わせる為に、500単語で区切っている。 列=各単語をWord2Vecで変換した100次元のベクトル。 models = { # ファイル名で当該文書の行列が取得できるようにする 'it-life-hack-6292880.txt':[ [-2.27736831e-01, -6.95074769e-03,...], # 旧式 [1.1219008 , -2.06810808,
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
