Doc2Vecを使って小説家になろうで自分好みの小説を見つけたい話 - Aidemy Blog
この記事は移転しました。約2秒後に新記事へ移動します。移動しない場合はココをクリックしてください。 どうもこんにちは。 Aidemy研修生の片岡(@ShotaroKataoka)です。 今回は小説をベクトルに変換して、自分好みの小説を見つけたいと思います。 [キーワード] 自然言語処理, データスクレイピング, 形態素解析, Doc2Vec, 階層的クラスタリング, 類似文書の検索 はじめに 背景 手法 環境構築 学習データの準備 データの取得 データの前処理 Doc2Vec Doc2Vecについての概要 Doc2Vecを使ってみる クラスタリング 階層的クラスタリングについて クラスタリングの実行 クラスタの分析・評価 クラスタのジャンル推定 ジャンル推定手法の改良 観測によるジャンルの推定 類似小説の検索 検索機能の実装 似ている小説を探してみる 未知の小説に適用してみる まとめ 結果
ディープラーニングで文章・テキスト分類を自動化する方法
※サンプル・コード掲載 1. あらすじ 人工知能という言葉が、昨今、ますます身近になってきており、Siriなどの対話システムも日々発達してきています。 また、人間の言語を人工知能に解釈させる対話システムの需要が増えると共に、NLP（自然言語処理）のニーズも日に日に高くなって来ています。 NLP分野では、画像処理系や、音声処理系と比較すると、まだ技術的なブレークスルーが起こっているという状況では無く、他の分野に比べて人工知能関連の技術適用は、限定的と言えるかもしれません。 しかしながら、NLPの分野でも、当然、機械学習は使用されますし、ディープラーニングをNLP分野に使おうとする動きも多く見られています。 今回は、その中で対話システムの制御等に使われる、入力文章の意図、主に対話カテゴリーの分類を、NLP、及び、機械学習を用いて、なるべくシンプルな手法で実装してみます。 文章のカテゴリー分類と
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
