Doc2Vecを使って小説家になろうで自分好みの小説を見つけたい話 - Aidemy Blog
この記事は移転しました。約2秒後に新記事へ移動します。移動しない場合はココをクリックしてください。 どうもこんにちは。 Aidemy研修生の片岡(@ShotaroKataoka)です。 今回は小説をベクトルに変換して、自分好みの小説を見つけたいと思います。 [キーワード] 自然言語処理, データスクレイピング, 形態素解析, Doc2Vec, 階層的クラスタリング, 類似文書の検索 はじめに 背景 手法 環境構築 学習データの準備 データの取得 データの前処理 Doc2Vec Doc2Vecについての概要 Doc2Vecを使ってみる クラスタリング 階層的クラスタリングについて クラスタリングの実行 クラスタの分析・評価 クラスタのジャンル推定 ジャンル推定手法の改良 観測によるジャンルの推定 類似小説の検索 検索機能の実装 似ている小説を探してみる 未知の小説に適用してみる まとめ 結果
ディープラーニングで文章・テキスト分類を自動化する方法
※サンプル・コード掲載 1. あらすじ 人工知能という言葉が、昨今、ますます身近になってきており、Siriなどの対話システムも日々発達してきています。 また、人間の言語を人工知能に解釈させる対話システムの需要が増えると共に、NLP（自然言語処理）のニーズも日に日に高くなって来ています。 NLP分野では、画像処理系や、音声処理系と比較すると、まだ技術的なブレークスルーが起こっているという状況では無く、他の分野に比べて人工知能関連の技術適用は、限定的と言えるかもしれません。 しかしながら、NLPの分野でも、当然、機械学習は使用されますし、ディープラーニングをNLP分野に使おうとする動きも多く見られています。 今回は、その中で対話システムの制御等に使われる、入力文章の意図、主に対話カテゴリーの分類を、NLP、及び、機械学習を用いて、なるべくシンプルな手法で実装してみます。 文章のカテゴリー分類と
【期間限定】#今こそ学ぼう オンライン学習コンテンツ「無料公開」のご案内
新型コロナウィルス感染拡大に伴い不要の外出を控える社会人や学生のみなさまに向け、 JDLA認定プログラムを実施する事業者の協力を得て、一部のオンライン学習コンテンツを期間限定で無料公開いたします ＊2020年1月20日に「INTLOOP株式会社」の講座を追加しました ＊12月1日に「エッジテクノロジー株式会社」の講座提供期間を延長しました ＊5月19日に「スキルアップ株式会社」の講座期間定めなし、申込み方法追加しました ＊5月13日に「スキルアップ株式会社」の1講座を追加しました ＊5月1日に「Study-AI株式会社」の3講座を追加しました ＊4月27日に「NTTラーニングシステムズ株式会社」の1講座を追加しました ＊4月24日に「株式会社日経BP」の1講座を追加しました ＊4月17日に「エッジテクノロジー株式会社」の3講座を追加しました ＊4月9日に「株式会社キカガク」の1講座を追加し
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
