どうもこんにちは。 Aidemy研修生の片岡(@ShotaroKataoka)です。 今回は小説をベクトルに変換して、自分好みの小説を見つけたいと思います。 [キーワード] 自然言語処理, データスクレイピング, 形態素解析, Doc2Vec, 階層的クラスタリング, 類似文書の検索 はじめに 背景 手法 環境構築 学習データの準備 データの取得 データの前処理 Doc2Vec Doc2Vecについての概要 Doc2Vecを使ってみる クラスタリング 階層的クラスタリングについて クラスタリングの実行 クラスタの分析・評価 クラスタのジャンル推定 ジャンル推定手法の改良 観測によるジャンルの推定 類似小説の検索 検索機能の実装 似ている小説を探してみる 未知の小説に適用してみる まとめ 結果について 考察・今後の展望 はじめに 背景 突然ですがみなさん、小説を無料で投稿できるサイトをご存知

「Aidemyユーザーにアウトプットの機会を持ってもらいたい」 そんな気持ちで生まれた#Aidemynote企画。今回は、なかでも秀逸だったものを分類してまとめました！ アジェンダは以下の通りです。 -【Aidemy初心者向け】Aidemyで勉強してみたnote -【Aidemy一通り勉強した人向け】実装してみたnote -エヴァンジェリストの活動note 【Aidemy初心者向け】Aidemyで勉強してみたnote -「AIプログラミングを学んでみよう」 まずはこれを読んでみよう！Aidemyを使うメリットってなに？ note.mu -Aidemyをやってみた感想 Aidemyの”ヤバい”点４つをわかりやすく解説してくれました。 note.mu -「有料化してもAidemyは利用価値ありか！？」 Aidemy課金すべきかしないべきか！？を考察した記事 https://note.mu/z2

Tweitter APIのkey取得 Twitterデータは、APIを使って取得します。APIを使用するために必要なkeyは以下の4つです。 ・Consumer Key ・Consumer Secret ・Access Token ・Access Token Secret これらのkeyを取得する手順の仕方については、以下記事でわかりやすくまとめられていますので、ご参照ください。 www.randpy.tokyo ツイートを取得する 以下のコードで、特定のユーザのツイートを取得します。 #今回使用するモジュール import neologdn import re import json from requests_oauthlib import OAuth1Session import requests import MeCab import pandas as pd import re

はじめまして、protonです。 数カ月前からやっと機械学習関係の勉強を始めましたが、思った以上に色々出来て面白くなってきたところです。 機械学習にはscikit-learn等の様々な便利なオープンソースライブラリがあり、それらを用いることでかなり簡単に実装することができます。 今回はあえて、scikit-learn等を使わずに独立成分分析(ICA)というものを実装し、音声データの分離をしてみました。 独立成分分析(ICA)とは？ 独立成分分析のアルゴリズム 準備 音源分離 結果 最後に 独立成分分析(ICA)とは？ 様々な人が話している中でも、自分が話している相手の会話は聞き取ることができるという現象は(おそらく)誰でも経験していると思います。 この現象をカクテルパーティ効果といい、人には音源の位置や周波数の差から特定の音抽出するような機能が備わっています。 この機構を模したアルゴリズム

自己紹介 みなさん、はじめまして。 Aidemy 研修生の 加藤正義 (加藤正義 (@Kato_Justice) | Twitter) です。昔はテレビ東大生として、時々バラエティ番組とかに出ていました。 〈●〉EYE-CATCH〈●〉 フィーチャリング関係で繋がった日本語ラッパーのコミュニティをグラフ化すると、以下のような構造をしている。 ノードの色は派閥を表し、媒介中心性が大きいほどノードのサイズが大きい。ラッパーの派閥は フリースタイルダンジョン組 KGDR + RHYMESTER + 愛国ラッパー達 (韻が固い) 独立したその他ユニット という具合で分かれた。 媒介中心性の最も高いラッパーはKEN THE 390だった。 ラッパーは好き嫌いが激しい 突然ですが、僕は日本語ラップが好きです。しかし、当のラッパー同士がお互いのことを無条件で好きかというと、どうやらそうではないようです。