初心者が深層学習で小説の文章から感想を生成しようとした話 - Qiitaはじめに 小説の文章から内容を考慮した感想を自動生成したいと思い、ちょうど機会があったので挑戦してみました。半年ぐらいで「ゼロから作るDeepLearning」の１と２を一通り読み、残り半年で実装しました。せっかく頑張ったので記録用に書いてます。 作業の流れ 次のような順番で実装しました。 データ収集 データの前処理 学習 生成 これから順を追って説明していきます。 データ収集 学習するためには大量のデータが必要です。モデルには本文と感想をペアにして入力するので、小説の本文と感想をセットで入手する必要があります。今回は「小説家になろう」と「カクヨム」からスクレイピングして集めました。 小説家になろう 小説家になろうでは最近(2019年ぐらい？)から作品の一話ずつに感想が書き込めるようになりました。そこで本文ページとその感想ページを行き来するクローラーを作成しました。 作品ページ 本文ページ
