［文章生成］スクレイピングで青空文庫からデータを取得してみよう

今回の目的 前回までは画像処理についていろいろと試してきました。今回からは数回に分けて、自然言語処理（Natural Language Processing）について学んでいく予定です。ここ数年、機械学習の世界においてはTransformerやGPT-x、BERTなどなど、さまざまな技術が生み出されて、自然言語処理の分野が活況を呈しています。その適用領域も翻訳、文章の要約、感情分析、チャットボットなどなど、幅広いものです。 そうした中で、取りあえず今回からは青空文庫から著作権の切れた作品を学習データとして、文章生成を行うことを目的として、自然言語処理にまつわるさまざまな要素を学んでいくつもりです。

[knok]

青空文庫とかWikipediaとか、わざわざ別にダンプなどをとれるところからスクレイピングという負荷をかけるやりかたをしてあげないでほしい https://github.com/aozorabunko/aozorabunko

[satoshihirai1]

スクレイピングなら、Webスクレイピングツールも体験してください。https://jp.scrapestorm.com/tutorial/web-scraping-5-software-scraping-tools/

[misshiki]

スクレイピングの初歩として学ぶとよいかなと思います。

[TakamoriTarou]

「プレーンテキストを手に入れられますが、筆者の趣味でXHTMLファイルをここでは使う」こう言う発想で記事を作る輩が世の中の効率を悪くしてるんだろうなーと言う感想です