3. Pythonによる自然言語処理 1-2. コーパスの作成方法 : 青空文庫 - Qiita

自然言語処理の試行につけてはコーパス（まとまった量のテキスト）が必要になります。 しばしば利用させていただく『青空文庫』は、近代文学など著作権が切れた作品のテキストを公開しているインターネット上の図書館です。 自然言語処理の素材として『青空文庫』から作品を取得し、コーパス用に加工する手順を整理しておきます。 1. ファイルを取得して本文のみ抽出 ⑴ 各種モジュールのインポート re：Regular Expressionの略で、正規表現の操作をするためのモジュール zipfile：zipファイルを操作するためのモジュール urllib.request：インターネット上のリソースを取得するためのモジュール os.path：パス名を操作するためのモジュール glob：ファイルパス名を取得するためのモジュール ⑵ ファイルパスの取得 ここでは、宮沢賢治の『銀河鉄道の夜』を素材とします。 『青空文庫

[soulja_boy]

コーパス