scarapyの使い方がわかったところで、実際にWebサイトをスクレイピングしていきたと思います。 大量のテキストと言いますと、歌詞が思いつきますので、AKBの歌詞を取得していきたいと思います。 まずは歌詞を載せているサイトを見てみます。Googleで「歌詞 サイト」で検索してみたらこんな感じでした。 うたまっぷ(https://www.utamap.com/) 歌ネット(https://www.uta-net.com/) 歌詞ナビ(https://kashinavi.com/) 歌詞検索J-Lyric.net(http://j-lyric.net/) とりあえず、一番上に出てきたうたまっぷでAKBの歌詞を検索してみます。AKBと検索すると500曲以上出てきますので、ここのサイトで良さそうです。適当な曲を選んで、[検証]からソースコードを見てみます。 コード上には <!-- 歌詞 -->
![2018/8/1【39日目】スクレイピングする前に著作権について考えてみた - 毎日テキストマイニング](https://cdn-ak-scissors.b.st-hatena.com/image/square/78d5c51ca77ae76a18725feafc5f700a998917a6/height=288;version=1;width=512/https%3A%2F%2Fcdn-ak.f.st-hatena.com%2Fimages%2Ffotolife%2Fr%2Frimt%2F20180802%2F20180802014219.png)