はじめに 一年前にこんな記事を書きました。未だにちょくちょくいいねを頂いているので、自然言語処理の練習を兼ねて久しぶりに遊んでみた系の記事を投稿しようと思います。 やったこと 歌詞データのクローリング Mecabによる分かち書き tf-idfによるベクトル化 ベクトル化した歌詞によるアーティストのクラスタリングとUMAPでの可視化 (おまけ) fastTextでハチ=米津玄師を見分けられるのか? 分析にはJupyter Labを用いました。 歌詞データ 今回用いる歌詞データについて説明します。 クローリングで取得 先立って歌詞データのクローリングをしました。とある人気アーティスト順に歌詞を取得できるサイトより、45人のJ-popアーティストにつき、最大50曲分の歌詞を取得しCSVに保存しました。 実際にクローリングに用いたコードを公開するのもどうかと思うので、ここでは割愛します。。。Bea
![AIはハチ=米津玄師を見破れるか ? -J-popアーティストの歌詞を分析してみた- - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/bbeea857c01552a938a9d555a359a1091d677419/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Farticle-ogp-background-9f5428127621718a910c8b63951390ad.png%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTkxNiZ0eHQ9QUklRTMlODElQUYlRTMlODMlOEYlRTMlODMlODElM0QlRTclQjElQjMlRTYlQjQlQTUlRTclOEUlODQlRTUlQjglQUIlRTMlODIlOTIlRTglQTYlOEIlRTclQTAlQjQlRTMlODIlOEMlRTMlODIlOEIlRTMlODElOEIlMjAlM0YlMjAtSi1wb3AlRTMlODIlQTIlRTMlODMlQkMlRTMlODMlODYlRTMlODIlQTMlRTMlODIlQjklRTMlODMlODglRTMlODElQUUlRTYlQUQlOEMlRTglQTklOUUlRTMlODIlOTIlRTUlODglODYlRTYlOUUlOTAlRTMlODElOTclRTMlODElQTYlRTMlODElQkYlRTMlODElOUYtJnR4dC1jb2xvcj0lMjMyMTIxMjEmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9NTYmdHh0LWNsaXA9ZWxsaXBzaXMmdHh0LWFsaWduPWxlZnQlMkN0b3Amcz1hMWQxZjhiMjkxMDNlNjU1YTY1YTUxNDBkMzg5Yjc4Zg%26mark-x%3D142%26mark-y%3D112%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTYxNiZ0eHQ9JTQwa2F6dXlhLW4mdHh0LWNvbG9yPSUyMzIxMjEyMSZ0eHQtZm9udD1IaXJhZ2lubyUyMFNhbnMlMjBXNiZ0eHQtc2l6ZT0zNiZ0eHQtYWxpZ249bGVmdCUyQ3RvcCZzPTU3NjFkODNjYzMzYzRmOWMwMGM5YTRmZTE4ZjQ2NzRj%26blend-x%3D142%26blend-y%3D491%26blend-mode%3Dnormal%26s%3Df6115efac2d3169613daaf38d50f7cc2)