SNSテキストから顔文字・絵文字・URLを抽出する - Qiita

この記事は，NTTドコモアドベントカレンダー第11日目の記事になります。 こんな人に読んでほしい 口コミやツイートの分析をしている人 顔文字・絵文字・URLを抽出するツールを探している人 自然言語処理に興味がある人 ※ 最後の付録で実装したソースコードを公開してます！ 1. はじめに 自然言語処理にとって前処理は非常に重要です。 特に、商品の口コミやツイートは顔文字やURLなどのノイズが多く、前処理しないままでは思い通りの分析ができません😇 そこで本記事では、SNSテキストから顔文字・絵文字・URLを抽出して削除/置換するための前処理方法について紹介したいと思います。 前処理例 2. 必要なもの ツール nagisa 顔文字・URLの検出に使います。日本語テキスト用の形態素解析ツールです。 参考記事： nagisa: RNNによる日本語単語分割・品詞タグ付けツール emoji 絵文字の検