自然言語処理とそのデータ前処理の概要 - Qiita

はじめに 機械学習のシステム化に際して、データの前処理に要する時間やリソースを考慮し、設計に活かすノウハウが求められています。 今回は、自然言語を対象としたデータ前処理の概要と、感情極性分析の実装例であるchABSA-datasetにおけるデータ前処理を題材とした性能検証結果を紹介します。 投稿一覧 自然言語処理とそのデータ前処理の概要 ... 本投稿 自然言語処理におけるデータ前処理の性能検証 本投稿の目次は以下です。 1. 自然言語処理とそのデータ前処理 1.1 自然言語処理とは 1.2 機械学習システムにおける自然言語処理のデータ前処理とは 2. 感情極性分析の前処理を題材とした前処理の例 2.1 自然言語処理のユースケース選定 2.2 取り扱う前処理の概要 2.3 データ量見積もり 2.4 前処理のためのOSS選定 2.4.1 分かち書き(単語分割)について 2.4.2 ベクトル化