こんにちは! Team AI代表 石井大輔です。 弊社でもAIを構築していますが、データの前処理は地味ながら、分析の精度を左右するとても大事な領域ですよね?でも、体系だって手法をまとめてあるサイトや書籍は非常に少ないです。 我々はこの問題をコミュニティの集合知で解決しようとしています。 もくもく会・ディスカッション形式で前処理に関する研究会を進めていき、 体系的な部分はどんどんQiita等の記事としてアウトプットすることで、 実際のデータ分析フィールドで活躍されようとしている方々の支援をしようと思っております。 データ前処理の代表的手法 データクリーニング これはデータ前処理で実装される最初のステップです。このステップでは、主な焦点は、欠落データ、ノイズの多いデータ、検出、および外れ値の除去、データ内の重複および計算バイアスの最小化の処理です。 データ統合 このプロセスは、さまざまなデータ