欠損のままでも動くフレームワークも最近は増えていますが 欠損値の扱いは機械学習適用において難しい課題の一つです。 簡便的に平均値, 中央値, 最頻値などの統計量を代入する、Scikit-learnのAPIなどを使って、機械学習アルゴリズムで欠損を埋める, MICEで代入するなどの方法がありますが、この記事ではDeep Learningベースの欠損値補完ライブラリであるDataWigについて触れてみたいと思います。 欠損のタイプ[1] データの欠損には大きく3つのメカニズムがあるとされています。 MCAR(Missing Completely At Random ) : 完全にランダムな欠損で、ある値の欠損する確率が、その対象のデータと無関係(例:サイコロを振ってランダムに欠損させているような状況)であることを指します。データ数が十分確保できるのであれば欠損行を削除しても問題ないタイプです。
![Deep Learningを使った欠損値補完 DataWig](https://cdn-ak-scissors.b.st-hatena.com/image/square/21f61aa99ef1bec1455a0d5180db5d3a6a3db931/height=288;version=1;width=512/https%3A%2F%2Fres.cloudinary.com%2Fzenn%2Fimage%2Fupload%2Fs--Kzu6eeka--%2Fc_fit%252Cg_north_west%252Cl_text%3Anotosansjp-medium.otf_55%3ADeep%252520Learning%2525E3%252582%252592%2525E4%2525BD%2525BF%2525E3%252581%2525A3%2525E3%252581%25259F%2525E6%2525AC%2525A0%2525E6%252590%25258D%2525E5%252580%2525A4%2525E8%2525A3%25259C%2525E5%2525AE%25258C%252520DataWig%252Cw_1010%252Cx_90%252Cy_100%2Fg_south_west%252Cl_text%3Anotosansjp-medium.otf_37%3Aatfujita%252Cx_203%252Cy_121%2Fg_south_west%252Ch_90%252Cl_fetch%3AaHR0cHM6Ly9zdG9yYWdlLmdvb2dsZWFwaXMuY29tL3plbm4tdXNlci11cGxvYWQvYXZhdGFyLzI1YjI0ZWUyZGQuanBlZw%3D%3D%252Cr_max%252Cw_90%252Cx_87%252Cy_95%2Fv1627283836%2Fdefault%2Fog-base-w1200-v2.png)