Azure Databricks で 高品質データを抽出してみました - Qiita

概要 SEが日々登録している工数データが、そのSEの月々の出勤日数の8割以上であれば、そのSEの工数登録データは正しいとみなす、つまりこのSEが登録しているデータは高品質であると仮定するための ベーステーブルを作成するための手順を説明します。なお、上記8割以上のところを、7割、6割、5割、、、、と判断値を変えることにより最終的な分析データの品質確認も行うことを想定しています。 その高品質データ登録SEを抽出するためのテーブル作成の手順イメージは以下となります。 １．対象となるデータを各々のメタデータからデータを抽出 ・工数登録データ : shima ・出勤データ : kintai ・等級データ : grade ２．出勤データを整形 ・SEの出勤データの必要項目の選択と等級データからのName情報の連結 ・その後、SE毎の月毎の出勤回数を取得 : ikentai ３．工数登録データのデータ登