合成データがモデル構築をよりオープンにする〜MLタスクでのSDVによる合成データの有効性を検証する - Ledge Tech Blog

こんにちは。レッジのデータサイエンティストの松本です。 レッジでは、クライアント先に常駐してデータ・ドリブンな課題解決に取り組んだり、ダイナミックプライシングやNLP周りのアルゴリズムを受託開発したり、クライアント先へのBI導入の推進など、幅広くデータ利活用に関わる業務に取り組んでいます。 さて、今回はSDV(Synthetic Data Vault)による合成データで学習した機械学習モデルの有効性を検証します。 後述するように、個人情報を匿名化する手法であるk-匿名化や差分プライバシー基準の担保は実データの構造や特性を歪めます。 したがって、これらの匿名化技術を用いてデータサイエンス系のコンペ等でデータを提供してモデル構築の知見を得られたとしても、そのモデルを実データに適用すると精度が悪化してしまう可能性があります。 このようなデータ匿名化の課題を克服する手法がデータの合成です。 合成し