Embulk+Digdagを利用して、個人情報を考慮したマスク処理を開発用DBに行う — みんなのウェディングエンジニアリングブログ

みんなのウェディングのインフラエンジニア横山です。 今回は開発用DBのマスク処理にEmbulk+Digdagを利用し始めた話について書きます。 開発用DBのマスク処理とは 弊社では、週次で本番DBのスナップショットから開発環境用DBを作り直しています。 これにより、常に本番環境と同じテーブル定義、データ量で開発を行うことができ、以下のようなメリットがあります。 本番にデプロイする前に、開発、ステージング環境で不具合を早期発見できる 実際に近いデータで、本番を想定した確認ができる ここで問題になってくるのが、ユーザの氏名やメールアドレスといった個人情報の扱いについてです。 開発用DBは本番DBのスナップショットから作成されているため、開発用DBにも本番DBの個人情報が入ってしまっています。 この状態で利用すると、以下にあげる問題が考えられます。 開発中の機能による、ユーザへのメール誤配信など

[Kiske]

社内で似たような話が出て自分ならこの構成でやるかなと思ってググったら先人がいた

[koheisg]

本番環境と開発環境のデータを近づける話は一般的になってきたけど、マスク処理が辛い。embulkはいかがでしょうか？という提案。良い。

[tmatsuu]

なるほど。ついついオレオレスクリプトでやっちゃったりするけど確かにembulkが良さそう。

[tofu-kun]

Embulk か

[kiririmode]

本番環境dbをマスクしたデータをつくる方法、embulkを使った方法おもいつかなかった

[d4-1977]

Emblulk と、 Digdag を使って 個人情報をマスクしたDB を開発環境向けに作る話です。