Human-in-the-loop を不動産名寄せタスクで実践してみた - estie inside blog

こんにちは！株式会社 estie でデータエンジニアを担当している fukushima です。 普段は主に、不動産データの整備・解析プラットフォームを設計・開発し、さまざまな建物情報を結びつけ、顧客に価値を届けられる形に整える仕組みづくりを進めています。 具体的には、dbt を使ったデータパイプラインの構築からメンテナンス、パイプライン周辺の機械学習モデル・ダッシュボード開発などです。データ品質を上げるためにできることに幅広く取り組んでいくことをミッションとして日々働いています。 1. 現在取り組んでいるプロジェクトの課題 estie のデータパイプラインにおける重要なタスクとして、様々なデータソースから来た建物データを 同一と見做せるものはまとめる 同一と見做せるものがなければ、新規の建物として登録をする というものがあります。（“名寄せ“ と呼ばれることが多い） このように表記揺れした