Snowflake上のデータ利用状況を可視化するツールをStreamlitで試作した話 - KADOKAWA Connected Engineering Blog

KADOKAWA Connected / ドワンゴの @saka1 です。最近はデータ基盤の保守等に携わっています。 今回はStreamlitというWebアプリケーションフレームワークを使い、Snowflake上のテーブルの利用状況を測定するダッシュボードを作ってみました。 データの需要はいつの間にか変化している問題 データ活用を進めるためには、データの整備が必要です。無いデータは分析できないので……。一方で、ただデータを基盤上に整備するだけだと、そのデータがどれぐらい有用なのかは判断が難しいです。 整備当初は有用でみんなが見ていた（かもしれない）テーブルも、しばらく経つと人気がなくなっていることがあります。 ひどい時には、実は誰も見ていないデータを導出するためのデータパイプラインを、エンジニアが必死でお守りしている事さえあるかもしれません。 データの整備というとき、ただデータを増やしてビ