ゼロからデータ基盤構築をした時の失敗談：すべては要件定義できまる

こんにちは、IVRyでデータエンジニアとして働いている松田健司（@ken_3ba）です。趣味はビリヤードで、プロの試合にも出るぐらい割とガチでやっています。 ビリヤードが盛んな国はどこかご存知でしょうか。アメリカやヨーロッパが盛んなイメージかと思いますが、実はフィリピンや台湾といったアジアでも人気で、世界ランキング上位に複数います。日本にも世界で戦うスタープレイヤーの大井直幸プロがいて、応援しています！ 画像出典: SE11トーナメント | ビリヤードキューズ ビリヤードの話はこのへんにして、本題に入ります。 TL;DR ゼロからデータ基盤を作って踏んだ3つの失敗談（スナップショット設計／パイプライン連結／リアルタイム要件）を共有します ヒアリングは伝聞ではなく、データエンジニア自身がクライアントに出向くことで基盤の品質は大きく変わる 共通する根本原因は「要件定義の徹底不足」で、技術選定よ

[nguyen-oi]

｢リアルタイムで欲しい｣は地雷っていうのはデータ屋の共通認識。要件定義をサボると後で死ぬという教訓