ぐるなびデータ基盤の運用について - ぐるなびをちょっと良くするエンジニアブログはじめまして。データマネジメントグループ DMPチームの瀧澤と申します。趣味は映画鑑賞と自宅のスマートホーム化です。 ぐるなびではデータ基盤の構築・運用を担当しています。 今回は私が運用しているデータ基盤環境の概要や導入経緯、運用のTipsをご紹介させていただこうと思います。 ぐるなびでの導入経緯 過去環境からの変遷 現データ基盤環境の概要 Hadoopのエコシステムを利用 他システムとの連携 気軽に分析・集計ができる検証環境 構築作業説明 エコシステムバージョンアップ 注意した点〜入念にテストを実施 マスターノード移行 注意した点 構築作業でハマった箇所 Hiveのバージョンアップに伴うバッチ動作確認 Hiveの認証方式廃止問題 権限付与 なりすまし機能 コマンド 日々の運用 クラスタの運用について 自作のコンフィグ自動更新ツールによってファイル展開を容易にする 今後の展開 今後の環境
