ぐるなびデータ基盤の運用について - ぐるなびをちょっと良くするエンジニアブログ
はじめまして。データマネジメントグループ DMPチームの瀧澤と申します。趣味は映画鑑賞と自宅のスマートホーム化です。 ぐるなびではデータ基盤の構築・運用を担当しています。 今回は私が運用しているデータ基盤環境の概要や導入経緯、運用のTipsをご紹介させていただこうと思います。 ぐるなびでの導入経緯 過去環境からの変遷 現データ基盤環境の概要 Hadoopのエコシステムを利用 他システムとの連携 気軽に分析・集計ができる検証環境 構築作業説明 エコシステムバージョンアップ 注意した点〜入念にテストを実施 マスターノード移行 注意した点 構築作業でハマった箇所 Hiveのバージョンアップに伴うバッチ動作確認 Hiveの認証方式廃止問題 権限付与 なりすまし機能 コマンド 日々の運用 クラスタの運用について 自作のコンフィグ自動更新ツールによってファイル展開を容易にする 今後の展開 今後の環境
Zabbixで作るサーバー監視環境（Zabbix 2.4対応版） | さくらのナレッジ
これらディレクトリで公開されているzabbix-releaseパッケージをダウンロードし、dpkgコマンドでインストールすることでZabbixのaptリポジトリが利用可能となる。 Zabbixサーバーのインストール Zabbixを利用するには、Zabbixサーバーと呼ばれるソフトウェアが必要だ。Zabbixサーバーは指定されたサーバーの監視を行うソフトウェアで、監視対象から取得したデータをデータベースに保存する。また、Webブラウザ経由で利用できるWebフロントエンドも提供される。管理者はこのフロントエンド経由で各種データを確認したり、Zabbixの設定を行える。まずはこのZabbixサーバーの構築方法について紹介しよう。 なお、今回はCentOS 7上でZabbixサーバーを稼働させる例を紹介する。Zabbixサーバーを利用するには別途データベースやWebサーバーが必要となるが、今回はC
LTSVフォーマットなログを fluentd + GrowthForecast で料理 - naoyaのはてなダイアリー
ここ数年のデータ解析の重要性の高まりから、ログに関するソリューションが方々で活発に探求されている昨今でございます。ウェブサーバーの単純なアクセスログをそのまま保存するではなく追加情報を添加してみたり、あるいはアプリケーションから直接ログを吐いてそれらをデータウェアに投げ込んで･･･というのも当然のように行うようになりましたね。 しかしあまり自由度のない access_log の combined フォーマット。さてどうしたもんか･･･ ここで id:stanaka の登場です。 Labeled Tab Separated Valueというのは、はてなで使っているログフォーマットのことで、広く使われているTSV(Tab Separated Value)フォーマットにラベルを付けて扱い易くしたものです。はてなでは、もう3年以上、このフォーマットでログを残していて、one-linerからflue
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
