redisのサービスへの投入
こんにちわ、ミツバチワークス stoneです。 今回は、前回、ベンチマークをとったredisをサービスに投入した、その方法について、ご紹介します。 1 redisのセットアップ 1.1 redisをインストールredisは、2.0.2を使用しました。 redisのインストールは、 # tar zxvf redis-2.0.2.tar.gz # cd redis-2.0.2 # make install ですんなり出来ました。 コンパイルされたバイナリは、/usr/local/bin/以下にコピーされています。 1.2 コンフィグDECOLOGでは、ApacheとMySQLを除いて、daemontoolsを利用して運用しています。 そのため、redisのコンフィグは、デフォルトのredis.confから、以下の項目を修正してあります。 (デフォルトのredis.confは、redis-2.0
Chefサーバーの容量不足になった時の対策メモ
はじめまして。hiroshiの部下、yoshitoです。 僕の主な仕事は、ここだけの話、hiroshiのゴキゲンをとることですが、稀にコードを書いたり、サーバーをいじったり、hiroshiの弁当を買ってきたりしています。 僕はとくに技術力が高いわけではなく、難しい事は他の方々がさくっとやってくれるので、僕はみなさんがゴキゲンよろしくお仕事ができるようにサポートしています。 技術的なものはあまり書けないと思いますが、社内の雰囲気をお伝えできればと思います。 しかし。 ネタが無いので、今回は技術ネタにしましたさーせん！！！！ ：Chefサーバーのディスク容量が増えすぎて困ったですの巻 以前の記事で紹介されているように、DECOLOGではChefというサーバー管理ツールを使ってサーバーを管理しています。 今回は、そのChefサーバーがディスク容量不足になってしまった時のことを紹介します。 DEC
Chefでサーバのセットアップ・管理作業を楽チンにしよう～実践編その１～
昨日1日ケータイでアラートメール以外に受け取った唯一のメールを紹介します。 「 この前はありがとう！！久々メッチャ楽しかった～ みんながいる前だったからちょっと恥らっちゃったけど、2人っきりだったら私も同じ気持ちだったょ（はぁと 恥ずかしいけど・・・ 次は2人っきりで会えませんか？？ 返事楽しみに待ってます（はぁと 」 「え？誰？誰？これ？」ってどんなに心当たりがないシチュエーションでも、とりあえずその可能性を記憶に見出そうとするのが男なんだなあ、と、スパム道の奥深さを知ったhiroshiです。 前回に引き続きChefについてです。 今回は、DECOLOGで実際に使っているrecipeや運用を紹介しながらの実践編です。 ※この記事の元になるChefのAPIのバージョンはv0.9.12です。 その前に、いろいろ準備します。クイックスタートあたりを読んでクイックに準備しましょう。 この辺は環境
Chefでサーバのセットアップ・管理作業を楽チンにしよう～構成編～
どうもhiroshiです。こんなに更新が早くてすみません。 今回もChefについてです。 前回の選定編に続いて、今回はChefの構成を見てみます。もちろんこれも「tommy report in Oct. 2010」からの抜粋です。 5/26 追記）この記事はv0.9.12に基づいてます。 Chefの構成の概要図 こんな感じです。 ツール群 <chef-server> 情報を集約して管理するサーバプロセス。各ClientとはJSON/RESTスタイルで通信する。 <chef-client> 設定を適用する各マシンにインストールされるデーモン。定期的にchef-serverをポーリングして、その内容に従ってレシピを実行する。 <chef-solo> サーバ無しでレシピを実行するツール。 <knife> chef-serverに登録されている情報の取得・変更を行うツール。切り刻むよ。 <webu
HadoopによるApacheのログ解析の実際
こんにちは、ミツバチワークス stoneです。 今日は、DECOLOGで行われている、Apacheのログ解析について、 ご紹介してみようかと思います。 現在、DECOLOGでは、リバースプロキシが8台あって、 その8台の1日のApacheのログは、全部で、200Gバイト以上になっています。 これを、13台のHadoopのスレーブノードで解析を行っています。 全体の流れとしては、 1) リバースプロキシからHDFSにログを転送 2) 解析用のサーバーで、HDFSにログの転送が終わるのを監視 3) ログの転送が終わったら、Hadoopを起動、解析 4) Hadoopの解析結果をデータベースに保存 以下では、各々のステップを個別に見て行くことにしますね。 1. リバースプロキシからHDFSにログを転送 当初、Hadoopのプロセスが立ち上がっていないと、HDFSにはアクセスできない、 と思い込ん
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
