タグ

ブックマーク / tech.dclog.jp (3)

  • daemontoolsの利用法をいくつか

    こんにちわ、stoneです。 いままで、MySQL関連のご紹介をいくつかしてきましたが、今回は、少々切り口を変えて、daemontoolsについて、いくつかご紹介してみたいと思います。 daemontoolsのものすごく簡単な概要daemontoolsとは、プロセス監視を行ってくれるデーモンプロセスです。 監視対象のプロセスが、何らかの理由で落ちた場合、daemontoolsが自動的に再起動を行ってくれます。DECOLOGでは、qmail、memcached、keepalived、gearmand等のプロセス監視で利用しています。 daemontoolsそのものの詳しいことは、家サイトhttp://cr.yp.to/daemontools.html等を参照してください。 ディレクトリ構成daemontoolsは、/service/xxxxxxというディレクトリを見つけると、その下にあるr

  • Hadoopサーバーの増やし方、減らし方

    すべての地雷を踏む男leonです。 Hadoopカスタマイズをネタにブログを始めさせていただきました。 前回、Hadoopセットアップ手順を紹介させていただいたので、今回からカスタマイズ話をしたいと思います。 Hadoopのincludeファイル、excludeファイルにハマった・・・。 今日はそのお話をさせていただきます。 話を始める前にincludeファイル、excludeファイルとはなんですかを説明しないとですね。 このincludeファイルとexcludeファイルはサーバーのslave接続を終了させる際に、ノードからデータを退避して脱退させる為に使用します。 includeファイルはデータノードへの接続を許可されるデータノード、JobTrackerに接続可能なTaskTrackerのホスト名を記述するファイルです。includeファイルはdfs.hostsプロパティとmapred.

  • Hadoopのカスタマイズ

    はじめましてミツバチワークスleonです。TECHチームの一員としてブログ連載をさせていただく機会をいただきました。 テーマはHadoopカスタマイズにします。 Hadoopは既にstoneさんが現在の運用で使っているテクニックを記事にされています。そこで私はHadoopのカスタマイズについてご紹介させていいただくことにします。私自身がHadoop初心者ということもあり、私は初歩からスタートさせていただこうと思います。お付き合いのほどよろしくお願いします。 Hadoopとは?から始めるのが礼儀かと思いますが、そこはwikipediaなどにお任せします。ご容赦ください。 何はともあれ立ち上がっているサービスがないと話を始められません。そこで、最初の最初はHADOOPのセットアップ手順のご紹介です。 実際、弊社ではHadoopに十数台のサーバーを投入していますが、わかりやすいように最小限のサー

  • 1