CentOS 6.5 に Snorby と Suricata をインストール | みむらの手記手帳
どうもみむらです。 IDS というと Snort というイメージも多いかと思いますが、 ふと Google なページをさまよっていたら Suricata というものを見つけましたので、 これを入れてみようかと。 環境としては CentOS 6.5 で Hyper-V 環境。 Windows Server 2012 (Windows 8) 以降の Hyper-V であればポートミラーリングが使えますので その辺を使いつつ。 今回の環境では eth0 をミラーポートからのデータ受け付け用に eth1 を管理用に構築してみます。 参考にしたところ： http://n40lab.wordpress.com/2013/06/02/snorby-in-centos-6-4/ http://n40lab.wordpress.com/2013/05/31/installing-suricata-ids-f
18 Commands to Monitor Network Bandwidth on Linux server
Network monitoring on Linux This post mentions some linux command line tools that can be used to monitor the network usage. These tools monitor the traffic flowing through network interfaces and measure the speed at which data is currently being transferred. Incoming and outgoing traffic is shown separately. Some of the commands, show the bandwidth used by individual processes. This makes it easy
Scout Realtime·次世代のtopはWebで見る！ MOONGIFT
おお、これは格好いいぞ！ サーバのステータスを知りたかったら打つコマンドがtopです。リアルタイムに刻々と変わるサーバのステータスを“テキストベース”で確認できます。しかし時代はどんどんグラフィカルになっている中、未だにtopで良いのでしょうか。 そんな疑問を解決してくれるソフトウェアがScout Realtimeです。サーバのステータスをリアルタイムに、かつグラフィカルに表示してくれる新世代のtopコマンドです。 Scout Realtimeのスクリーンショット 表示例。CPU、メモリ、ディスク、ネットワークがグラフになり、さらにプロセスの一覧でもグラフが出ています。 Mac OSXでは/proc系の出力がないのでグラフが完全には出ません。 Scout Realtimeのインストール インストールはRubygemsで行います。 $ gem install scout_realtime 起
監視ソフトをNagiosからSensuに切り替えて2ヶ月経ったのでまとめた - Glide Note
新規サービス用の監視をNagiosからsensuに切り替えて2ヶ月経ったので、 導入時の調査で社内で公開してたissueと、投入して2ヶ月間運用した記録を公開しておこうと思う。 というか以前Sensuの事を書くと公言していたのに、すっかりサボっていて 昨日@ma0eさんのブログを見て下記のやり取りを思い出して急いで書いた… @ma0e We started using it. @glidenote will report the detail soon, I think. — kentaro (@kentaro) 2013, 10月 30 @kentaro @glidenote that would be nice — Mitsutoshi Aoe/maoe (@ma0e) 2013, 10月 30 導入環境はCentOS 6.4で、利用しているsensuのバージョンは0.12.1-1にな
これだけ見れば大丈夫！ーMySQLパフォーマンス監視のツボ（システム編）｜技術ブログ｜北海道札幌市・宮城県仙台市のVR・ゲーム・システム開発 インフィニットループ
これだけ見れば大丈夫！ーMySQLパフォーマンス監視のツボ（システム編） こんにちは nob です。 前編 これだけ見れば大丈夫！ーMySQLパフォーマンス監視のツボ（クエリ編） の記事から１年半が経過してしまいました。ちょっと長いお休みでしたが、その間に蓄えた MySQL パフォーマンス監視の実戦経験を（システム編）としてお届けいたします！ 今回の（システム編）で紹介するツボは 4 つです。（クエリ編）のツボに加えて、この4つに注目して頂ければ MySQL のパフォーマンス監視もバッチリです。 （ツボ１）Load Average < (1 + (cpu数-1)/3) （ツボ２）Checkpoint Age が水平線になったら要注意 （ツボ３）MyISAM は無いよね監視 （ツボ４）万能選手スローログ なお前編と同様この記事では監視ツールとして Cacti と Percona MySQL
Monitorix :: a free, open source, lightweight system monitoring tool
Welcome to the Monitorix project Take control over your small server Monitorix is a free, open source, lightweight system monitoring tool designed to monitor as many services and system resources as possible. It has been created to be used under production Linux/UNIX servers, but due to its simplicity and small size can be used on embedded devices as well. It consists mainly of two programs: a col
『cassandra運用監視小ネタ集』
はじめまして。サービスインフラというチームに所属している@oranieと申します。前回の弊社 佐野からCassandra芸人による他のネタも・・・という話があったのでこれ幸いとCassandraネタでお茶を濁そうと思っています。そもそも他にもネタを持っているエンジニアがいる中で僕に執筆依頼を出す時点で、なんて節操の無い寛容な人達だとビックリしました。多分ダーツかなんかで決めたんだと思います。 入社以来、なぜか弊社でデファクトとして使われているデータストアのMySQLにもほとんど触らず、ひたすらCassandra運用とか他には仕事チャット上で一人だけ勝手に盛り上あがって麻呂のAAを貼りつけたり等の社内ピエロ雑用をやっています。おかげさまでエキサイティングな日々を毎日送る事が出来た為、酒の量が一時期増えたのと多少は小ネタを覚えたのでまだ運用していない方に少しでも運用・監視周りのお役に立てれば幸
第5回 Fair Schedulerによる複数ジョブの同時実行 | gihyo.jp
今回のテーマは、Fair Schedulerを使った複数ジョブの同時実行です。1つのHadoopクラスタを使って複数のジョブを実行する際、どのようにクラスタのリソースを割り振るかが重要になります。複数のMapReduceジョブを同時に実行した際に、デフォルトの設定とFair Schedulerを使った場合で、どのような挙動の違いが生じるか、見ていきましょう。 HadoopのSchedulerとは？ MapReduceジョブを実行する際、Hadoopクラスタ上では、予め指定されたslot数だけ、同時にMapタスクやReduceタスクが実行されます。デフォルトでは、1つのTaskTrackerあたり、Mapのslot数がとReduceのslot数がそれぞれ2に設定されています。そのため、ノードが10台ある環境では、MapとReduceのタスクがそれぞれ20ずつ同時に動くことができます。通常、1
第1回 halookでHadoop/HBaseを可視化しよう | gihyo.jp
この連載では、HadoopやHBaseのトラブルを解決する手順をご紹介します。第1回目となる今回は、本連載のキーとなるツール「halook」を紹介します。「halook」はオープンソースで開発しているHadoop/HBase用の可視化ツールで、トラブルの発生を可視化して把握し、原因究明するために利用できます。まずは「halook」の概要から紹介します。 Hadoop、HBaseの難しさ Hadoopは大量データの保存と分散処理のために、数十台～数千台のマシンを扱います。そのため、何かトラブルがあったときに、どこに原因があるのか突き止めるのが難しい場合が多く、あるいは、そもそもトラブルが起こっていることに気付くのが遅れてしまうこともあります。たとえば、次のような点が挙げられます。 データは正しく分散配置されているか 処理は分散して実行されているか 設定ミスをしていないか 問題の報告の難しさ
halook -Hadoop・HBaseの可視化-
halookとは 大量のサーバで構成されるHadoopクラスタの状態把握にお困りではないでしょうか？ halookとは、当社が開発しているWGP、ENdoSnipeを用いて、Hadoop・HBaseの内部を直観的に見える化するツールです。 halookを利用することで、今まで多くの人手と時間が必要だった、問題個所の発見・解決が容易に行えます。 halookでは、HDFSのサーバごとの使用サイズ・空きサイズ、各タスクの状況、HBaseのRegion数などを見える化することができます。 (2012/11/08現在の機能です。) ニュース ■2013/02/05(火) 日経コンピュータにHadoopのシステム開発・運用を容易にする国産OSSツールとして、当社のhalookが紹介されました。 ■2013/01/22(火) 当社の落合が、Hadoop Conference Japan 2013 Wi
Hadoop／HBaseの内部動作を可視化するソフトウェア「halook」をOSSで公開
Hadoop内部の負荷状況などをグラフィカルに表示するOSSツールが登場。Javaプログラム解析ツールを流用し、HTML5などを駆使して内部の挙動を可視化する Acroquest Technologyは、2012年11月9日、Hadoop／HBaseの内部動作を可視化するソフトウェア「halook」をオープンソースソフトウェアとして公開した。CDH 3u4、3u5で動作確認済み。 Hadoopは分散処理を行うため、多数のノードを連携して動作する。データの処理が多数のノード、多数のプロセスで実行されるため、処理中に問題が発生した際の調査が非常に困難とされる。halookは、Hadoopシステムにおける障害や稼働状況そのものの可視化を実現している。可視化の対象は、並列処理タスク、Region、データノード。 HDFSのクラスタノード「DataNode」のデータの偏りを可視化する「HDFS Da
gangliaを導入してみました！
リソース監視はちゃんとしないとと思って、gangliaを入れてみました。 gangliaに関しては、 クラスタリングできる一覧性が優れてるプラグインがそれなりに豊富Nagiosとの連携が取りやすそうyumでサクッと入れられる(fedora16の場合)ってことで試用してみました。 gangliaは日本語のドキュメントがなくて大分苦労しました・・・・ ganglian自体の概要は@yuzorockさんのスライドに詳しく載っています！ CloudForecastも考えたのですが、fedora16でうまくperlのモジュールが動かず断念しました。 構築今回、監視+表示をするサーバーをホスト、監視される側のサーバーをクライアンとします。 gagliaはホストでgmetadとgmond、クライアントでgmondのデーモンを動かす必要があります。 ホストサーバーでマルチキャスト通信を使う場合はNICが2
ログからは見えてこない高負荷サイトのボトルネック : DSAS開発者の部屋
ちょうど１年前に「高負荷サイトのボトルネックを見つけるには」という記事を掲載していますが、この手のトラブルシューティングって結構大変で悩ましいですよね。はじめまして、新入りの@pandax381です。 ログからは見えてこないもの 「サイトの応答が遅い」という問題が発生した場合、その原因はどこにあるでしょうか。 Webアプリケーションの処理に時間が掛かっている DBサーバに投げたクエリーの応答が遅い サーバの処理能力を超えている などなど、いくつもの可能性があります。通常、上に挙げているような問題は、アプリケーションやサーバのログを調査することで、原因を突き止めることができます。 一方で、こういったログの調査だけでは、その原因にたどり着くことができなかったり、相当な苦労が伴うケースもあります。 あるサイトのある日の出来事 つい先日のことですが、KLabの運営している某ソーシャルゲームにて、サ
各種ネットワーク通信量をリアルタイムにグラフ化するフリーソフト「Yale」
HTTP・HTTPS・DNS・UDP・UPnP・POP3・FTP・HTTPProxy・Terminal Services・DHCP・IGMPといったネットワーク通信量とパソコンのCPU負荷率・ディスク動作を計測してリアルタイムにグラフ化できるのが「Yale」です。特定のネットワーク通信量だけを表示する設定も可能となっています。ダウンロードから操作方法までは以下から。 Yale::See network adapter usage - The SZ http://thesz.diecru.eu/content/yale.php ◆ダウンロード 上記サイトの「Download Yale.zip」をクリック。 ダウンロードしたZIPファイルをExplzhなどで解凍して、「Yale.exe」を起動。 ◆操作方法 起動後、画面右下に「Yale」が表示されます。 CPU負荷率・Disk動作・ネットワー
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Redis Fainaを使えるようにするためhomebrewでpythonをインストールする | Hack
Google Code Archive - Long-term storage for Google Code Project Hosting.
Kibanaでログ分析を1年続けてみたら業務システムの保守と運用が捗った / How&Why I have been leveraging Kibana for DevOps
ライブドア様ｘKLab合同勉強会 システムモニタリングツール「Ganglia」の紹介
GitHub - mynyml/watchr: Modern continuous testing (flexible alternative to Autotest)
fssm | RubyGems.org | your community gem host