RVMでRuby2.0をCentOS6にインストールする - オープンソースこねこね
Ruby2.0のインストールなのですが、最初はcheckinstallでソースからRPM化しようとしてみたものの、いろいろ無理があったりうまく行かなかったりしたので見送り。rvmを使います。 rvm公式サイト https://rvm.io/ https://rvm.io/rvm/install/ ユーザごとの独立した環境 最近はユーザのHOMEディレクトリ配下の独立した環境にインストールするのが流行りらしいです。 個人的には一人でサーバー管理やっていて、常時rootユーザでオペレーションしている身なので、システム(/usr/local配下)にインストールするのがいつものスタイルです。ですが、ここでは推奨される方法にしたがってみます。 依存パッケージのインストール epelリポジトリを入れておく(いくつかの依存パッケージが標準のリポジトリにないため) # wget http://ftp.ja
Free Alternative to Splunk Using Fluentd | Fluentd
Please provide a valid email address and we will send you a copy of the Fluentd Documentation PDF immediately. Email Download Splunk is a great tool for searching logs, but its high cost makes it prohibitive for many teams. In this article, we present a free and open source alternative to Splunk by combining three open source projects: Elasticsearch, Kibana, and Fluentd. Elasticsearch is an open
FortiGateのsyslogをパースするFluentdのプラグインを作った。 – Aimless
勢いだけで、FortiGateのsyslogをパースするためのFluentdプラグインを作りました。fluent-plugin-fortigate-traffic-logです。（命名センスなし） 「ファイアウォールの通信ログを気軽に分析できれば、ユーザへの提案に繋がる何かが生まれそうだなー」と思い、FortiGateのsyslogをFluentd+Elastic Search+kibana3の組み合わせに乗せるべく試行錯誤した結果です。当初は普通のTailインプットプラグインでサポートされている正規表現で頑張るつもりでしたが、FortiGateのsyslogのフォーマットが一定でなかったため、カスタムパーサを作った次第です。 このプラグインでFortiGateのsyslogファイルをインプットして、elasticsearchへアウトプットすると、下図のような形で格納されます。 kibana
忘れがちな記憶へ CentOSにJavaをインストール(with yum)
java open jdkのリストを表示させる。 $ sudo yum list \*java-1\* | grep open java-1.6.0-openjdk.x86_64 1:1.6.0.0-1.43.1.10.6.el6_2 @updates java-1.6.0-openjdk-demo.x86_64 1:1.6.0.0-1.43.1.10.6.el6_2 updates java-1.6.0-openjdk-devel.x86_64 1:1.6.0.0-1.43.1.10.6.el6_2 updates java-1.6.0-openjdk-javadoc.x86_64 1:1.6.0.0-1.43.1.10.6.el6_2 updates java-1.6.0-openjdk-src.x86_64 1:1.6.0.0-1.43.1.10.6.el6_2 updates 以下
elasticsearch起動するとstack guardされてないですよ的なことを言われる - Qiita
OpenJDK Client VM warning: You have loaded library /home/elasticsearch/elasticsearch-0.90.5/lib/sigar/libsigar-x86-linux.so which might have disabled stack guard. The VM will try to fix the stack guard now. It's highly recommended that you fix the library with 'execstack -c <libfile>', or link it with '-z noexecstack'. [elasticsearch@localhost elasticsearch-0.90.5]$ ./bin/elasticsearch -f [2013-09
Kibanaってなんじゃ？（kibana3 + elasticsearch + fluentd）
ずんぶん前にKibanaの記事を書きましたが、時がたちKibana3がとても感じがよいと巷で評判なので、再入門してみます。 インデックスサーバー側 準備 インデックスサーバー側のポートは80,22の他に、fluent用に9200番ポートを開けておきます。 また、インデックスは最終的に大きくなるので、容量の大きなストレージに入れておきます。 # yum install xfsprogs httpd java-1.7.0-openjdk -y # mkfs.xfs /dev/xvdf # mount -t xfs /dev/xvdf /mnt/ebs/0 Kibana3のインストール Kibanaはv3になってから、rubyではなくhtmlになりました。DocumentRoot下に置いてhttpdを起動するだけでOKです。 # cd /var/www/ # curl -OL http://do
Fluentd+Elasticsearch+Kibana構成で便利な、logstash形式インデックスの粒度をカスタマイズする方法 - Y-Ken Studio
fluent-plugin-elasticsearchやKibanaのデフォルトであるlogstash形式では、年月日毎にインデックスを作成されて使われることを想定されています。 これは扱いやすいのですが万能では無く、次のような状況ではパフォーマンス的な観点で、このインデックスの粒度を変更することを検討すると良いケースがあります。 粒度を細かくしたいケース（時間単位） 日毎のインデックス作成では、elasticsearchに割り当てたメモリ量を超えてしまう 粒度を荒くしたいケース（週単位/月単位/年単位） 日毎のインデックス作成では容量が小さく、日常的に検索する範囲が複数のインデックスに渡るとき Kibanaは年月日以外の粒度（時間・日・週・月・年）にも対応していますので、変更することも容易です。これは次の2つの設定変更で適用できます。 ログ収集を行うElasticsearchへ流し込む、
ElasticSearch を yum でインストールする - Qiita
概要 yum を利用した ElasticSearch のインストール方法です。 コンパイルは面倒だし、service スクリプト作りたくない。 手順 リポジトリの追加 sudo vim /etc/yum.repos.d/elasticsearch.repo バージョン 1.0.x を使いたい場合 [elasticsearch-1.0] name=Elasticsearch repository for 1.0.x packages baseurl=http://packages.elasticsearch.org/elasticsearch/1.0/centos gpgcheck=1 gpgkey=http://packages.elasticsearch.org/GPG-KEY-elasticsearch enabled=1
ApacheログをLTSV形式にする際の２つの落とし穴と対処法＋Apache＆FluentdのLTSV設定サンプル - Y-Ken Studio
ApacheのアクセスログをLTSV形式にしたいと思った方に是非お伝えしたい、 私がハマった落とし穴とその対処方法、その後にApacheとFluentdの設定サンプルを紹介します。 以下に1つでも該当するものがあれば、LTSVの導入メリットは高いでしょう。 テクニカルな正規表現のメンテナンスに疲れた awk等のテキスト整形ツールで加工や集計を容易に行いたい ログ収集ツールFluentdを使ってリアルタイム集計などを行いたい 落とし穴 その１「request_first_line」 一般的なApacheの設定ファイルhttpd.confでは、デフォルトで以下の設定が行われています。 LogFormat "%h %l %u %t \"%r\" %>s %b \"%{Referer}i\" \"%{User-Agent}i\"" combined このLogFormatStringをそのままLT
#elasticsearch #fluentd Apacheのアクセスログをelasticsearchにインポートする : きょうもぼへぼへちゃんがゆく
2013年12月06日 08:13 カテゴリelasticsearchfluentd #elasticsearch #fluentd Apacheのアクセスログをelasticsearchにインポートする Posted by ashibuya0128 No Trackbacks 荒野をゆく。今日も一歩ずつ。 やりたいこと。 過去の大量なアクセスログをfluentdを通じて、elasticsearchにいれたい。 そして最終的にはKibanaでみたいよね！ やること。 サーバとデータのながれ 「Webサーバ」＞「ログ集約サーバ」＞「elasticsearch+kibanaのサーバ」 ログ集約蓄積サーバでは一応、生ログもとっておきます。 ・WebサーバのアクセスログをLTSV形式にする。 ・ログ集約サーバでは、生ログも保存して、将来的にはごにょごにょ計算とかもしたい ・ログ集約サーバからflu
fluentd -> Elasticsearch 大量データ転送でトラブル | diaspora
概要 fluentd でサービスの情報を転送し、Kibana で分析したい これまでの過去データを一度に放り込みたい データの件数が合わない Kibana でエラーが発生する 各種設定を見直すことで対応可能 背景 長い長いミーティングに疲れ、集中力を擦り減らしたアナタは 無意識のうちにブラウザを起動していました。 去年まで勤めていた会社の同僚がシェアした記事が目に止まります。 「fluentd + Elasticsearch + Kibana で今どきのログ分析！」 感化されやすいアナタはおもむろに VM を立ち上げ環境を構築します。 Web サーバから吐き出されたログはオシャレでイイ感じにチャート化され、 満足したアナタは VM を落とし、再び仕事に戻りました。 しばらく経ったある日のこと、ふと気づきます。 「ログだけじゃなくて、ユーザ属性の分析にもコレ使えそう。」 毎度オレオレ管理ペー
ログ集計システムを自前で作る - Y's note
Index ログ集計システムの要件 DB設計 データ保存方針 table設計 サーバ構成 Fluentd fluentd,fluent-plugin-mysql-bulk install td-agent.conf mysqlにデータが格納される事を確認する 集計用のバッチ その他 Table肥大化防止 可視化 ログ集計システムの要件 爆弾ログ処理班の@yutakikuchi_です。 ログ集計システムというものを作る時に皆さんはどのように対応していますか？ 以下の候補から要件のレベルで使い分けをしている人が多いと予想しています。ざっくりの評価ですが、導入難易度、正確性、可視化、リアルタイム、長期集計、スケール、運用費用という点で評価を書いています。 ツール 導入難易度 正確性 可視化 リアルタイム 長期集計 スケール 運用費用 リンク GA(スタンダード) ○ × ○ ○ ○ ○ ○ Go
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
ElasticSearch+Kibanaでログデータの検索と視覚化を実現するテクニックと運用ノウハウ
Kibana入門