Rails4 + Fluentd + MySQL でランキング機能作ってみた - 筋肉とエンジニアリングで すべてを解決するブログ
アクセスランキングを作ってみよう！ 今、Rails4 を使ってアクセスログからランキング作ってみたいなぁーと思ってたんですが、みんなどうやってんだろうって聞いてみたところ、 Fluentd ってのを組み込むだけで簡単に集計とかできるよーって話だったので、使ってみました。 Fluentd とは まず読み方は、 「ふるーえんとでぃー」であって、「ふるーえんど」とかじゃないっぽいです。d はたぶんデーモンの d 。 色々説明面倒なんで省略しますが、ログ収集元とか出力先が簡単に設定できて、自分の欲しい形でログ保持できますよーって感じっぽい。なので、 「シェルスクリプトで処理した tail の処理結果をファイルに」「nginx から出力されたアクセスログを mongoDB に」とかそういう処理を自前で書く必要なく、簡単な設定だけでいけちゃう。 詳しくは → 柔軟なログ収集を可能にする「fluentd
LINE DEVELOPER DAY 2016 開催のお知らせ « LINE Engineers' Blog
LINE株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。 LINEヤフー Tech Blog saegusa2017-04-16Yoshihiro was a network engineer at LINE, responsible for all levels of LINE's infrastructure. Since being named Infra Platform Department manager, he is finding ways to apply LINE's technology and business goals to the platform. こんにちは。LINEでネットワークやデータセンターを担当している三枝です。2017年1月にJANOG39で登壇する機会を頂きましたので、今回
Introduction of ‘fluentd’ « NAVER Engineers' Blog
今年はさだまさしさんのデビュー40周年という記念の年ですね。大平です。 さだまさしさんの歌は、時に切り口鋭く、時に叙情的に情景を描写する技術もさることながら、落研出身ゆえの話術の巧みさ、流暢さも魅力の一つです。 あまりさだまさしの話を続けると上長に叱られますので、、この記事では「流暢な」という意味の名前を持つOSSのミドルウェアについて、ご紹介をしたいと思います。 fluentdについて fluentdは、Treasure Data Inc.の古橋貞之さんが公開しているOSSです。 古橋さんはMessagePackの作者としても有名ですね。 fluentdは、古橋さんのブログ記事から説明を引用すると以下のようなツールです。 fluent は syslogd のようなツールで、イベントログの転送や集約をするためのコンパクトなツールです。 ただ syslogd とは異なり、ログメッセージに
Fluentdを使い始めて１週間でわかったこと |
巷で話題のFluentdをいじってみてわかったことをいろいろ Fluentdって？ 開発者の古橋さんのスライドによると “It’s like syslogd , but uses JSON for log messages’’ syslogdのようなものだけど、ログメッセージにJSON使ってますよ ってことらしいです。 詳しくはこのエントリー http://d.hatena.ne.jp/viver/20110929/p1 もっとわかりやすく 例えば、apacheのこんなログが 192.168.0.1 - user1 [25/Dec/2012:21:49:06 +0900] "GET /home HTTP/1.1" 200 260 "-" "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_7_5) AppleWebKit/537.11 (KHTML,
#fluentd でアクセスログからメトリクス生成/リアルタイム監視するための設定例 - たごもりすメモ
このエントリは ウィークリーFluentdユースケースエントリリレー の参加エントリです。 いろいろアレでアレなときに回ってきて新ネタを思い付く余裕がないので、手元の設定を晒して解説しお茶を濁そうと思います。ユースケース！ 前提は以下の通り。 アクセスログ このサーバに送られてくる前の段階で適当にparseされている(いちおう in_file の apache 互換の名前のはず？) sampling_filter プラグインにより 1/1, 1/10, 1/100 それぞれの割合でサンプリングされている(基本は1/10) いくつかのメトリクス計算を行い、それらをGrowthForecastへグラフ登録、一部のものはリアルタイム監視を行いIRC通知する ping message ping_message プラグイン(および fluent-agent-lite の -P オプション)による p
空制御効率化のためのデータ収集手法 | IIJの技術 | インターネットイニシアティブ（IIJ）
データの収集と蓄積 データの収集気象センサーデータ 複合気象センサーはデータをシリアル(RS422)で出力するため、気象センサー用の専用プロトコルを解釈しデータを記録するソフトウェアが動作する収容サーバに接続されています。それらのデータは収容サーバで動作するFluentdのtailプラグインを用いて収集され、別サーバで動作するFluentdデーモンへ送信します。 温湿度センサーデータ 温湿度センサーは数が多いため、コンテナ内には複数台の温湿度センサー収容サーバが存在し、それぞれに複数個の温湿度 センサーが接続されています。データの収集はこれらのサーバ群に対しSNMP経由のポーリングで行い、気象センサーデータと同様に、別サーバで動作するFluentdデーモンへ送信します。 空調制御装置データ、電力計データ 空調制御装置データは、空調制御システム経由で5秒ごとに収集されてファイルに記録されてい
fluent-plugin-mysqlslowquery + out_exec_filter でスロークエリを自動EXPLAIN - Studio3104::BLOG.new
はじめに 管理するMySQLサーバが増えてくると、クエリの品質管理が大変になってきますよね。 スロークエリログを、EXPALINの結果も含めたデータで一箇所に集められたら幾ばくかの手間が省けるかなーとか考えてました。 ので、fluent-plugin-mysqlslowquery + out_exec_filteでやってみました。 検証環境 log_queries_not_using_indexesが有効な環境で、以下のクエリを投げてみて検証します。 mysql> SELECT * FROM user a, user b WHERE a.User=b.User; mysql> EXPLAIN SELECT * FROM user a, user b WHERE a.User=b.User; +----+-------------+-------+------+---------------
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
OSSで支えられるライブドアの巨大ログ集計 #nhntech
fujiwara on Twitter: "rsyslogでTCP転送していたのをfluentdに切り替えたらCPU負荷が激減したとの喜びの声が (左 fluentd, 右 rsyslogで同じだけのログを転送、フィルタ、ファイル保存) http://t.co/KbblORo2"