Lobiのログ集約・解析のはなし - KAYAC engineers' blog
Lobiチームの長田です。 あらゆるWebサービスがそうであるように、Lobiでも日々大量のログが出力されています。 今回はこのログをどのように集約・解析しているかを紹介します。 TL;DR アクセスログ・アプリログなど、毎秒10000行以上のログが生成されている Fluentdを使用しログを集約 consul serviceを利用した集約サーバーの冗長化 ログ中のイベント検知・集約にはNorikraを使用 アクセスログの各種解析にはAmazon Redshiftを利用 ログの集約 ログ収集エージェント Lobiではログの集約にFluentdを利用しています。 Fluentd | Open Source Data Collector | Unified Logging Layer ログファイルの集約にはfluent-agent-hydraを、Perlアプリケーション内からのログ送信にはFl
多段Norikraが楽になるNorikra-listener-plugin-Norikraを作った - 工作とかオーディオとか
1ヶ月ほど前になりますが、多段Norikraを簡単に試せるようにするNorikra Listenerプラグインを作りました。 norikra-listener-norikra | RubyGems.org | your community gem host github.com なぜ作ったか？ ログ量が増えてくると1台のNorikraではさばくことができなくなります。 そうした場合には数台のサーバーごとにNorikraを1つ立てて、その後段に各Norikraの実行結果をまとめるNorikraを立てることで、スケールさせることができます。 例: Norikra in Gunosy Network Ads@Norikra meetup #2 // Speaker Deck その際に前段と後段のNorikraをつなげるために、従来は下図のbeforeように間にfluentdを挟む必要がありました
Norikraのクエリをテキストファイルで管理する - 酒日記 はてな支店
Norikra に登録されているクエリが大量にある場合、WebUIで登録、編集をしていると複数人での共同作業で管理しきれなくなるため、クエリをファイルにしておいてリポジトリで管理したくなります。 norikra-clientには query add, remove, suspend, resume などの機能が従来からありますが、add, removeは冪等でないため登録されているクエリに対して再度実行するとエラーになるので状態管理は難しい。 ということで、norikra-client に query dump query sync という機能を追加して 1.3.1 で取り込んでもらいました。これで JSON によってクエリを管理し、Norikraと同期することができます。 $ norikra-client query dump > dump.json [ { "name": "test"
norikra-listener-mackerel で Norikra のクエリ結果を直接 Mackerel に投げる - 酒日記 はてな支店
Norikra でクエリした結果を Mackerel に投げたい場合、これまでは fluent-plugin-norikra で取得して fluent-plugin-mackerel で送信する、という作りにしていたと思います。 Norikra 1.2以降では Listener plugin が使えるようになったので、クエリ結果を直接 Norikra 上で扱うことが可能になりました。 ということで、norikra-listener-mackerel (rubygems) を書きました。Norikra 単体で、クエリ結果を Mackerel のサービスメトリクスとして送信できます。 使い方 $ gem install norikra-listener-mackerel norikra が動作する ruby でインストールすれば、norikra start 時に自動的に読み込まれます。 クエリ
Webサーバの仮想ホスト単位のリソース使用量をFluentd+Norikra+GrowthForecastでグラフ化 - 人間とウェブの未来
ご存知の通り、ApacheのVirtualHost（以下vhost）、所謂、Webサーバの仮想ホストは単一のApacheで複数のホストを処理しています。そのため、複数のvhostを含めたCPU使用量といったリソース使用量をグラフ化することは簡単なのですが、vhost単位となると各vhostへのリクエスト単位でのリソースを計測しておかないとグラフ化することはできません。そういう意味でvhost単位でリソース使用量をグラフ化しようとすると一気に敷居が上がってしまいます。 また、uid毎に実行プロセスを分離しておけば、pacctといったプロセスアカウンティング機能でuidのカウントはできますが、リアルタイムの計測（秒とか分のオーダー）にはコストが高かったり、vhostで提供しているコンテンツによっては、Apache権限で配信されているものもある（静的コンテンツ）ため、正確に計測することは難しくな
NorikraのAPIを叩くmrbgemを書いて、mod_mrubyで使う - ujunのブログ
FluentdからNorikraにサーバの各種ログを流し込んで解析する、というのは、 割とよくあるNorikraのユースケースかと思います。 Norikra+FluentdでDoS攻撃をブロックする仕組みを作ってみた ｜ Developers.IO Fluentd + Elasticsearch + Kibana + Norikra+ Zabbixを使ってOpenStackのログ解析してみた | テクノロジーコラム | コラム・ブログ | NTTソフトウェア株式会社 ログ解析にNorikraを使ってみた - hase log FluentdとNorikraで異常アクセス検知を行う | ピコもん開発ブログ これらは、テキストとして出力されているログファイルをFluentdで取り込んで送信となりますが、 ApacheやNginxのアクセスログをNorikraに溜め込むのなら、 以下のmrbge
メルカリでのNorikraの活用、 Mackerelを添えて
Client Side Blazorでツールを作ってみました。 Azure WebappsやFunctionsで利用される設定情報をロカール環境とクラウド環境で相互に変換を行うツールになります。
Norikra to realtime log analytics
Norikra meetup #2 2015-06-03
ログ解析にNorikraを使ってみた - hase log
この記事は、CyberAgent エンジニア Advent Calendar 2014 の 17 日目の記事です。 昨日は@neo6120さんのアドテクスタジオのゼミ制度の紹介と活動報告 でした。 18日目は@sitotkfmさんのSpark StreamingでHyperLogLogを実装してみたです。 弊社で、プラットフォーム機能の一部を作らせて頂いている、@hase_xpwです。 @kakerukaeruさんにやろうぜ！って誘われたので参加してみました これを機にブログもっと更新したいと思います！ 今回のテーマは、Norikraというミドルウェアで、業務でログ解析をする際に使ってみた所かなり便利だったのでNorikraの魅力を少しでもお伝えできればいいなと思いテーマに選びました。 これおかしくね？みたいなのがあったらバシバシ指摘して頂きたいです。 環境構築と使い方は、わかりやすくまと
Fluentd と Norikra をもっとカジュアルに使おう - まいんだーのはてなブログ
Norikra とは Norikra とはリアルタイムイベントストリームに対して SQL ライクな言語で処理できる cool なプロダクトです。 例えば、Nginx のアクセスログを Norikra に流し込み、n分あたりのアクセス数やレスポンスタイムをリアルタイムに集計するといった事が可能です。 もちろん Nginx だけではなく、ご自身が書かれたアプリが出力するログも流し込んで集計できます。 更に Fluentd を組み合わせると GrowthForecast や Mackerel といったツールに集計結果を渡して可視化するなどといったことも容易なので、速報値集計やシステム運用状況の可視化に持ってこいです。 Fluentd と Norikra を活用して可視化する例 fluent-plugin-norikra と可視化ツール(GrowthForecast等)を組み合わせるとすぐに可視化
RubyConf 2014にいってきた＆しゃべってきた - たごもりすメモ
出していたproposalが通ったので Rubyconf2014 に行ってきていた。旅費および会期中の宿泊費は現勤務先のLINE株式会社に出してもらいました。いつもいつもありがたいことです。 サンディエゴの会場付近はとにかくリゾート地っぽい感じで、あちこちに背の高いヤシがぽんぽん立っており、空も海も青いし、なるほどこれは国民性も変わろうというものだ、という感じ。初のアメリカ行きがこれだったので、USに対してだいぶ変なバイアスがかかった可能性がある。 そこでまたNorikraの話をした。何回目だと言われるかもだけど、英語だとまだ2回目だったし、英語圏でのカンファレンスでは初めてだったので……。 Norikra: SQL Stream Processing In Ruby from SATOSHI TAGOMORI 人によっては*1多少ウケたっぽいのでよかったよかった、ということにする。が、こ
LINE DEVELOPER DAY 2016 開催のお知らせ « LINE Engineers' Blog
LINE株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。 LINEヤフー Tech Blog saegusa2017-04-16Yoshihiro was a network engineer at LINE, responsible for all levels of LINE's infrastructure. Since being named Infra Platform Department manager, he is finding ways to apply LINE's technology and business goals to the platform. こんにちは。LINEでネットワークやデータセンターを担当している三枝です。2017年1月にJANOG39で登壇する機会を頂きましたので、今回
Norikra Meetup #1に参加してきました - 随所に主と作れば、立処皆真なり
比戸(@sla)です。お手軽なストリーム向けSQL処理系Norikraの勉強会に参加してきました。 一言で言うと、「Norikra使われてるんだ」感と、「（自分でも）Norikra何かに使えそう」感が同時感じられる、濃密な素晴らしい勉強会だったと思います。ハッシュタグも活発で、Togetterはこちらでまとめられています。 まず開発者の@tagomorisさんのオープニング。 "Stream processing and Norikra" ストリーム処理のバッチ処理との違いや狙い、簡単な使い方がわかりやすく説明されてます。 続いて@fubaさんのレポーティングの話。 "norikra を使って速報レポート集計してみた" 元々Hiveを使っていた速報集計クエリが シンプルかつ短時間で実行可能になったそうです。 id:kawamurrayさんのアプリログ監視の話。 「Norikraでアプリログ
Norikra meetupやってきた - たごもりすメモ
Norikra meetup : ATND DeNA Technology Seminar #Norikra meetup Norikra がいい感じになってきたので、ユーザ(とコミッタ)もうちょっと増えないかなーと思い、Norikra meetupという勉強会をやった。会場、Ustream中継および懇親会を:DeNAさんにご提供いただきました。いつもいつも本当にお世話になっていますが、すばらしい会場をありがとうございます。 定員80人に対して参加は話す人も含めて60人ちょっとくらい？ 自分が最近主催した勉強会はもっと出席率良かった気がするので気にしてなかったら、今回は少し低かった。もうちょっとサバ読んだ定員にしておけばよかった。補欠も含めた申し込み数は結局170人とかのままだったので、もったいなかった。 とはいえ、聞いてみたところこれから試してみる！という人がけっこういそうだったので嬉し
Landscape of Norikra features
GPU最適化ライブラリの利用（1/3，cuBLAS） 長岡技術科学大学2015年度GPGPU講習会（2015年10月14日実施） CUDA付属のライブラリを利用して連立一次方程式を解く内容を3回に分けて実施． 1回目 cuBLASを利用したGPU移植 http://www.slideshare.net/ssuserf87701/gpgpu-seminar-gpu-accelerated-libraries-1-of-3-cublas 2回目 cuSPARSEを利用した省メモリ化 3回目 Thrustを利用した実装効率化 http://www.slideshare.net/ssuserf87701/gpgpu-seminar-gpu-accelerated-libraries-3-of-3-thrust 講義には長岡技術科学大学のGPGPUシステム（GROUSE）を利用しています。 開発環境
2014/07/10 #norikra meetup
fujiwara @fujiwara fluentdからnorikraにアクセスログ流して、statusごとにcountしたのをfluentdに戻すところまでできたので、これで予習できたことにしておこう
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Norikra defends web service
Norikraを非リアルタイムなデータ集計に使う試み
GitHub - GoogleCloudPlatform/lambda-dashboard
Building a Lambda Architecture in 10 minutes with BigQuery, CEP and Docker
