成功者がどのようにNew Relicを使用してKubernetesのパフォーマンスを4倍に向上させ、拡張性とスループットを改善したかをご覧ください。
大規模システムにおける5つのログ転送パターン
成功者がどのようにNew Relicを使用してKubernetesのパフォーマンスを4倍に向上させ、拡張性とスループットを改善したかをご覧ください。
ピクシブ広告サーバー開発・運用の軌跡 2015春インターン講義資料
2015春インターン講義資料 これの続編です ピクシブ新広告サーバー構築物語 // Speaker Deck https://speakerdeck.com/catatsuy/pikusibuxin-guang-gao-sabagou-zhu-wu-yu
pixivで行っているバグフィックスデーについて紹介します - pixiv inside [archive]
こんにちは、ISUCONのために2ヶ月ほどgoをみっちり書いてた@edvakfです。練習した甲斐あって2位になることができました。 バグフィックスデーについて pixivではPHPのアプリケーションのエラーはすべてfluentd経由でMongoDBに入れていて、管理画面からスタックトレースなどを見られるようにしています。 デプロイ直後などに見たことのないエラーが出ていないかをここで確認したりします。もちろん自分の入れたバグやクリティカルなものであればすぐに直します。 たまにこのチェックをすり抜けて、クリティカルではないけれども１日数個ぐらい出てるようなものが溜まってしまうことがあります。 pixivでは１ヶ月に１回程度、こういう類のバグを潰す日として「バグフィックスデー」というのを実施しています。 流れ 参加者は普段pixivのサーバーサイドを書いているエンジニア6〜8名程度で、その日ター
![pixivで行っているバグフィックスデーについて紹介します - pixiv inside [archive]](https://cdn-ak-scissors.b.st-hatena.com/image/square/e88164758f97cbf5f9058ae6425fab2668580069/height=288;version=1;width=512/http%3A%2F%2Fcdn-ak.f.st-hatena.com%2Fimages%2Ffotolife%2Fe%2Fedvakf%2F20141027%2F20141027113237.png)
FluentdとRedisを使ったランキング機能の実装 - SmartNews Engineering Blog
ゴクロの大平です。ごくろうさまです。 Redisは高速で、かつデータの永続化や、複数のデータ型によるストア(list,set,sorted set等）も対応しており、機能的が豊富ということから愛用者の多いKVS実装の一つだと思います。 特に私のようなアプリケーションエンジニアの人間にとってはデータ型のバリエーションの豊富さが便利さを感じる部分で、たとえばlistを用いてタイムライン的な情報や履歴情報の管理、sorted setを用いてランキング情報の管理、などのようにアプリケーションの需要の多くにRedisが対応することができます。 これらの情報を登録する際のフローとしては自作のアプリケーションから直接、というケースが多いと思いますが、せっかくFluentdのような便利なlog collector実装があるので、FluentdとRedisを組み合わせる事でカジュアルに情報の蓄積を行いたい…
uu59のメモ | fluentd-uiを作った
https://github.com/fluent/fluentd-ui 開発者としてはあれが足りてない、こうなってると良さそう、などなど理想が次から次へと明確に見えてくるのでなかなか満足できないものですが、今のところ概ね好意的な評価を頂けているようでよかったです。 @kzk_mover, @repeatedly, @kiyototamuraの御三方には大変お世話になりました。社としてのあれは社としてあれされるだろうということでそれ以外のあれを書いときます。 制約について 珍しいものとして以下の2つがある。 RDBMSは禁止（別デーモンのpostgresqlとかは論外。sqliteもwindowsで少し怪しい） coffeescriptは禁止（ユーザーがnode.jsを持ってない可能性は充分ある） RDBMSがないことでバージョンアップとマイグレーションについて悩まなくて済んだ、などのいい
fluentd + MongoDB + Elasticsearch + Kibanaでログを可視化する | 踊る犬.net
Programming, Technology fluentd + MongoDB + Elasticsearch + Kibanaでログを可視化する SaaSは利用料が高いのでOSSを使う 要件 独自フォーマットのログを扱いたい アプリケーション特化の情報も一緒に格納したい グラフ設定を簡単に柔軟に変えられるようにしたい システム構成 Chefを使ったセットアップ手順 fluentdの設定 ElasticsearchとKibanaのインストール Elasticsearchの設定 Kibanaの設定 参考リンク SaaSは利用料が高いのでOSSを使う サーバのログを可視化するSaaSは沢山あります。 DataDogとかKeen IOとかlibrato、Logglyなどなど。 とても便利そうですね。でも価格が高い！ なんでもかんでもSaaSに頼ってたら毎月数十万とかになりそうです。貧
Fluentdとログ収集のパターン - Go ahead!
「ログを集めて保存する」と言うのは簡単だけど，ログ収集の構成にはいくつか方法があり，勉強会などでちょくちょく聞かれるので，いくつかのパターンについて書く． 「俺はもうバリバリログ収集やってるぜ！」という人は多分すでに知っていることが書かれているので，タブを閉じて良い． ここではログコレクタにFluentdを想定しているが，他のログ収集プロダクトにも適用出来るはず． ただ，Fluentdはタグベースのルーティングを持ち，単体でもキューのように動作させることが可能で，既存のものより複雑な問題を解決しようとしているので，少し工夫が必要かもしれない． Fluentdそのものについては公式ドキュメントや，Fluentdとはどのようなソフトウェアなのかを参考に． クライアントから直接保存する いきなりFluentdを使わないパターン．JavaScript SDKを提供している解析サービスやモバイル端末
IISのログをfluentdで集めてWindows上のMySQLに突っ込む - Qiita
0. 前書き Windowsで利用可能なWebサーバーとしてIIS(Microsoft Internet Information Services)があります。WebサーバーとしてはApacheが広く認知され広く利用されていますが、以外とIISもお目にかかるものです。 この投稿では、fluentdを使ってIISのログを収集する手順サンプルを示しています。 最近では色々な理由で、Windows(のみ)を中心としてインフラ周りを構築されているケースも多いと思いますので、以下の状況を設定してみました。 IISは2台 Windows上にインストールされたMySQLにログを保存する fluentdでログを集約 fluentdのWindowsブランチを使用 収集のフローにLinuxは登場しない Rubyは1.9系（32bit）を使用 fluentd Windows版で "forwardできるじゃん！"
アプリケーションエンジニアとサーバープロビジョニングツール
自分はサーバープロビジョニングといえば、AWS上の本番・ステージング・共有開発機もろもろインフラチームにまかせっきりだった。しかしアプリエンジニアがローカル開発環境を作る用途ならChefやPuppetよりもAnsibleがマッチしていると思った次第。 背景 自分の職場だと、インフラチームはPuppetのマニフェストでサーバーを管理している、例えばサーバーにインストールするパッケージ やApacheの設定である。しかし、そのPuppetマニフェストはアプリエンジニアのローカルの環境を構築する用途としてそのまま使えない。 インフラチーム管理下のサーバーにおいてPuppetマニフェストで管理されている部分はアプリケーションエンジニアは触れないため、変更を加えたい場合は都度依頼を出している。 共有開発サーバーとローカル個人環境 例えばApacheとfluentdとElasticsearchはインフ
トレジャーデータ事例集 1(a).「オンラインゲームソリューション」 - トレジャーデータ（Treasure Data）ブログ
*トレジャーデータはデータ収集、保管、分析のためのエンドツーエンドでサポートされたクラウドサービスです。 本シリーズは，弊社事例セミナーで発表した資料をベースに3つの分野における事例を通してトレジャーデータサービスを深く理解してもらえる事を目的としています。 事例で学ぶトレジャーデータ 20140612 from Takahiro Inoue 本シリーズは，紹介する3つの分野における事例を通してトレジャーデータサービスを深く理解してもらえる事を目的としています。 （事例1）「オンラインゲームソリューション (a) (b)」 （事例2）「モダンWebアナリティクス」 （事例3）「ECログ分析」 オンラインゲームソリューション トレジャーデータ | 米国トレジャーデータ社／トレジャーデータ株式会社 オンラインゲーム向けデータマネージメントサービスをソリューションとして提供開始 今回は「オンライ
おねえさんが、センサー + Raspberry Pi + fluentd + Treasure Data + αで自宅の揺れを検知＆分析してみるよ① - ○○おねえさんのつぶやき
タイトル通り、センサー + Raspberry Pi + fluentd + Treasure Data + 様々なプロダクトを組み合わせて、自宅が揺れる原因を分析してみるお話です♪ 長丁場になりそうなので、これから数回に分けて綴っていこうと思います。 第1回の今回は、揺れ分析をはじめた理由、やりたいこと、システム構成についてお話します。 はじめた理由 実は・・自宅マンション周辺の大規模工事が終わった頃から、毎日ふとした時に自宅が揺れています！ 震度１～２くらいかな？と思ってYahoo!の地震情報を確認してみるのですが、地震は起きていません。 天井から吊してあるパネルも揺れるので、気のせいではないはずなのに。。 管理会社に問い合わせてみましたが、「よくわからないですねー」と素っ気ない返事しか返ってきません。 むむむっ、結構重要な問題だと思うんだけどー＞＜。 揺れの原因によっては引っ越しも考
ログ集計／時系列DB／可視化ツールの調査結果 - Qiita
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 近年、自分の中で集計／可視化は Fluentd(datacounter)+Growthforecast で定番化していました。 しかしプロダクトで新たに集計／可視化の要件が出てきたことと、 最近可視化ツール周りで 「Kibanaってなんじゃ？」「Graphiteってなんじゃ？」「InfluxDBってなんじゃ？」 など、このツール達は一体何なんだろう…？というのが前々から気になっていました。 今回良い機会なので ◯◯は何をするものなのか？ というのを一つ一つ調べてみました。 いわゆる「触ってみた系」の記事なので だいぶ浅い感じです。 大分
Norikraでログ集計してアプリのエラーを素早く検知しようという話 - kawamuray's blog
背景 webアプリを書いていると，以下のようなロギングコードを至る所にちりばめる事になると思います． $c->log(error => "Chou Yabai ERROR!"); ただいくらログを吐いても，アプリのログからは片時も目を話さないよ！！みたいな真面目なエンジニアじゃない限り，せっかく吐かれたログに気づけないとかあるわけです． そこで特に重要なログについては別途ikachanとかでIRC等にpostするコードを入れといて，即応できるようにしてることと思います． でも，levelがerrorとかcriticalで吐かれてるログって全部重要だし全部すぐ知りたくね？それにいちいち別途ikachanするコードとか入れるのめんどくね？っていう需要があるわけです． そこでロガーメソッドにif ($level == 'error') { post_to_irc($message) }みたいなコ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
サービス改善はログデータ分析から
fluentd-server から serf 使って td-agent を再起動できるようにした : sonots:blog