Robust log process

2. はじめに 1. スケーラブルなログ集計を安全に構築するために我々が考慮していることを説明します。 2. 広告集計という特性上、「超高速にかつ高効率に！」というよりはどちらかというと「多少の非効率は目をつぶって安全側に寄せる」という設計方針になっています。 3. 上司から突然「来月から 1 日 10 億越えのアクセスを食うことになるから集計システムはよろしくね♪」という日が来るかもしれないので、来たる日に備えてもらえればと思います。 4. 自己紹介 山崎大輔 Twitter: @yamaz Blog : 最速配信研究会 http://d.hatena.ne.jp/yamaz/ 現在：株式会社スケールアウト 代表 1 日数億～を超えるような配信をカジュアルに行うための 広告配信システム「 ScaleAds 」の開発と販売およびコンサル かれこれオンライン広告業界で 14 年やってます

[kawasin73]

ログの集計は分散可能にすることで扱いやすくなる。配信サーバーでログの集計をすると配信が遅くなるのではと思うけど、配信もログの集計もスケールアウトできるから両方でマシンリソースを使うという逆転の発想

[masa_matya]

集計サーバでJOINしなくて良いようにログ側で工夫。二重カウントをさけるためにログのネットワーク転送は行わない、ローテした後のものを転送、集計。冪等性への意識。最終型を加味したプランニング

[n-3104]

ログ集計における集計内容ごとの方式の違いについて書かれている。

[nekoruri]

安全にスケールするログ解析システム構築の勘所

[okinaka]

ログ集計サーバについて

[hokorobi]

大規模集計は近くの仕事でやっているみたいなので、既存のシステムとの比較をしてみたい。

[yoyama]

株式会社スケールアウト　山崎さん

[hamadakoichi]

#TokyoWebmining 安全にスケールするログ解析システム構築の勘所

[tomity]

ログ集計って大規模だと運用が意外に難しいですよね