タグ

ブックマーク / koduki.hatenablog.com (1)

  • mongodbのMapReduceでUUを求めてみた - ブログなんだよもん

    現在、e-NDEXのアクセスログは全部mongodbに入れてお手製のアクセス解析ツールでレポートしています。 最初はとりあえずパフォーマンス無視ということで全部データを取得してRubyで解析するという荒業に出てたんだけど、現状で65万行くらいなので既にかなり重い。7秒とかかかる。 これは微妙ということで、普通にmongoidのCriteriaAPIを使って集計しようとしたんだけど、groupの仕様がイマイチ使いづらい。というかtimestampは秒単位で登録してるので、日付毎のUUが集計できない。 という訳でMapReduce使ってゴリゴリ集計して見ることに。いきなりmongoidでやるのも大変そうなので、まずはコンソールからJSで書きました。 UUはいきなり計算せずに、まず日付毎のIPに集約して、それを一時コレクションに保存。そして、その一時コレクションに対して更に日付毎で集計する、とい

    mongodbのMapReduceでUUを求めてみた - ブログなんだよもん
    ideo
    ideo 2012/11/27
    UU集計
  • 1