ブックマーク / yut.hatenablog.com (3)

  • ログ集計システムを自前で作る - Y's note

    Index ログ集計システムの要件 DB設計 データ保存方針 table設計 サーバ構成 Fluentd fluentd,fluent-plugin-mysql-bulk install td-agent.conf mysqlにデータが格納される事を確認する 集計用のバッチ その他 Table肥大化防止 可視化 ログ集計システムの要件 爆弾ログ処理班の@yutakikuchi_です。 ログ集計システムというものを作る時に皆さんはどのように対応していますか? 以下の候補から要件のレベルで使い分けをしている人が多いと予想しています。ざっくりの評価ですが、導入難易度、正確性、可視化、リアルタイム、長期集計、スケール、運用費用という点で評価を書いています。 ツール 導入難易度 正確性 可視化 リアルタイム 長期集計 スケール 運用費用 リンク GA(スタンダード) ○ × ○ ○ ○ ○ ○ Go

    ログ集計システムを自前で作る - Y's note
    monbran4989
    monbran4989 2014/02/12
    ディオ様はパンの枚数なんて覚えられない(覚える必要がないぐらいくだらない)ってことを言ってるから、過去の膨大なログなんていらないってことだと思います
  • Google先生の検索結果リンクが予想以上に作り込まれていた件 - Y's note

    Index 検索結果のリンクは単なるRedirectorでは無かった 検索結果のhttps化 httpsからhttpページへの遷移ではブラウザはRefererを送らない Google先生はRerererを送る仕組みを実装してくれた Refererが送信される処理の流れを追う httpsからhttpsページへの遷移はどうなるか Google Analyticsで検索Queryが「not provided」となる当の理由 まとめ 検索結果のリンクは単なるRedirectorでは無かった 知らなかったのが僕だけだったら凄い恥ずかしい内容なんですが、今までGoogle先生の検索結果として表示されるリンクのURLはGoogle内部でClick集計するためのRedirector機能だと思っていました。カウントアップの集計を記録したら来のURLに遷移させるような。当然そのClick数を集計する機能も

    Google先生の検索結果リンクが予想以上に作り込まれていた件 - Y's note
    monbran4989
    monbran4989 2013/08/09
    難しいけどすごい面白い・・・
  • アダルトフィルタ実装に向けたA○女優リストの自動抽出 + α - Y's note

    monbran4989
    monbran4989 2013/07/19
    いろんな意味で面白いw
  • 1