大規模なデータをそれなりに効率良く計数できる Algorithm::LossyCount を書いた

要旨 Algorithm::LossyCount というモジュールを書きました。これを使うとそこそこメモリ効率良く大規模なデータの計数ができます。アクセスランキング集計とかに使えるんじゃないでしょうか。 Github MetaCPAN 動機 例えばブログホスティングサービスで HTTP サーバのアクセスログを集計して人気のあるブログ記事ランキングを出したいとします。 Perl でデータの出現頻度を計数するのはハッシュを使うのが鉄板なので、適当に書くとだいたいこんな感じのコードになると思います: #!/usr/bin/env perl use v5.18; my %access_counts; while (<>) { chomp; my $access_log = parse_access_log($_); next if is_article_request($access_log);

[yto]

昔Perlで書いたのであとで動作確認してみる。＞ [を] 誤り許容カウント法(lossy count method)のサンプルプログラム http://chalow.net/2010-05-12-1.html

[tagomoris]

どっちかというとPV上位だと多少のズレはどうでもいいけどPV下位ほど正確性を気にする人が多いのではないか(PVが5か10かが大問題)、という気がするけどな