[B! algorithm][perl] aki77のブックマーク

大規模なデータをそれなりに効率良く計数できる Algorithm::LossyCount を書いた

要旨 Algorithm::LossyCount というモジュールを書きました。これを使うとそこそこメモリ効率良く大規模なデータの計数ができます。アクセスランキング集計とかに使えるんじゃないでしょうか。 Github MetaCPAN 動機例えばブログホスティングサービスで HTTP サーバのアクセスログを集計して人気のあるブログ記事ランキングを出したいとします。 Perl でデータの出現頻度を計数するのはハッシュを使うのが鉄板なので、適当に書くとだいたいこんな感じのコードになると思います: #!/usr/bin/env perl use v5.18; my %access_counts; while (<>) { chomp; my $access_log = parse_access_log($_); next if is_article_request($access_log);

aki77 2014/03/11

リンク

PHPでNaive Bayesを使ってみる - テノニッキ (@hideack 's diary)

今月号のWEB+DB PRESS。 WEB+DB PRESS Vol.49 作者: arton,桑田誠,角田直行,和田卓人,伊藤直也,西田圭介,岡野原大輔,縣俊貴,大塚知洋,nanto_vi,徳永拓之,山本陽平,田中洋一郎,下岡秀幸,ミック,武者晶紀,高林哲,小飼弾,はまちや2,WEB+DB PRESS編集部出版社/メーカー: 技術評論社発売日: 2009/02/23メディア: 大型本購入: 8人クリック: 326回この商品を含むブログ (47件) を見るはてなブックマークのリニューアルに際しての特集記事があったり、レコメンドエンジンの解説記事があったりと非常に読み応えがあっていつもの3割増でおすすめ。で、ブックマークのカテゴリ自動判定システムで使われているアルゴリズムはComplement Naive Bayesで、このアルゴリズムの元となっているアルゴリズムはNaive Baye

aki77 2009/06/07

Algorithm::NaiveBayesをPHPに移植

リンク

はてなブログ | 無料ブログを作成しよう

はじめまして新潟隣の県なのになんとなく遠いイメージがあった新潟。休日出勤の振休と夫の休暇（上司から取れと言われたらしい、かわいそ…）が合ったので久々に遠出しよう！となり新潟へ。このあたりで隣の県を選ぶあたり我々の出不精具合が現れていますね。 1日目行くぜ新潟まずはへ…

aki77 2009/06/06

ベイジアンフィルタ

リンク

Algorithm::NaiveBayes::Simple実装 - シリコンの谷のゾンビ

いきなり思い立って30分プログラミング（終わってみれば30分どころではなかった）．Perlらしいオブジェクト指向で，それなりに綺麗に書けた．ただ，データ保持のところが気に食わない．一番簡単なmultivariate bernoulli modelを実装した（単語が文書に現れるか否かをモデル化するもの．文書あたりの出現頻度は考慮しない）． Naive Bayesをはじめ，機械学習手法を勉強するのによさげな簡単なコードってそんなに見つからないのでKY公開．Wekaのソースコード嫁とかいわないでください．NBは頻度表を保存するだけで良いので，おそらくどんな言語でも100行未満で書ける．LLだとワンライナーとかいそう…．他のNB手法も実装したいなー研究室の導入研修にちょうど良いと思っているのだけれど，言い出せずにいる．PerlじゃなくてJavaとかRubyでも実装してみよう．そーすこーど pa

aki77 2009/06/06

リンク

[を] 転置インデックスによる検索システムを作ってみよう！

転置インデックスによる検索システムを作ってみよう！ 2007-11-26-5 [Algorithm][Programming] 転置インデックス[2007-06-17-6]による検索システムの実装はパフォーマンスを無視すれば意外と簡単です。それを示すために Perl で簡単な検索システムを作ってみました。検索方式は転置インデックス(Inverted Index)、ランキングには TF-IDF[2005-10-12-1] を用いました。検索対象ファイルは一行一記事で以下のフォーマットとします。 [記事ID][SPC][記事内容]\n 記事IDは数字、記事内容は UTF-8 の文字で構成されるものとします。以下のようなサンプル test.txt を用意しました。 1 これはペンです 2 最近はどうですか？ 3 ペンギン大好き 4 こんにちは。いかがおすごしですか？ 5 ここ最近疲れ

aki77 2007/12/05

リンク

HTML::Feature - 重要部分を抽出するモジュール - - ダウンロードたけし（寅年）の日記

以前からCPANで公開していたモジュールがあるんですが、日本語での解説ドキュメントがなかったのと、最近大幅にブラッシュアップしたので、せっかくなので紹介記事を書きます。 HTML::Feature - Extract Feature Sentences From HTML Documents 「えいちてぃえむえる::ふぃーちゃー」と読みます。ブログやニュース記事など様々なHTML文書から「重要部分」を推測して抽出してくれる perl モジュールです。「重要部分」とはいわゆる「本文」のことですね。本文抽出とか焦点抽出とか色々な言い方があるかと思いますが、まぁ要するに特徴的な部分を推測して抽出するわけです。どういうものか。例えばブログ記事からヘッダーやフッター、その他のナビゲーションブロックを除いた「記事らしき部分」だけを切り取りたい、とします。ぱっと思いつくのは「特定のコメントタグ