Kazuho@Cybozu Labs: アクセスログからアテンション（注目情報）をデータマイニングする手法について
多数のユーザーの行動記録からアテンション情報（注目されているデータが何か）をデータマイニングしたいというのは、大量のデータを扱っているウェブサイトにおいては自然と出てくる要求です。そこで、先月末にサービスを終了したサービス「パストラック」において使用していた、アクセスログから注目度（人気度）の高いウェブページや人名等のキーワードを抽出するためのアルゴリズムを紹介しておきたいと思います。 たとえばはてなブックマークのような、ユーザーの能動的な行為（「ブックマークする」という作業）から注目情報を抽出するのは決して難しいことではありません。それは、直近の一定期間内のブックマーク数＝注目度、という前提が上手に機能するからです。現に、はてなブックマークの人気エントリーは、最近24時間程度の期間内にブックマークしたユーザー数の多い URL を降順で並べているように見受けられます。 しかし、アクセスログ
Solr-1.4.1でcmecab-javaを使ってみる - use No::Name;
久しぶりにjava関連の内容。 前提条件 今回の作業を行った環境は以下のとおり。 OSバージョン : MacOSX 10.6.4 Snow Leopard パッケージツール: MacPorts 1.9.1 Java 今回利用するバージョンは 1.6.0_20 javaはOSにインストールされているものをそのまま利用する。但し、一点だけ注意が必要。id:from_kyushu:20090713 に記載のある通り、JDK6を利用すると標準出力の際の文字コードがSJISになってしまう。 今回、MeCabで利用する辞書はUTF-8を前提としているほか、MacOSのTerminal.appは文字コードが標準でUTF-8に設定されていることもあり何かと不都合があるので、以下のように設定を行う。 alias javac='javac -encoding UTF-8' alias java='java -
仕事用メモ
2015/04/12 時間の計算 2011/04/18 MySQLに登録されているデータに特定の地点がふくまれるか？そのに 2011/04/12 MySQLに登録されているデータに特定の地点がふくまれるか？ 2011/04/11 mysqlのGeomFromText登録時 2010/12/13 linux環境でのcmecabを動かしたときのめも 2015/04/12 Sun. 19:34 [edit] 時分から秒に変換ないかなぁってネットさまってよってたけど 冷静に考えたら簡単な計算でいけるんじゃんとおもった今日このごろ・・・・ Dim h As Long ’時間をセット Dim m As Long '分をセット Dim s As Long '秒をセット Dim ret As Long '0クリアする ret = 0 '時間単位の値 ret = h* 3600 '分の単位の値 ret =
Solr1.4-devとcmecab-java
cles::blog 平常心是道 blogs: cles::blog NP_cles() « VMWareでディスクを拡張する :: 正規表現で制御文字をフィルタする » 2009/06/29 Solr1.4-devとcmecab-java nlp java solr 263 0へぇ 最近Solrでつくる検索サーバーが個人的にちょっとホットなので、自分でも環境構築をしてみました。 Solr 1.3で日本語の形態素解析に基づくインデックスを作りたい場合senのダウンロードページにあるlucene-ja-2.0test2.zipからlucene-ja.jarとsen.jarを取り出してlibに配置し、schema.xmlに下記を追加するように指示*1している場合が多いようです。 <fieldType name="text_sen" class="solr.TextField"> <ana
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
[備忘録] Solr 1.4 と cmecab-java で日本語検索環境を構築