hiromarkのブックマーク / 2010年9月26日

はじめてでもわかるベイズ分類器－基礎からMahout実装まで－

This document discusses Mahout, an Apache project for machine learning algorithms like classification, clustering, and pattern mining. It describes using Mahout with Hadoop to build a Naive Bayes classifier on Wikipedia data to classify articles into categories like "game" and "sports". The process includes splitting Wikipedia XML, training the classifier on Hadoop, and testing it to generate a co

hiromark 2010/09/26

よんでみる

algorithm

リンク

HAMT(Hash Array Mapped Trie) - sileのブログ

『Ideal Hash Trees』*1という論文を(必要なところだけ、だいたい)読み終わったので、そのメモ等。概要 AMT(Array Mapped Trie)という基盤的なデータ構造を使って、ideal(nearly ideal)なHash Treesを作ろう、というような話。 AMTの応用例として、以下のようなものが説明されている。 Hash Array Mapped Trie(HAMT) ハッシュマップ各種操作がO(1) ハッシュテーブルの初期サイズを(あまり)気にする必要がない要素が増えた場合のリサイズのコストが小さい*2 リサイズ不要な実装も可能だがその場合はO(log N)に。※ Nは要素数。今回の実装はこっち。成功検索時、キーの比較は一回しか生じないただし、キーのハッシュ値の計算処理は(異なるハッシュ関数で)複数回行われることがある。 Clojureの組み込みのハ

hiromark 2010/09/26

これちゃんと論文読みたい。

hash
trie

リンク

Chikirinの日記

2005 | 03 | 04 | 05 | 06 | 07 | 08 | 09 | 10 | 11 | 12 | 2006 | 01 | 02 | 03 | 04 | 05 | 06 | 07 | 08 | 09 | 10 | 11 | 12 | 2007 | 01 | 02 | 03 | 04 | 05 | 06 | 07 | 08 | 09 | 10 | 11 | 12 | 2008 | 01 | 02 | 03 | 04 | 05 | 06 | 07 | 08 | 09 | 10 | 11 | 12 | 2009 | 01 | 02 | 03 | 04 | 05 | 06 | 07 | 08 | 09 | 10 | 11 | 12 | 2010 | 01 | 02 | 03 | 04 | 05 | 06 | 07 | 08 | 09 | 10 | 11 | 12 | 2011 | 0

hiromark 2010/09/26

tv

リンク

自然言語処理勉強会で「ナイーブベイズによる言語判定」を発表してきました - 木曜不足

第2回自然言語処理勉強会＠東京にのこのこ行ってきました。ありがとうございました＆お疲れ様でした＞各位。今回も全然専門じゃあないのに「ナイーブベイズで言語判定」というタイトルで発表してきた。ナイーブベイズによる言語判定 from Shuyo Nakatani 内容は、仕事で作った(←ここ重要)言語判定ライブラリの紹介。前回の「本文抽出 using CRF」は検証プロトタイプであったわけだが、今回はオープンソースとして公開＆最終的に製品に組み込むことを目標とした代物なので、「なんか良さげな感じ〜」だと駄目。目指すのは 50言語、99.うん%。精度を上げるためにやれることならなんでもやる、というのがミッションなので、限りなく泥臭いことの積み重ねになる。というわけでここ2ヶ月の積み重ねを資料にしてみたら、なんか膨大になってきて、また今回もしゃべりすぎてしまった(汗楽しんでいただけた

hiromark 2010/09/26

あとでよむ

nlp
todo

リンク

【産経抄】平成生まれのみなさんへ。９月２６日 - MSN産経ニュース

平成生まれのみなさんへ。長かったいくさが終わって、中国がぼくたちの「ともだち」だった時期がほんのひとときあったんです。つきあい始めたころには、白黒の珍獣を友情の印に贈ってくれ、上野動物園には長蛇の列ができました。　▼こんな愛くるしい動物のいる国はきっと、やさしい人たちが住んでいるんだろうな、とぼくたちは信じました。もちろん、いくさで死んだ兵隊さんを祭った神社に偉い人が参っても文句ひとついいませんでした。　▼しばらくして、「ともだち」は、神社へのお参りに難癖をつけ、ぼくたちが持っている島を「オレのものだ」と言い出しました。びっくりしましたが、トウ小平というおじさんが「次の世代は我々よりもっと知恵があるだろう」と言ってくれました。　▼でも小平おじさんは、本当は怖い人だったんです。「自由が欲しい」と広場に座り込んでいた若者たちが目障りになり、兵隊さんに鉄砲を撃たせ、多くの人を殺してしまいました。

hiromark 2010/09/26

うわあ。。。

リンク

中国がレアアース輸出規制したって怖くない理由 - My Life After MIT Sloan

尖閣諸島問題に関連して、中国が日本へのレアアース（希土類）輸出を禁止したという報道は、中国当局は否定していたが、結局那覇地検が中国人船長の釈放をしてしまい、真偽がわからないまま終わってしまった。今回はこれで終わったが、自動車や半導体、光学製品など日本が強みとする産業で使われるレアアースは、世界的にも9割以上の産出を中国に頼っている状況だ。中には中国でしか産出しないとされている元素もある。日本の製造業にとって、政情の不安定さもある一国に資源を依存し続けるのは危険な状況だ。実際、8月末にも中国がレアアースの輸出を制限している。（参照記事：レアアース輸出拡大、中国側「ゼロ回答」―2010/08/29 朝日新聞社）世界的にレアアース需要が高まる中の独占状態なので、値段を吊り上げようという意図もあるだろうし、中国の製造業企業に、日本などと比べて競争力を持たせたいという意図もあろう。