機械学習 × MapReduce - ny23の日記
個人的な興味というより，雑用絡みで眺めた論文の紹介．機械学習アルゴリズムを並列分散化するという話が最近流行っているようだ．全然網羅的ではないけど，誰かの役に立つかも知れないので，幾つかメモしておく．まず古典的にはこれ， Map-reduce for machine learning on multicore (NIPS 2006) 古典的な機械学習アルゴリズム（バッチ学習）の多くは，Statistical Query Model で記述できて，それらは summation form で記述できる (から，MapReduce で並列化できる)．実装は Mahout．ただ最近は，バッチアルゴリズムで解ける問題には多くの場合対応するオンラインアルゴリズムが提案されていて，バッチアルゴリズムを並列化することのメリットはあまり無い．オンラインアルゴリズムだとパラメタが連続的に更新されるので，MapR
マルコフ連鎖で日本語をもっともらしく要約する - ザリガニが見ていた...。
そもそも、マルコフ連鎖とは何なのか？全く聞いたこともなかった。そして、文章を要約するのはとっても高度なことだと思っていて、自分のレベルではその方法を、今まで思い付きもしなかった。 しかし、以下のようなシンプルなRubyコードでそれが出来てしまうと知った時、目から鱗である...。一体、何がどうなっているのだ？コードを追いながら、マルコフ連鎖を利用するという発想の素晴らしさを知った！ 作業環境 MacBook OSX 10.5.7 ruby 1.8.6 (2008-08-11 patchlevel 287) [universal-darwin9.0] mecab utf8環境でインストール済み マルコフ連鎖に出逢う rssを流し読みしていると、以下の日記に目が止まった。（素晴らしい情報に感謝です！） MeCabを使ってマルコフ連鎖 一体何が出来るコードなのか、日記を読んだだけではピンと来なかっ
散逸構造論（プリゴジン）
エントロピーの法則だけに従えば、世界は停止しつつある。 なぜこの宇宙には秩序や構造があるのか？その創造はなぜなされるのか？ 原子は放っておけば、無秩序に向かうとされるが、実際には放って置かれている原子などあるのだろうか？ どこかおかしい…… 少なくとも生物学的な世界はますます成長し組織を失うのではなく、より組織化されつつあるではないか！ こうした疑問を持ち続けた化学者がいた。イリヤ・プリゴジンである。物理学と生物学、可逆な時間と不可逆な時間、秩序と無秩序、偶然と必然を一つの枠組みにいれてその相互関係に注目するとき、雄大な理論が作られた。それは議論にあたいするのは当然だが、この場合はさらに強力で威厳のあるものとなった。彼はその研究である「散逸構造論」で１９７７年にノーベル化学賞を受賞した。相対性理論、量子論以来の最重要科学的発見とされている。 ニュートンのモデルも当時の知的ゆらぎから派生した
「脳の回路図」を作る：全シナプスの「地図」を作成 | WIRED VISION
「脳の回路図」を作る：全シナプスの「地図」を作成 2008年1月28日 サイエンス・テクノロジー コメント： トラックバック (0) Alexis Madrigal 数百万のニューロンがつながり合う脳の回路図を作成する『ATLUM』装置。ネズミの脳を、りんごの皮むき器のように剥いてごく薄い切片にしていく。 ハーバード大学の研究者らが、脳の組織を高解像度の神経地図に自動変換する新しい装置を利用して、脳の回路図を作るという壮大な計画に着手している。 研究者らは、脳の中にあるすべてのシナプスの地図を作成することによって、「コネクトーム」(connectome)を作り出したいと考えている。コネクトームは、『fMRI』のような現在の最先端を行く脳内測定装置をはるかにしのぐほど、詳細なレベルで脳の活動を明らかにする回路図となるだろう。 「思ってもみなかったものを見ることになるだろう。これまでほとんど手
パターン認識に関する公開プログラム
宇野毅明と有村博紀による公開プログラム（コード） このページでは、公開しているプログラムのコードがダウンロードできます。主に、列挙アルゴリズムやデータマイニングに関するものです。全て、宇野毅明、あるいは、良く一緒に研究をしてお世話になっている北海道大学の有村博紀先生によって作られたものです。各プログラムに使用言語とコード作成者が書いてありますので、質問、あるいはバグの報告などは、作成者にご連絡ください。宇野毅明は uno@nii.ac.jp、有村博紀先生は arim@ist.hokudai.ac.jp です。 !!! コードの最近のバージョンに、マッキントッシュのフォーマットではエラーが出るというバグがありました。現行バージョンではこのバグは治っています。 LCM (Linear time Closed itemset Miner) ver.2 (C言語、宇野毅明) [文献 1]
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
http://www.asahi.com/science/update/0619/OSK200706190067.html