MapReduce - naoyaのはてなダイアリー
"MapReduce" は Google のバックエンドで利用されている並列計算システムです。検索エンジンのインデックス作成をはじめとする、大規模な入力データに対するバッチ処理を想定して作られたシステムです。 MapReduce の面白いところは、map() と reduce() という二つの関数の組み合わせを定義するだけで、大規模データに対する様々な計算問題を解決することができる点です。 MapReduce の計算モデル map() にはその計算問題のデータとしての key-value ペアが次々に渡ってきます。map() では key-value 値のペアを異なる複数の key-value ペアに変換します。reduce() には、map() で作った key-value ペアを同一の key で束ねたものが順番に渡ってきます。その key-values ペアを任意の形式に変換すること
学習ブロック入門編
next:計画ブロック入門編 >> Next Session:人工無脳の条件 人工無脳はチャットの内容を記憶し、それを再構成することで会話を行なうふりをする。近年では自分が属しているチャットだけでなく、ニュースサイトのテキストなども収集して学習する人工無脳も多い11こうさぎ、酢鶏など。チャットやRSSから得られた文字列を必要な形式で記憶することが学習ブロックの目的である。人工無脳の学習アルゴリズムは文の再構成アルゴリズムと一体になっている場合が多いのだが、あえて切り離して議論することで組み合わせの自由などを考えることができるようになる。そこで、ここでは学習、すなわち入力文字列を記憶に変換するアルゴリズムについてのみ考えよう。 マルコフ連鎖 以前から注目されているアルゴリズムに、C. Shannonによって1948年に発案されたマルコフ連鎖によるテキスト生成(Markov text gene
カテゴリ分類 AI::Categorizer :: Drk7jp
カテゴリ分類 AI::Categorizer 次なるサービスのネタ探しとしてテキストマイニング系の実験をしているのですが、最近流行のベイズ理論では、なかなか最適解っぽいものを出力してくれません。もっとも最適解に近いものを出力してくれると最近話題の SVM を使っていろいろやりたいなぁ〜と考えるも、何やら小難しいです。 * Algorithm-NaiveBayes-0.03.tar.gz * Algorithm-SVM-0.08.tar.gz で、いろいろ CPAN の AI 関連を彷徨いていたら AI::Categorizer なるモジュールを見つけました。このモジュールは、英語のテキストをカテゴリ分類するための AI モジュールで、カテゴリ分類のアルゴリズムとして、 * NaiveBayes / SVM / DecisionTree / Weka の４種類を実装しています。Ne
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
http://java-house.jp/ml/archive/j-h-b/051678.html
