MapReduce on Tyrant - mixi engineer blog
先日、隅田川の屋形船で花見と洒落込んだのですが、その日はまだ一分咲きも行ってなくて悲しい思いをしたmikioです。今回はTokyo Tyrant（TT）に格納したデータを対象としてMapReduceのモデルに基づく計算をする方法について述べます。 MapReduceとは Googleが使っているという分散処理の計算モデルおよびその実装のことだそうですが、詳しいことはググってください。Googleによる出自の論文やApacheプロジェクトによるHadoopなどのオープンソース実装にあたるのもよいでしょう（私は両者とも詳しく見ていませんが）。 今回の趣旨は、CouchDBがMapReduceと称してJavaScriptで実現しているデータ集計方法をTTとTCとLuaでやってみようじゃないかということです。簡単に言えば、以下の処理を実装します。 ユーザから計算開始が指示されると、TTは、DB内の
S1100: levenstein～PHPで編集距離 その２
2009年3月24日 levenstein～PHPで編集距離 その２ カスタム関数でのマルチバイト対応は、冷静になったら出来た。遅さに関しては、冷静に考えてキーワードはそんなにたくさん要らないのでキーワード登録を1,000位にしたら気にならなくなった。（たくさんアクセスが来たら問題かもしれないが）bigramインデックスを作ることも頭によぎったが、今そこまでしなくていいかなと。 組み込みであったlevenshtein()関数は結構便利そうなのだが、EUC-JPでテストしても日本語対応できていない気がする。levenshtein('あいう', 'いう',1,1,1);の結果が2っておかしい。挿入以外は正しい距離が出るときもあるようだが、使い物にはならない。(PHP5.2.8) CakePHPのモデルを作った。キーワードのテーブルを作り、上記のような検索関連の関数を収録した。 作っていろいろキ
はてなブログ | 無料ブログを作成しよう
念願の資生堂メイクレッスンに行った かしら、かしら？ご存知かしら？ 資生堂のメイクレッスン、美容に興味のある女性はたいてい知っていそうだが一応そこから説明しておく。 世の中にはメイクを教えてくれるサービスがいろいろある。ドラッグストアのカウンター、デパートのカウンター、専門のサロンエト…
Master_thesis.dvi
10 第 2 章 グラフレイアウト 2.1 グラフレイアウト手法 第 1 章で述べたような審美的基準に沿ってグラフをレイアウトするには、どのよう なノード配置が審美的基準を最適化するかを探索する。 しかし、総当り的に探索することは組み合わせ的に膨大な数となり多くの場合 NP 困 難であるため、ユーザによるインタラクティブな情報獲得を支援するためには、近似 的な最適解を短時間で求めるためのヒューリスティ ックな手法が求められる。 そのための手法は大まかに 2 種類に分類され、グラフ理論をベースにしたアルゴリ ズム的アプローチ、物理モデルをベースとしたモデル的アプローチがある。[2] 2.2 アルゴリズム的アプローチ 主にグラフアルゴリズムや、計算幾何、離散数学などの理論的手法を利用し、あら かじめ用意された審美的基準を拘束条件としてこれを準最適化するように設計された 高速なア
IBM - 日本
企業には、汎用的なAIではなく「ビジネス向けに設計されたAI」が求められることを強調する、新たなキャンペーンを開始しました。これらのアニメーションに込めた「IBMよりお伝えしたい5つのこと」をご紹介します。 最新情報 ドイツと日本の宇宙機関、国際宇宙ステーションでロボット間連携の画期的成果を達成 ドイツテレコム社がIBM Concertを採用し、AIを活用した自動化でIT業務を加速 IBM、2025年度第2四半期の連結決算を発表 日本IBM、医療従事者の業務変革を促進する「病院業務支援AIソリューション」を提供開始 CEOスタディ2025「ビジネス成長を飛躍させるための5つの意識改革」日本語版を公開 IBM、エンタープライズITの水準を引き上げるIBM Power11を発表 ウィンブルドンを主催するオールイングランド・ローンテニス・クラブとIBM、リアルタイムでファン・エンゲージメントを高
文書比較（diff）アルゴリズム
文書比較（diff）アルゴリズム 前のドキュメント 次のドキュメント ＶｉＶｉの文書比較（diff）機能で使用しているアルゴリズムについて解説する。 これらのアルゴリズムは Myers 氏らの論文によるもので、氏は筆者のためにわざわざ論文をＷｅｂサイトで入手可能な形式にしてくださった。この場を借りてお礼申し上げる。 オリジナル論文は以下のＷｅｂサイトから入手可能である。 http://www.cs.arizona.edu/people/gene [1] E.W.Myers, "An O(ND) Difference Algorithm and Its Variations", Algorithmica, 1 (1986), pp.251-266 [2] S. Wu, U. Manber, G. Myers and W. Miller, "An O(NP) Sequence Comparis
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
TM's WorkSpace
オブジェクト指向方法論に基づく オブジェクト図の自動レイアウト
untitled
SQLで木と階層構造のデータを扱う――入れ子集合モデル