[B! mapreduce] shinichitomitaのブックマーク

非リレーショナルデータベースが結合演算を扱えない、、、という誤解を解く。 - Web屋の人の日記 || WebJourney 開発ログ

明日の勉強会の準備をしていたら、今回の本の範囲外ですが、ちゃんとまとめておかないと、というところを思い出したので書いておきます。だいぶ前に書いた気がしないでもないけど。 CouchDBではMapReduceを工夫することで関係モデルの結合演算を扱えます。なぜかKVSと一緒くたにされて、JOINができないから、だのなんだのいわれますが、SQLの関係演算の本質(? ... いや知らないけど)を見極めていれば、CouchDBのMapReduceであらかたの演算ができます。という話。だったら非リレーショナルデータベースっていうなよ、という話は抜きです。だってリレーショナルデータベースっていうとめんどくさいことになるんだもの。まずは普通に外部結合ブログエントリとブログのコメントのリレーション、だとエンタープライズ脳の人が納得しないようなので、取引伝票と取引明細でいきます。まずは、取引伝票 {

shinichitomita 2009/10/19

リンク

blog.katsuma.tv

前回、JavaScriptでMap Reduceのコードが書けるHadoop Streamingについて紹介しました。標準入出力さえサポートされてあれば、任意のコードでMap Reduuceの処理が書ける、というものでしたが、エンジニアはそもそも面倒くさがり。コードも書くのも面倒です。と、いうわけで、今回はもうコードすら書かずにSQLライクでMap ReduceできるHiveというプロダクトについて、まとめたいと思います。 Hive Hiveとは、簡単に言うとHadoop上で動作するRDBのようなものです。 HDFSなどの分散ファイルシステム上に存在するデータに対して、HiveQLというSQLライクな言語で操作できます。で、面白いのがHiveQLの操作は基本的にMap Reduceのラッパーになっていること。要するに、SELECT文実行すると裏でMap&Reduceのタスクが走り出

shinichitomita 2009/09/12

リンク

blog.katsuma.tv

久々のBlog更新、というわけでリハビリがてらJavaScriptで軽く遊んでみたいと思います。いま、巷で流行ってるMapReduceのオープンソース実装Hadoopは「Hadoop Streaming」という標準入出力でデータのやりとりができる仕組みを使って、 Hadoopの実装言語であるJavaにとらわれず、RubyやPerlなど他の言語でもMap＋Reduceの処理ができることが１つのウリになっています。で、僕たちwebエンジニアはみんなJavaScript大好きなので、「JavaScriptでもMap Reduceやりたい！」という流れになるのは必然です。そこで、試行錯誤でいろいろ試してみると割とさっくり出来たのでそのメモを残しておきたいと思います。環境の整備 Mac OSX上のVMWare FusionにCentOSの仮想マシンを２台立ち上げて、環境セットアップしました。

shinichitomita 2009/08/03

> cat input/file1 | js script/map.js | js script/reduce.js

リンク

株式会社マジカジャパンの羽生章洋が書いてるブログ:CouchDBと戯れ - livedoor Blog（ブログ）

先日ERDレッスンがどうのとかRDBMSありきとか書いておきながら何ですが、Pythonに加えてCouchDBが楽しいです。CouchDBのMapReduceを実行するView ServerのデフォルトはJavaScriptですが、これもPythonに差し替えてみたりしてます。でも試行錯誤中なのと、私の環境では日本語の扱いがPythonだと上手くいかないので、世の中のサンプルをコピる場合はJavaScriptを使ってます。 Pythonを使うときはIDEはPyScripterを使っているのですが、ぶっちゃけメモ帳でもOKな気分です（笑）。大きなアプリケーションを作ってないからだとは思います。あとはコマンドプロンプトとブラウザで済んでます。軽くていいです。不思議なもので、JavaのときはIDE上でやらないと落ち着かない体になっていたのですが、Pythonだとコマンドラインのほうが気持ちいい