Clojure+Leiningenで3分HadoopServerless with Spring Cloud Function, Knative and riff #SpringOneTour #s1tToshiaki Maki
Map/Reduce Tutorial
This document comprehensively describes all user-facing facets of the Hadoop Map/Reduce framework and serves as a tutorial. Ensure that Hadoop is installed, configured and is running. More details: Hadoop Quick Start for first-time users. Hadoop Cluster Setup for large, distributed clusters. Hadoop Map/Reduce is a software framework for easily writing applications which process vast amounts of
GoogleのMapReduceアルゴリズムをJavaで理解する
GoogleのMapReduceアルゴリズムをJavaで理解する：いま再注目の分散処理技術（前編）（1/2 ページ） 最近注目を浴びている分散処理技術「MapReduce」の利点をサンプルからアルゴリズムレベルで理解し、昔からあるJava関連の分散処理技術を見直す特集企画（編集部） いま注目の大規模分散処理アルゴリズム 最近、大規模分散処理が注目を浴びています。特に、「MapReduce」というアルゴリズムについて目にすることが多くなりました。Googleの膨大なサーバ処理で使われているということで、ここ数年の分散処理技術の中では特に注目を浴びているようです（参考「見えるグーグル、見えないグーグル」）。MapReduceアルゴリズムを使う利点とは、いったい何なのでしょうか。なぜ、いま注目を浴びているのでしょうか。 その詳細は「MapReduce : Simplified Data Proc
MapReduceのJava実装Apache Hadoopを使ってみた
$ /usr/java/latest/bin/javac -cp hadoop-0.18.0-core.jar sample/*.java $ /usr/java/latest/bin/jar cvf charcount.jar sample/*.class マニフェストが追加されました。 sample/CharCount.class を追加中です。(入 = 1801) (出 = 843)(53% 収縮されました) sample/MapClass.class を追加中です。(入 = 1853) (出 = 755)(59% 収縮されました) sample/Reduce.class を追加中です。(入 = 1530) (出 = 607)(60% 収縮されました) サンプルを実行するには、次のようにします。サンプルを動作させた場合には、一度「input」ディレクトリ内のファイルをすべて削除してか
blog.katsuma.tv
前回、JavaScriptでMap Reduceのコードが書けるHadoop Streamingについて紹介しました。 標準入出力さえサポートされてあれば、任意のコードでMap Reduuceの処理が書ける、というものでしたが、エンジニアはそもそも面倒くさがり。コードも書くのも面倒です。 と、いうわけで、今回はもうコードすら書かずにSQLライクでMap ReduceできるHiveというプロダクトについて、まとめたいと思います。 Hive Hiveとは、簡単に言うとHadoop上で動作するRDBのようなものです。 HDFSなどの分散ファイルシステム上に存在するデータに対して、HiveQLというSQLライクな言語で操作できます。 で、面白いのがHiveQLの操作は基本的にMap Reduceのラッパーになっていること。 要するに、SELECT文実行すると裏でMap&Reduceのタスクが走り出
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
