Clojure+Leiningenで3分Hadoop
1. Clojure+Leiningen で 3 分 Hadoop Shibuya.lisp TT#5 March 10, 2010 @making ( http://ik.am ) BlogSystem Written By CommonLisp 「 CategoL 」 ( http://github.com/making/categol ) 2. Clojure をインストールした後、 こんな風に思ったことないですか？ REPL 起動の仕方が人によって違わない？ .clj ファイルをロードしたいけど Could not locate っていわれる クラスパス追加しないといけないの？ jar をどこに置けばいいのか分からない 面倒くさい。。。 3. Leiningen (pronounced “LINE-ing-en”) Clojure のビルドツール http://github.com
Googleの基盤クローン Hadoopについて
2. 自己紹介 太田一樹 東京大学情報理工学系研究科コンピューター科学専攻石川研究室 M1 HPC 系の話 ( 並列ファイルシステム ) 個人サイト http://kzk9.net/ http://kzk9.net/blog/ 興味 OS, ネットワーク , I/O, 分散システム OSS 的活動 I was a committer of KDE, uim, SigScheme copybench? Kernel Reporter 3. とは？ Google の基盤ソフトウェアのクローン Google File System, MapReduce Yahoo Research の Doug Cutting 氏が開発 元々は Lucene のサブプロジェクト Doug の子供の持っているぬいぐるみの名前 Java で記述 ! 4. Google 関連 参考論文 & スライド The Goog
Map/Reduce Tutorial
This document comprehensively describes all user-facing facets of the Hadoop Map/Reduce framework and serves as a tutorial. Ensure that Hadoop is installed, configured and is running. More details: Hadoop Quick Start for first-time users. Hadoop Cluster Setup for large, distributed clusters. Hadoop Map/Reduce is a software framework for easily writing applications which process vast amounts of
GoogleのMapReduceアルゴリズムをJavaで理解する
GoogleのMapReduceアルゴリズムをJavaで理解する：いま再注目の分散処理技術（前編）（1/2 ページ） 最近注目を浴びている分散処理技術「MapReduce」の利点をサンプルからアルゴリズムレベルで理解し、昔からあるJava関連の分散処理技術を見直す特集企画（編集部） いま注目の大規模分散処理アルゴリズム 最近、大規模分散処理が注目を浴びています。特に、「MapReduce」というアルゴリズムについて目にすることが多くなりました。Googleの膨大なサーバ処理で使われているということで、ここ数年の分散処理技術の中では特に注目を浴びているようです（参考「見えるグーグル、見えないグーグル」）。MapReduceアルゴリズムを使う利点とは、いったい何なのでしょうか。なぜ、いま注目を浴びているのでしょうか。 その詳細は「MapReduce : Simplified Data Proc
MapReduceのJava実装Apache Hadoopを使ってみた
$ /usr/java/latest/bin/javac -cp hadoop-0.18.0-core.jar sample/*.java $ /usr/java/latest/bin/jar cvf charcount.jar sample/*.class マニフェストが追加されました。 sample/CharCount.class を追加中です。(入 = 1801) (出 = 843)(53% 収縮されました) sample/MapClass.class を追加中です。(入 = 1853) (出 = 755)(59% 収縮されました) sample/Reduce.class を追加中です。(入 = 1530) (出 = 607)(60% 収縮されました) サンプルを実行するには、次のようにします。サンプルを動作させた場合には、一度「input」ディレクトリ内のファイルをすべて削除してか
Hadoop Map/Reduce チュートリアル hadoop-0.18.2 2008 年 11 月 25 日 1 目的 このドキュメントは Map/Reduce フレームワークとサービスのユーザー側面でのすべてについてチュートリ アルとして総合的に��
Hadoop Map/Reduce チュートリアル hadoop-0.18.2 2008 年 11 月 25 日 1 目的 このドキュメントは Map/Reduce フレームワークとサービスのユーザー側面でのすべてについてチュートリ アルとして総合的に解説します 2 準備 Hadoop のインストールと設定を行い、動作していることを確認してください。詳細については次を参照して ください: • Hadoop Quickstart [?] for first-time users. • Hadoop Cluster Setup [?] for large, distributed clusters. 3 概要 Hadoop Map/Reduce はコモディティ・ハードウェアから成る大規模なクラスタ（数千ノード）において、信 頼性や耐障害性を確保しつつ膨大な量のデータ（数テラ・バイトのデータ・セ
Hadoopで分散処理するときにはmapとreduceのタスクの数を指定すべし - (ﾟ∀ﾟ)o彡 sasata299's blog
2009年08月21日09:38 Hadoop Hadoopで分散処理するときにはmapとreduceのタスクの数を指定すべし 最近、悪戦苦闘しながら大規模分散計算フレームワークである Hadoop を使っているささたつです。どうもこんにちわ。彡(=ﾟωﾟ)ﾉ彡 ＜ｺﾆﾁﾜ- そもそも Hadoop というのは、 HadoopはApacheの1プロジェクトとして開発が進められているJavaで書かれたソフトウェアで、グーグルの大規模データ処理基盤技術である「Google File System」（GFS）、「MapReduce」をオープンソースで実装したもの。多数のサーバを使って大規模なデータ処理が行える。 というものです。要は大量のデータを処理するときに、複数台のサーバで分散処理してあげれば処理が早くなるでしょーというわけで、そのためのフレームワークです。 分散処理を自分でやるとなると特定
RubyでHadoop Streaming[2/2] - 森薫の日記
Hadoop, Ruby | 00:43 | d:id:kaorumori:20090202:1233509351の続きです。Rubyのコードが長くなってしまいました。文字数をカウントするMapReducemap.rb #!/usr/bin/env ruby ARGF.each do |line| line.chomp! words = line.split(/:/) words.each do |word| unless word.empty? printf("%s\t1\n", word) end end end reduce.rb #!/usr/bin/env ruby h = Hash.new ARGF.each do |line| line.chomp! array = line.split(/\t/) key = array[0] value = array[1] if h.k
Hadoop-Streamingでワードカウント:お題目うぉっち
2009年03月11日 Hadoop-Streamingでワードカウント 昨日作ったワードカウント用のmapper.rb と reducer.rb を hadoop-streaming で実行してみた。 まずは hadoop ディレクトリの中に script というフォルダを作り、その中にこれらのスクリプトファイルを置く。 実行前に解析したいファイルを input というフォルダを作って中に入れておき、bin/hadoop fs -put input input を実行して、HDFSに送り込んでおく。 そして、下記のようにして実行bin/hadoop jar contrib/streaming/hadoop-0.19.1-streaming.jar -input input -output output -mapper "ruby c:\java\hadoopscript\mapper.r
Hadoop Streaming の Mapper と Reducer を初めて書いて感じたこと:お題目うぉっち
2010年02月02日 Hadoop Streaming の Mapper と Reducer を初めて書いて感じたこと O'reilly の Hadoop本を読んで、ますます Hadoop 熱が上昇中。ということで、社内でもともとDBで行っていて「重い、重い」と評判の分析処理を題材に、既存ロジックの Mapper、Reducerへの置き換えを体験してみた。 結局、6段階のMapReduceのチェーンに置き換えられたのだが、内容はさておくとして、既存の処理を mapper、reducer に置き換えていったときに感じたこと、印象深かったことを記しておくことにする（多分、思い違いや、もっといい方法があると思うが、初心者の過ちということで）。 ■ Streamingの場合、Mapper, Reducerへの入力は Key, Value ではない Javaのメソッドの説明を下手に読んで私がまず混
Amazon EC2 + Hadoop Streaming で データ処理を行う
Hadoop on Flickr - Photo Sharing! お題は “Always on the side of the egg” をワードカウントしてよく使われている単語を見つけるというもの。ちなみにこの”Always on the side of the egg”というのは日本語訳すると「常に卵の側に」で、村上春樹氏がエルサレム賞の受賞スピーチで読み上げたものです。 今回は【英語全文】村上春樹さん「エルサレム賞」授賞式講演 - 47トピックスの英文を使いましたが、オリジナルの発表原稿も公開されていました。 Always on the side of the egg - Haaretz - Israel News Hadoop Streaming というのは通常はHadoop上の処理をする場合はJavaで記述する必要があるのですが、好きな言語でコードを記述しそれを標準入出力を介し
RubyでHadoop Streaming[1/2] - 森薫の日記
Hadoop, Ruby | 02:29 | WEB+DB PRESS Vol.48でid:naoyaさんがHadoopの記事を執筆されていました。PerlからHadoop Streamingを使う方法が解説されていて、それと同じことをRubyで試してみました。WEB+DB PRESS Vol.48作者: WEB+DB PRESS編集部編出版社/メーカー: 技術評論社発売日: 2008/12/23メディア: 大型本標準入力をそのまま出力するMapperによるMapReduce/etc/passwdをHDFSにコピー $ /usr/local/hadoop/bin/hadoop dfs -copyFromLocal /etc/passwd passwd Mapperの作成map.rb #!/usr/bin/env ruby ARGF.each do |line| line.chomp! pr
第30回 RubyとHadoopで分散処理 Hadoop Streamingで外部データを読み込む | gihyo.jp
前回のおさらい 第28回ではHadoop Streamingの仕組みについて説明しました。今回は、実際にHadoop Streamingを利用してデータ解析したときの具体的な話や、利用してみて困った（ハマった）Hadoop Streaming特有の問題とその解決法について紹介していきます。 実際に利用してみて困った（ハマった）こと さて、第28回でも紹介しましたが今回Hadoopを利用したのはopen('http://tabemiru.com/2009'); return false;">たべみるのデータ解析のためです。たべみるのデータ解析では、食材名や地域名といった特定の値ごとにデータをまとめる処理が多く、またその処理速度が遅いのが問題だったのですが、このような処理はHadoop上（Ruby）でも比較的簡単に実装することができました。 それで最初は「これはスムーズにHadoop上に処理を
Hadoopを使いこなす(2)
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog こんにちは、 前回のHadoopの記事 に引き続き、MapReduceのカスタマイズポイントを解説していきます。 前回の記事の図や、表などを参照しながら読み進めていただければと思います。 MapperやReducerの流れの制御 Mapperの実行の流れは、デフォルトでは、初期化処理を行った後、map関数を繰り返し実行し、終了処理を行うようになっていますが、この流れ自体を制御することができます。 古いAPIでは、MapRunnerを通じてこの流れを制御できますが、0.20.0からの新しいAPIでは単純にMapperクラスのrun関数をオーバーライドすることで、行えます。 デフォルトのrun関数は以下の通りです。 public vo
Hadoopを使いこなす(1)
まず、 1 の入力ファイルを分割する方法は、InputFormatクラスの、getSplits関数を上書きすることで、カスタマイズできます。 また、 3 のInputSplitから、KeyとValueを抽出する処理も、InputFormatクラスを通じてカスタマイズできます。 InputFormatのgetRecordReader関数を通じて、RecordReaderクラスを生成するのですが、これに任意のRecordReaderクラスを指定すればOKです。 2 のMap処理ですが、ユーザが指定したMapperクラスの処理を実行します。 Mapperクラスは、MapRunnerクラスを通じて、初期化処理、map関数を繰り返す過程、終了処理といった一連の流れを実行します。 MapRunnerクラスをカスタマイズすれば、こうした流れを制御することができます。 0.20.0からの新しいMapRed
Hadoopのインストールとサンプルプログラムの実行
前回はGoogleの基盤技術とそれに対応するオープンソースソフトウェアとして、Hadoop & hBaseを紹介しました（図1 参照）。今回はHadoopを1台にインストールし、サンプルプログラムを動かします。次にHDFSとMapReduceのアーキテクチャを解説します。最後にサンプルプログラムのソースコードを解説します。 2. Hadoopの概要 Hadoopは主にYahoo! Inc.のDoug Cutting氏によって開発が進められているオープンソースソフトウェアで、GoogleFileSystemとMapReduceというGoogleの基盤技術のオープンソース実装です。Hadoopという名前は開発者の子供が持っている黄色い象のぬいぐるみの名前に由来しています。HadoopはHDFS（Hadoop Distributed File System）、Hadoop MapReduce F
Hadoopリンクまとめ(1) - 科学と非科学の迷宮
Part1 / Part2 更新履歴 2010/06/20 リンク追加 入門、事例紹介、ニュース Part2へ移動 EC2、Pig、MapReduce、HDFS 新規追加 性能測定 公式 Welcome to Apache Hadoop! 日本語訳 Hadoopユーザー会 Welcome to Hadoop MapReduce! "大規模な計算ノード・クラスタ上において膨大なデータを高速で並列処理するアプリケーションを作成するためのプログラミングモデルおよびソフトウェアフレームワーク" Welcome to Pig! "大規模なデータセットを分析するためのプラットフォーム""Pig の言語レイヤを構成しているのは、Pig Latin と呼ばれるテキストベースの言語" wikipedia Apache Hadoop - Wikipedia, the free encyclopedia Apa
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Building Hadoop and Hypertable on Debian Lenny
hadoopで転置インデックス | tomo-wbの日記
Hadoop擬似分散環境メモ(Hishidama's Hadoop pseudo-distributed Memo)