Mahout の開発環境を Maven+Eclipse で作る (3) Eclipse で Hadoop の開発環境を作る - 木曜不足
Mahout の、と言いつつ今回も Hadoop の話ばかり。 Hadoop は各ノードにアプリケーションを配布する関係から、通常 jar を作らなければならない。そのため、Eclipse で書いたコードを実行するのもデバッグするのも非常にめんどくさい。 でもうまくやれば、スタンドアローンモード限定だが、Eclipse から jar も作らずそのまま Map-Reduce ジョブを起動できる。デバッグ実行もできるので、ブレイクポイント入れてステップ実行とかも可能だ。 今回はそういう環境の作り方の話。ずいぶん苦労したけど、出来るようになったら簡単。 Eclipse のセットアップなどは済んでいるものとする。Mahout の開発環境を Maven+Eclipse で作る (1) - Mi manca qualche giovedi`? 参照。 なお、Hadoop を展開すると contrib/
Hadoop Conference Japanに参加しました #hcj2011 - nokunoの日記
というわけでHadoop Conference Japanに参加しました。Hadoop Conference Japan 2011会場は豊洲のNTTデータ本社で、初めて来たのですが駅前の広場が楽天のある品川シーサイドと全く同じでびっくりしました。 『Hadoop on クラウド / Amazon Elastic MapReduceの真価』（Amazon Web Services, Jeff Barr） Introduction AWS: 2002-Twitter: @jeffbarr What is Big Data Doesn't refer just to volume Big Data Tool EMR Overview Hadoop Hosting Framework Launch and monitor job flows: Web, CUI, REST Upload data
そろそろHadoopについてひとこと言っておくか - nokunoの日記
もうこの手の話題は出尽くした感がありますが、最近Hadoopについて考えることが多いので、エントリにしてみます。なお、ここではベーシックなMapReduce+HDFSのことをHadoopと呼ぶことにします。 HadoopとはHadoopとは言わずと知れたGoogleのMapReduce/GFSのオープンソースのクローンです。MapReduceではプログラマはMapとReduceという2つの関数を書くだけで、並列分散処理をすることができます。これは(1) データを実際に持つマシンにプログラムを配布する (2) MapとReduceをつなぐShuffleフェーズでキーをグループ化してソートする、(3) 障害時のフェールオーバーやレプリケーション、といった処理をフレームワーク側が受け持つことによって、プログラマ側の負担を減らすものです。GFSに対応するHDFSにはファイルをクラスタに分散して保存
Hadoopに入門してみた - セットアップからHadoop Streaming まで - - download_takeshi’s diary
大規模データを処理する必要が出て来たので、Hadoopを導入してみることになりました。 以下、導入メモです。 セットアップ 以下のような構成で試してみます。環境はCentOSです。 マスター（host001) ━┳ スレーブ（host002） ┣ スレーブ（host003） ┣ スレーブ（host004） ┗ スレーブ（host005） まずは各マシンにJavaをインストール。JDK1.6を落として来てrpmでインストールするか、yum install java-1.6.0*などとたたけばOKです。（rpmでインストールする場合は http://java.sun.com/javase/ja/6/download.html から jdk-6u18-linux-i586-rpm.binをダウンロードして、実行権限を与えてルートで実行すればインストールできます。） 続いてマスターノードにHado
日本語版 Wikipedia の総単語数 - 武蔵野日記
午前中は共同研究のミーティング。Polycom で電話会議。こんな簡単にやりとりできるとは、便利な時代になったものだ。 午後は NLP.app 勉強会(自然言語処理の応用勉強会)で Delip Rao and David Yarowsky. Ranking and Semi-supervised Classification on Large Scale Graphs Using Map-Reduce. In Proc. of TextGraphs-4. 2009. を読む。やっていることは MapReduce を用いたラベル伝播で、これまで自然言語処理で使われていなかったのだけど、初めてやりました、という話(同じ時期に開催された ACL-IJCNLP 2009 でほぼ同じ手法を自分も使ったので、自然言語処理にこの手法を適用したのは彼と自分が同時期ということになる)。 しかし勉強会の中でも
Hadoop で Wikipedia のテキスト処理を900倍高速化 - 武蔵野日記
今月中に実験の実装が終わるくらいでないと来月の投稿〆切に間に合わないので、今週から研究室のサーバに Hadoop をインストールしている。 研究室にはサーバが20台弱あるのだが、そのうち10台強を使うことにして設定。これくらいの規模だと「大規模」と言うのは憚られるかもしれないが(Yahoo! や Google と比べて、という意味で。)、中規模、くらいには言ってもいいだろうし、たぶん、多くの大学や企業で使える台数もこれくらいだと思うし、大企業にいないとできない研究をするのも大変価値があるが、他の人たちがやる気になれば真似できる研究をするのも(データやインフラ勝負ではなくアイデア勝負になるので苦しくはあるのだが)重要だと考えている。 たとえば、数台でも分散環境の恩恵が受けられる、というのはPFI が出した Hadoop の解析資料で知っていたので、初めて導入したときは参考になったし、こういう
)
Running Hadoop On Ubuntu Linux (Single-Node Cluster) - Michael G. Noll
What we want to do In this short tutorial, I will describe the required steps for setting up a single-node Hadoop cluster using the Hadoop Distributed File System (HDFS) on Ubuntu Linux. Hadoop is a framework written in Java for running applications on large clusters of commodity hardware and incorporates features similar to those of the Google File System and of MapReduce. HDFS is a highly fault
環境の違う複数台でのhadoopの構築方法のメモ - 羅宣ログ
4台構成のhadoopに成功してうれしいので書く 研究室のサーバーを(勝手に)利用した． 4台の構成は以下の通り Mac Pro(intel Xeon * 2 , memory 12G) ワークステーション１(Xeon * 2 , memory 8G) ワークステーション２(Xeon * 2 , memory 32G ) 自作PC（Core i7 , memory 24G） hadoopのサイトからデータをダウンロード http://hadoop.apache.org/common/releases.html 最新版の0.20.1をダウンロード！ さてはて，ここから戦いが．．．． とりあえず，hadoopユーザーを作成 お互いからパスワードなしでもsshアクセスできるようにする． rsyncとか使うと楽らしい？，俺はsftpでやった んでもってconfの中のファイルを設定をするだけ． ha
Cloudera Hadoop Training for Developersに参加した - developer’s delight
4月5日〜8日の3日間、Clouderaが主催するHadoopを利用したアプリケーション開発者向けのトレーニングプログラム「Hadoop Traning for Developers」に参加しました。Clouderaが米国で開催しているトレーニングプログラムをアジアで初めて東京で開催するというもので、内容は初心者向けの内容から上級者向けの内容まで3日間どっぷりHadoop漬けになれる、というもの。仕事でHadoop使っているとは言えがっつり大規模に使い込んでいるわけでもなく、少しまとまった時間をとって学びたいと思っていた僕にとっては、これは願ってもない機会でした。決して安くない研修費でしたが、会社に無理を言って予算もらって行ってきました。告知後早々にSoldOutになった本プログラムですが、今回は30名ほどが参加されていました。Lectures & Hands on研修内容はココにまとめら
Apache Mahout 0.1 Released
Whew. I just sent out the announcement for the release of Apache Mahout 0.1. Congrats and thanks to everyone in Mahout land for all their hard work, especially all the other committers. For those who don’t know about Mahout, it’s primary goal is to develop a suite of machine learning libraries under the Apache license. Other goals (in no particular order) include: Develop community around the c
Hadoopで、かんたん分散処理 (Yahoo! JAPAN Tech Blog)
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog こんにちは、地域サービス事業部の吉田一星です。 今回は、Hadoopについて、Yahoo! JAPANでの実際の使用例を交えながら書きたいと思います。Hadoopとは、大量のデータを手軽に複数のマシンに分散して処理できるオープンソースのプラットフォームです。 複数のマシンへの分散処理は、プロセス間通信や、障害時への対応などを考えなければならず、プログラマにとって敷居が高いものですが、 Hadoopはそういった面倒くさい分散処理を一手に引き受けてくれます。 1台では処理にかなり時間がかかるような大量のデータも、複数マシンに分散させることで、驚くべきスピードで処理を行うことができます。 例えば、今まで1台でやっていた、あるログ集計処理
HadoopでのMapReduceを気軽に試すサンプル 2009-02-15 - きしだのはてな
Googleの分散処理技術であるMapReduceを、そのオープン実装のHadoopを使って試したいと思っても、なんか設定がめんどくさそうで二の足を踏んじゃう人は多いはず。 そこで、並列計算をせずにサーバーなしで動かせるサンプルを作ってみた。 ただ、設定は不要なんだけど、Windowsの場合はCygwinがやっぱり必要で、PATHにCYGWIN_HOME\binを追加しておく必要がある。残念。 今回は、Javaソース中のimportされたクラスを数えるっていう処理をMapReduceでやってみる。 Hadoopは、こっからダウンロード。0.17.2.1を使った。 http://hadoop.apache.org/core/releases.html コンパイル・実行には、解凍してできる次のJARをクラスパスに追加しておく必要がある。 HADOOP_HOME/hadoop-0.17.2.1-
HDFS Reliability Document by Cloudera. Inc. - moratorium
HDFS Reliability Document by Cloudera. Inc. 2009-01-14 (Wed) 23:57 Hadoop HDFS Reliability Clouderaという会社から、HDFSの耐障害性の解説と、運用する点でのポイントが書かれたドキュメントが出ているみたいです。 Cloudera このClouderaという会社はSleepycat(BDB作ってた会社、Oracleが買収)の元CEOが立ち上げた会社で、Hadoopの商用サポート・トレーニングをしてるみたいですね。 メンバーを見ると、層々たる面々。ChristophさんはGOOGにいる時に取り上げられてたりしてましたね。 Hadoop周りの人(そんな人いるのか？)は要注目の会社だと思います。 Similar Posts: HDFSでアトミックな追記操作がサポート Hadoopのインストールとサンプ
本を読む GREE LabsでHadoopの話を聞いてきた
GREEさんで不定期でやってる、GREE Labsオープンソーステクノロジー勉強会で、Hadoopの話を聞いてきました。Hadoopは、つまりはGoogleのGFSやMapReduceのクローンだそうで、「Googleを支える技術」にトキメいた人なら必見ですね。 発表は、技術面を簡潔に押さえたうえでわかりやすく、そのうえ実際の利用事例の話も聞けたのが面白かったと思います。最近のWeb系では、サービス面でもマネタイズ面でも、データマイニングとか行動ターゲティングとかがアツいんだなぁと思いました。 プレゼン資料もust録画も公開されていますが、以下、自分のメモという意味で記録しておきます。 Hadoopについて（太田一樹） Preferred InfrastructureのCTOで、Sedueの作者。大量のデータの処理がテーマで、半分は酒でできているw。そんなこんなで、はてブ検索でも使われてい
HBase 入門 (1) - こども(てれび)
Hadoop と HBase で分散処理が書けるのはわかったけど、いざ使ってみるとなるとドキュメントが少なくて……、というあなたの為の HBase 入門、今回はセットアップから Java の API で HBase を触るまでを勉強します。 使用するバージョンは Hadoop 0.17.2.1、HBase 0.2.1 です。 0. 参考ページ http://hadoop.apache.org/core/docs/r0.17.2/ FrontPage - Hadoop Wiki http://hadoop.apache.org/core/docs/r0.17.2/api/index.html Hbase - Hadoop Wiki http://hadoop.apache.org/hbase/docs/r0.2.1/api/index.html 1. Hadoop のセットアップ http:
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
What is the best way to implement an SVM using Hadoop?
Hadoopソースコードリーディングで発表します - nokunoの日記
Jeff's Search Engine Caff�: Apache Mahout 0.2: MapReduce LDA, Random Forests, and Frequent ItemSet Miner
FreeBSD7.0でHadoop-0.18.0を試す - tuedaの日記
Hadoop: The Definitive Guide: Rough Cuts Version | O'Reilly Media