オープンソースカンファレンスのHadoop講演資料を紹介しますこんにちは。広報スタッフの楢崎です。 9月10日、11日の2日間開催された「オープンソースカンファレンス2010 Tokyo/Fall」にて、 Yahoo! JAPANはHadoopについて講演させていただきました。多くの方にご参加いただきありがとうございます。 （写真：明星大学・日野キャンパスにて） ここでは、当日講演で使用したプレゼン資料を紹介させていただきます。 ●Hadoop ～Yahoo! JAPANの活用について～ ヤフー株式会社 R&D統括本部 角田直行、吉田一星
Adobe releases their Puppet recipes for automating Hadoop/HBase deployments
Puppet is the industry standard for IT automation. Modernize, manage and bring your hybrid infrastructure into compliance through Puppet's powerful continuous automation.
Automating Hadoop/HBase deployments with Puppet
The guys from the Adobe SaaS team — same guys that shared with us their experience and reasons for using HBase — have ☞ open sourced their Puppet[1] recipes for automating Hadoop/HBase deployments. Right now we are open-sourcing on GitHub, Puppet recipes for: creating the user under which the entire hstack runs.changing system settings, like the ssh keys, authorizing machines to talk to each other
HadoopAndScalaPackagesForCentOS - mizzy.org - Trac
Hadoop を CentOS5 で利用する場合、Cloudera’s Distribution for Hadoop (CDH) を yum でインストール するのが簡単なんですが、http://java.sun.com/ から入手できる JDK パッケージに依存してるので、CentOS5で yum install できる OpenJDK パッケージ が使えません。 Hadoop 使うだけならそれでもいいんですが、他の yum で入る ant 等の Java 製ソフトウェアを利用しようと思うと、Sun から入手した JDK パッケージと yum で入る OpenJDK パッケージが同居して、気持ちが悪いです。 幸い、CDH の SRPM も入手できるので、こいつを OpenJDK パッケージを利用する形でパッケージングしなおしました。 http://svn.mizzy.org/publi
Hadoopのインストール - hshinjiの日記
Hadoopのインストールに手間取ったので、備忘録。 参考にしたサイト 4台構成のHadoopを100分で試してみる(CentOS + Cloudera) 〜 きりんさん日記 クラスタセットアップ 〜 Hadoop日本語サイト 前提条件 以下の環境で動作させています。 ダイナミックDNSとDHCPのあるネットワーク Ubuntuの仮想マシン（KVM）上で動作（マシンは、Intel Core i7 920, メモリ 6G） また、Hadoopのマスターノードのホスト名を「hmaster」、スレーブを「hslave1, hslave2, ...」とします。 ゲストOSのインストール（CentOS） KVM上で動作するCentOSのイメージを一つ作成します。各ノードはこのイメージのコピーを使用します。 再起動後の最初の設定では、FirewallとSELinuxを無効にしておきます。 その他のCe
GoogleがMapReduce特許を取得。Googleは用途についてコメントせず - Wataru's blog
本日朝にWebを巡回していたら入ってきたニュースがこちら。 "USPTO Grants Google a Patent On MapReduce" 何と、GoogleがMapReduceの特許を取得とのこと。 MapReduceは、論文が発表され、更にオープンソースクローンであるHadoopが既に世に出ているので、このタイミングで特許が出てくることは多くの人は予想していなかったのではないかと思います。そのためでしょうか、このニュースはTwitterなどで広まり、Hadoopへの悪影響を懸念するコメントが随所に見られました。 そんなとき、GigaOMからよいエントリが。 Why Hadoop Users Shouldn't Fear Google's New MapReduce Patent — Tech News and Analysis Then there is the questio
Intelが48コアの「シングルチップ・クラウド・コンピュータ」試作，Hadoopも移植へ
米Intelは米国時間2009年12月2日，1つのLSIチップに演算コア48個を集積した試作プロセサを発表した。2010年に数十の企業／大学へ100個以上の試作プロセサを提供し，多コア・プロセサを効率よく利用できるソフトウエア／プログラミング・モデルの研究開発を推進する計画。 試作プロセサはIntel Architecture（IA）ベースの演算コアを48個搭載し，各コアをネットワーク化した。新たな電力管理技術を用い，消費電力を25～125Wに抑えたとしている。コア間の直接データ交換に対応しており，外部メモリーにアクセスする必要性を下げているため，高速な演算が可能という。データ転送距離も短くなるので，消費電力の削減効果も得られる。クラウド対応データセンター用ソフトウエアで使われる並列プログラミング・モデルを採用できるアーキテクチャとした。 Intelは米Hewlett-Packard（HP
RubyでHadoopをラップ、分散処理ツールキットが登場 － ＠IT
2009/05/12 米新聞社大手のニューヨーク・タイムズは5月11日、Rubyによる大規模分散処理のツールキット「Map/Reduce Toolkit」（MRToolkit）をGPLv3の下にオープンソースで公開したと発表した。MRToolkitは、すでに稼働しているクラスタ上のHadoopと合わせて使うことでRubyで容易にMap/Reduce処理を記述することができる一種のラッパー。処理自体はHadoopが行う。すでにHadoopを使っているユーザーであれば、中小規模のプロジェクトに対して、すぐにMRToolkitを適用可能としている。 デフォルトで有用なMap、Reduceの処理モジュールが含まれていて、数行のRubyスクリプトを書くだけで、例えば膨大なApacheのログからIPアドレス別の閲覧履歴をまとめるといった処理が可能という。独自にMapやReduceの処理を定義することも
米ClouderaがHadoopディストリビューションを発表、OSSクラウドプラットフォームをエンタープライズへ | OSDN Magazine
ベンチャー企業の米Clouderaは3月15日（米国時間）、MapReduceのJava実装「Apache Hadoop」をベースとしたディストリビューション「Cloudera Distribution for Hadoop」を発表した。Hadoopの設定、実装、管理を容易に行うパッケージとなる。 Hadoopは、Apache Software Foundation（ASF）で開発が進められているオープンソースプロジェクト。米GoogleのMapReduceアルゴリズム実装を含む分散コンピューティングプラットフォーム。 Clouderaは、Hadoopをエンタープライズ向けに提供することを目指すオープンソース企業。創業メンバーには、米Oracleの幹部でSleepycat SoftwareのCEOを務めたMike Olson氏をはじめ、米Yahoo!、Googleなどの出身者が名を連ねてい
Hadoopで、かんたん分散処理 (Yahoo! JAPAN Tech Blog)
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog こんにちは、地域サービス事業部の吉田一星です。 今回は、Hadoopについて、Yahoo! JAPANでの実際の使用例を交えながら書きたいと思います。Hadoopとは、大量のデータを手軽に複数のマシンに分散して処理できるオープンソースのプラットフォームです。 複数のマシンへの分散処理は、プロセス間通信や、障害時への対応などを考えなければならず、プログラマにとって敷居が高いものですが、 Hadoopはそういった面倒くさい分散処理を一手に引き受けてくれます。 1台では処理にかなり時間がかかるような大量のデータも、複数マシンに分散させることで、驚くべきスピードで処理を行うことができます。 例えば、今まで1台でやっていた、あるログ集計処理
楽天版MapReduce・HadoopはRubyを活用 － ＠IT
2008/12/01 楽天は11月29日、東京・品川の本社で開催した技術系イベント「楽天テクノロジーカンファレンス2008」において、近い将来に同社のEコマースサービス「楽天市場」を支える計画があるRubyベースの大規模分散処理技術「ROMA」（ローマ）と「fairy」（フェアリー）について、その概要を明らかにした。 レコメンデーションの処理自体はシンプル 楽天市場では現在、2600万点の商品を取り扱い、4200万人の会員に対してサービスを提供している。この規模の会員数・商品点数でレコメンデーション（商品の推薦）を行うのは容易ではない。 ※記事初出時に楽天市場の会員数を4800万人としてありましたが、これは楽天グループのサービス利用者全体の数字でした。楽天市場の会員数は正しくは4200万人とのことです。お詫びして訂正いたします。 レコメンデーションの仕組みとして同社は、一般的でシンプルなア
Hadoopを用いたクラスタコンピューティング環境の構築 - SourceForge.JP Magazine : オープンソースの話題満載
ペタバイト規模のデータを格納させる分散コンピューティング用プラットフォームを探しているのであれば、そのフレームワークとして Hadoop の使用を検討すべきだろう。HadoopはJavaベースで作成されているため、Linux、Windows、Solaris、BSD、Mac OS Xにて使用できる。こうしたHadoopを実際に採用している組織に共通するのは、安価（特殊なハードウェアが不要）かつ効率的でスケーラビリティと信頼性を兼ね備えたプラットフォームによる、膨大な量のデータ処理を必要としているという点だ。 Hadoopでは、こうした膨大な量のデータを格納するために、Hadoop Distributed File System（HDFS）を採用している。実際、HDFSのマスタ/スレーブアーキテクチャは、Hadoopのクラスタ機能の中核を成している。ここでサポートされているのは、ファイルシステ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
