見えてきたHadoopの“使いどころ”─「Hadoop Hack Night Vol.2」開催 | gihyo.jp
見えてきたHadoopの“使いどころ”─「Hadoop Hack Night Vol.2」開催 8月4日、六本木ミッドタウンのヤフー株式会社にて、今回で2回目となるHadoopをテーマにしたイベント「Hadoop Hack Night Vol.2」が開催された。 Hadoop（ハドゥープ）は、いま注目のクラウドコンピューティングなどに利用されているMapReduce技術が使えるオープンソースソフトウェア。大規模なデータの解析処理などに分散システムを利用したい場合に大きな力を発揮する。 このように注目を集めているHadoopだが、実際に数テラバイト以上といった大容量のデータを処理しなければならないケースはまだそれほど多くない。大きな期待を集めながら「生きた実例」に乏しいのもHadoopをめぐる1つの状況だろう。そこで、今回の「Hadoop Hack Night Vol.2」は「ケーススタディ
Yahoo! JAPANでのHadoop利用について
1. Yahoo! JAPAN での Hadoop 利用について ヤフー株式会社 R&D 統括本部 吉田一星、古宮陽明 2010 年 8 月 4 日 2. 自己紹介 吉田一星 （よしだ いっせい） R&D 統括本部プラットフォーム開発本部検索開発部開発３ R&D 統括本部フロントエンド開発本部アプリケーション開発部開発４（兼） R&D 統括本部プラットフォーム開発本部要素技術開発部開発３（兼） 2008 年にヤフー株式会社に入社 検索サービス構築プラットフォーム（ ABYSS ）で Hadoop 部分を担当するエンジニア 画像処理、地図検索、地域プラットフォームでも Hadoop に関わる開発を経験 TechBlog で Hadoop に関する記事を執筆 3. 自己紹介 古宮 陽明 ( こみや ようめい ) R&D 統括本部 プラットフォーム開発本部セントラル開発 2 部 開発 3 200
Hadoop Hacks Night詳細レポート［後編］ | gihyo.jp
3月8日（月）に開催された「gihyo.jp×Yahoo! JAPAN presents "Open TechTalk" Hadoop Hacks Night」。前編では、基調講演のYahoo! ,Inc. Hadoopチーム アーキテクトOwen O'Malley氏のセッション、そして特別講演のヤフー株式会社 R＆D統轄本部 吉田一星氏によるセッションをレポートしました。後編では、続いて行われたパネルディスカッションの模様をお届けします。 第3部 パネルディスカッション 最後はOwen氏、吉田氏に加え、田中慎司氏（株式会社はてな）、藤川幸一氏（株式会社シリウステクノロジーズ）、三上俊輔氏（筑波大学）の5名のパネリスト、モデレータ馮富久（株式会社技術評論社）による計6名でのパネルディスカッションです。 勢揃いしたパネラー一同 Hadoopのメリット、用途は？ 各自かんたんな自己
Hadoop Hacks Night詳細レポート［前編］ | gihyo.jp
多くの有名企業が利用し始めたことから注目を浴びているオープンソースの大規模分散データ処理システム「Hadoop」。 2010年3月8日（月）、六本木ミッドタウンのYahoo Japanにて、Yahoo! ,Inc. Hadoopチーム アーキテクトのOwen O’Malley氏を迎えて「gihyo.jp×Yahoo! JAPAN presents "Open TechTalk" Hadoop Hacks Night」（（株）技術評論社・ヤフー（株）主催）が開催されました。 会場の模様 第1部 Owen O'Malley氏のプレゼンテーション 5,000億人ものユーザのデータの解析に威力を発揮 最初のセッションは、Owen氏によるプレゼンテーション。冒頭で、氏がまず述べたのが、「Hadoopはオープンソースであり、開発者が協力して力をあわせてプロジェクトを進めていける」とい
Hadoopで、かんたん分散処理 (Yahoo! JAPAN Tech Blog)
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog こんにちは、地域サービス事業部の吉田一星です。 今回は、Hadoopについて、Yahoo! JAPANでの実際の使用例を交えながら書きたいと思います。Hadoopとは、大量のデータを手軽に複数のマシンに分散して処理できるオープンソースのプラットフォームです。 複数のマシンへの分散処理は、プロセス間通信や、障害時への対応などを考えなければならず、プログラマにとって敷居が高いものですが、 Hadoopはそういった面倒くさい分散処理を一手に引き受けてくれます。 1台では処理にかなり時間がかかるような大量のデータも、複数マシンに分散させることで、驚くべきスピードで処理を行うことができます。 例えば、今まで1台でやっていた、あるログ集計処理
Yahoo! Distribution of Hadoop Security
Hadoop Related Downloads Oozie – Yahoo!'s workflow engine for Hadoop Download the source code of Oozie, Yahoo!'s workflow engine for Hadoop: Apache Hadoop Sandbox Download the sandbox version of Apache Hadoop with security and Pig. The sandbox version contains a VMWare(TM) based virtual machine with a preinstalled Hadoop cluster, enabling easy setup and experimentation. Notice Yahoo! does not offe
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
