第14回 大規模データの新たな価値を生み出す「Hadoop」（解説編）
「Hadoop」は、米Google社が考案した分散データ処理技術「MapReduce」をオープンソース・ソフトウエアで再実装したものです。Web系企業では、ユーザーのアクセスから得られる膨大なデータを解析するツールとして定着が進んでいます。最近ではWeb系以外の一般企業でもHadoopの活用が検討されてきています。 今回は、企業システムでHadoopを利用する意義と、ペタバイト・クラスのデータ処理を実現するHadoopの実装を解説します。 Google論文の衝撃 HadoopやMapReduceは「安価なサーバーで大量のデータを高速処理」「バッチの処理時間が劇的に短縮」などと紹介されています。とても高度な技術ととらえている方もいるかもしれませんが、実はそれほど複雑なものではありません。 MapReduceは、Googleが2004年に論文(http://labs.google.com/pa
「第2回 クラウド勉強会」活動報告 | gihyo.jp
7月9日、オラクル青山センターにて、「第2回 クラウド勉強会」が開催されました。筆者は進行を担当させていただきました。本稿では、本勉強会のレポートをお届けします。 「クラウド勉強会」の概要 クラウド勉強会は、様々なクラウドサービスについて総合的に学べる勉強会として3月24日に、はじめて開催されました。第1回の勉強会では「クラウドっておいしいの？」という発表から始まり、Amazon EC2、Google App Engineを使ったWebアプリケーションの構築事例などが発表されました。 その後、地方にも派生し、北陸で「クラウド勉強会 in 北陸 第一回」が開催され、大阪、名古屋でも開催が見込まれてると伺っています。 今回の第2回クラウド勉強会は、クラウドサービスの紹介の他に、クラウドを支える技術にもフォーカスしました。なお、今回の会場は、日本オラクル株式会社様に提供していただきました。 「
Hive on AWS @ COOKPAD - クックパッド開発者ブログ
こんにちわ。サービス開発担当の勝間です。クックパッドの１年の最大のピークであるバレンタインが終わり、少し落ち着きをとりもどした技術部からお届けします。 さて、先日秋葉原で「第0回 AWS User Group - Japan勉強会」が開催されました。100人を超す参加者の中、AWSのエバンジェリストJeff Barrさんの講演があったり、内容の濃いLTが続いたりと、非常に大盛況でした。そんなLTに僕も参加して、クックパッドのバッチシステムとAWSとの連携について話してきました。 クックパッドではAWSとしてEC2, S3をつかって分散解析環境を構築して、Hiveを使ったデイリーのログ解析を行っています。LTではそれらの話をしたのですが、５分と限られた時間では駆け足の発表になってしまったので、当日じっくり話せなかった箇所などを確認いただければと思います。 [slideshare id=328
米Yahoo!、「Hadoop」実装に次ぐクラウド技術「Traffic Server」を公開 | OSDN Magazine
米Yahoo!は11月2日（米国時間）、クラウドサービス向けアプリケーションサーバー「Traffic Server」をオープンソースとして公開することを発表した。Apache Software Foundation（ASF）にコードを寄贈し、Apache Incubatorプロジェクトとして発足させる。 Traffic Serverは、エッジサービス、オンラインストレージ、クラウドサービスなどで利用できるサーバー技術。2002年に買収したInktomiの技術を土台とした。 キャッシュされたオンラインコンテンツへのアクセスを速度、信頼性、拡張性から改善でき、保存されたWebオブジェクトに対するリクエスト処理も高速化できるという。セッション管理、負荷分散、設定管理などの機能を持つ。低遅延と拡張性のあるフレームワークを持ち、プラグインアーキテクチャによりカスタマイズも容易という。 Yahoo!社
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
オープンソースカンファレンスのHadoop講演資料を紹介します
