Apache HadoopとSparkの違いとは？ 分散処理フレームワークを基礎からわかりやすく解説！
Apache HadoopとSparkの違いとは？ 分散処理フレームワークを基礎からわかりやすく解説！ Hadoopは処理能力の拡張性・安定性が高い Hadoopは米Yahoo!社に所属していたDoug Cutting氏を中心として2006年に開発された分散処理フレームワークです。2004年Googleが論文にて発表した独自の分散処理フレームワークMapReduceをもとに生み出されました。ちなみに名前の由来はDoug氏の息子が持っていたゾウの人形です。 Hadoopのメリットはまずサーバーの台数に比例して処理能力を高められる、いわゆるスケールアウトが可能だということ。Web上のビッグデータはどんどん増え続けます。そんなときHadoopを実装していればコストを押さえつつ対応し続けられるのです。 また、安定性が高いのも魅力のひとつ。どこか一つのサーバーで障害が起こってもほかのサーバーが対応す
Hadoopとリレーショナルデータベースは「何」が違うのか
書籍の中から有用な技術情報をピックアップして紹介する本シリーズ。今回は、秀和システム発行の書籍『Hadoopファーストガイド（2012年9月20日発行）』からの抜粋です。 ご注意：本稿は、著者及び出版社の許可を得て、そのまま転載したものです。このため用字用語の統一ルールなどは＠ITのそれとは一致しません。あらかじめご了承ください。 はじめに 近年、データサイズは増加傾向にあり、Webサイトを運営しているエンジニアやプログラマーにとって大規模データというのは身近なものになりつつあります。あなたの運営しているWebサイトではいかがでしょうか。たとえ今はリレーショナルデータベースで十分だとしても、今後も同じやり方で大丈夫だという保証はどこにもありません。 データサイズが増えてくると最初に問題となるのはバッチ処理です。データサイズが小さいうちは問題にならなくても、データサイズが増加してくると処理時
ホートンワークス日本法人が営業を開始、初期顧客はヤフー
「Hadoop」のディストリビューション（検証済みパッケージ）を販売する米ホートンワークスの日本法人が本格的な営業活動を開始した。日本法人名もホートンワークスで、同社は2015年3月5日、日本での初期顧客としてヤフーがHadoopディストリビューション「Hortonworks Data Platform（HDP）」を採用したと発表した。 ホートンワークスは2011年に、Hadoopの開発を始めた米ヤフーからスピンアウト（独立）して設立された。2014年12月にNASDAQに上場している。同社は、HDPを大規模に導入する顧客がある国や地域から優先的に海外拠点を設ける方針で、アジアでは日本よりも先に韓国に拠点を設けている。同社の顧客には韓国サムスン電子が名を連ねている。 ホートンワークス米本社のハーブ・クーニッツ社長は日経コンピュータとのインタビューで、同社の業績が好調に推移していると強調した
SAP、Hadoopデータ分析向けインメモリクエリエンジン提供--Sparkを拡張
印刷する メールで送る テキスト HTML 電子書籍 PDF ダウンロード テキスト 電子書籍 PDF クリップした記事をMyページから読むことができます SAPジャパンは11月5日、オープンソースソフトウェア（OSS）の分散並列処理プログラミングフレームワーク「Apache Hadoop」にあるデータの分析を効率化できるというインメモリクエリエンジン「SAP HANA Vora」の提供を開始した。モノのインターネット（Internet of Things：IoT）の活用や分析も効率化できるとメリットを説明している。 HANA Voraは、OSSのデータ処理フレームワーク「Apache Spark」を拡張して活用。Hadoop内にあるデータなどさまざまソースからの情報と、インメモリデータベース「SAP HANA」で管理されたトランザクションデータを透過的に活用できるという。 SAPのインメ
ポストHadoopと呼ばれる「Apache Spark」にブレークの兆し：第49回 | IT Leaders
IT Leaders トップ ＞ テクノロジー一覧 ＞ ビッグデータ ＞ 河原潤のITストリーム ＞ ポストHadoopと呼ばれる「Apache Spark」にブレークの兆し：第49回 ビッグデータ ビッグデータ記事一覧へ [河原潤のITストリーム] ポストHadoopと呼ばれる「Apache Spark」にブレークの兆し：第49回 2015年7月8日(水)河原 潤（IT Leaders編集部） リスト ビッグデータを扱うための基盤環境として真っ先に名前が挙がるのが、ご存じ「Apache Hadoop/MapReduce」。一方で、数年前から先進企業／エンジニアの間で“ポストHadoop”と呼ばれている技術があります。UCバークレー・AMPLab発の「Apache Spark」です。先月、IBMが「今後10年間で最も重要なオープンソースプロジェクト」と位置づけてSparkへの注力を宣言する
日本HP、Hadoop向けに最適化したスケールアウト型サーバ3機種を発表 | エンタープライズ | マイコミジャーナル
日本ヒューレット・パッカードは4月4日、スケールアウト型サーバシステム「HP ProLiant SL6500 シリーズ」のトレイ型サーバ新モデルを発表した。発表されたのは3機種で、いずれもオープンソースの分散ファイルシステム「Apache Hadoop」の利用を想定し、ディスク容量/メモリ/CPUなどの最適化を施している。 今回発表された新機種は、「HP ProLiant SL160s G6」、「同 SL165s G7」、「同 SL335s G7」の3つ。各サーバのスペックは以下のスライドのようになっている。 新機種のスペック HP ProLiant SL160s G6 / SL165s G7の特徴 HP ProLiant SL335s G7の特徴 最大の特徴は、ディスク搭載密度を向上させた点。いずれも従来モデルに比べて約2倍の最大ディスク容量を誇る。また、海外でのHadoop導入案件で培
基幹バッチ再構築のニーズは大きい、Hadoopの課題をAsakusaで解決する
ウルシステムズは2011年3月31日、「Asakusa」をオープンソースソフトウエア（OSS）として公開した（関連記事：Hadoop向け基幹バッチ分散処理ソフト「Asakusa」の全貌）。同社はある顧客の基幹バッチシステムをAsakusaで構築している。Hadoopで基幹バッチ処理を行うにあたっての問題をどう解決したのか。なぜOSSとして公開したのか。ウルシステムズ 取締役 神林飛志氏に聞いた。 ハードウエア、ソフトウエア、SIを含めれば1000億円は軽く超えると見ている。特に大きいのは基幹バッチ処理システムだ。BI（ビジネスインテリジェンス）の案件は1件3000万円から1億円くらいだが、基幹バッチ処理の案件は1件1億円以上。 バッチ処理システムは“残ってしまっている”ものが多い。手をつけたくとも、わかる人がいなくなって保守できなくなりつつある。再構築したいというニーズは高い。実際に引き合
ウルシステムズ、基幹バッチ用Hadoopフレームワーク「Asakusa」をOSSとして公開
ウルシステムズは2011年3月31日、オープンソースソフトウエア（OSS）の分散バッチ処理ソフト「Hadoop」を使って基幹バッチ処理を開発できるソフトウエアフレームワーク「Asakusa Framework」をOSSとして公開した。同社は4月1日付けでHadoopなどクラウド関連技術の導入支援を行う専門組織を設立し、先端技術コンサルティング事業を強化する。 Asakusaは、Hadoopに詳しくないエンジニアでも、同社独自のDSL（ドメイン特化言語）によって、Hadoopを使ったアプリケーションを開発できるというフレームワークである（関連情報：Hadoop向け基幹バッチ分散処理ソフト「Asakusa」の全貌）。同ソフトを開発したウルシステムズは、Asakusaを使用した基幹システム構築を既に始めている。「Asakusaによって、普段は日が当たりづらい基幹系バッチを開発するエンタープライズ
グーグル発「Hadoop」、日本企業も利用へ
Hadoopは、グーグルが検索エンジン用に開発したバッチ処理システムを基に開発された、オープンソースソフトだ。グーグルが開発した分散ファイルシステム「Google File System（GFS）」を模した「Hadoop Distributed File System（HD FS）」と、データ処理機構「MapReduce」を模した「Hadoop MapReduce」で構成する。 米国では米VISAや米JPモルガン・チェースのような大手金融機関が、バッチ処理にHadoopを使用する。 そのHadoopがいよいよ、日本企業でも使われ始めた。例えば楽天は、ある商品に対するお薦め商品をリストアップする「レコメンド処理」にHadoopを使用する。NTTデータは、全国の渋滞情報をリアルタイムに可視化するシステムの構築にHadoopを採用した。三菱UFJインフォメーションテクノロジーもHadoopを使っ
リアルタイムに近づくバッチ処理、大容量・高速・安価が身近に
今回取り上げた分散バッチ処理はいずれも、トランザクション処理システムが管理するデータをテキストデータなどとして複製してから処理を行う。データウエアハウス（DWH）よりも、導入コストや開発コストが安価だ 同社は2009年10月、当日の売り上げを店舗別、商品別に分析するために使用していたデータウエアハウス（DWH）ソフトを廃棄した。売り上げ分析をやめたわけではない。DWHを、「テキストファイルを使ったバッチ処理」に置き換えたのだ。 現在同社は、POSレジから集めた売り上げデータをテキストとして保存し、1時間ごとにバッチ処理を行って、店舗別、商品別の売上高を集計する。非常に古典的なバッチ処理に見えるが、処理時間は大幅に短縮した。 同社は全国に70店舗を展開し、合計3万アイテムの商品を扱う。その3万アイテムすべてに対して、売り上げ個数や粗利益、値引き消化率（値引きをして売れた商品の比率）、廃棄率、
「次世代Hadoopの開発に着手する」Yahoo!が宣言、数万台以上のクラスタをサポートへ
米Yahoo!が大規模分散処理のフレームワーク「Hadoop」の次世代版を開発することを、ブログYahoo! Developers Networkにポストしたエントリ「The Next Generation of Apache Hadoop MapReduce」で明らかにしました。 Yahoo!によると、現在のHadoopの実装では1クラスタあたり4000台程度でスケーラビリティの限界にあたるため、アーキテクチャを見直して信頼性や可用性を高めると同時に、1万台から2万台を超えるクラスタのスケーラビリティを実現したうえで、従来のHadoopとアプリケーションの互換性を保つ予定とのこと。さらに、マルチテナント対応、多言語プログラミングのサポートなども実現する予定のようです。 Apache Hadoopコミュニティと協力して開発を進める Yahoo!はブログで次のように書いています。 The c
マイクロソフトのHadoop対抗技術「Dryad」、いよいよ始動か？
大規模分散処理のフレームワークとしてグーグルが開発したMapReduce処理や、そのオープンソース実装であるHadoopが急成長し、ビジネスの分野での商業利用が立ち上がり始めていることは、Publickeyでも何度か記事で紹介してきました。 Hadoopを表計算のように使える「InfoSphere BigInsights」、IBMが発表 グーグルによるMapReduceサービス「BigQuery」が登場。SQLライクな命令で大規模データ操作 Hadoopは企業のための新たな情報分析プラットフォームとなる、とCloudera グーグルがBigQueryの開始を発表し、IBMも大規模処理のエンジンとしてHadoopを採用、AmazonクラウドでもHadoop処理を行う「Amazon Elastic MapReduce」サービスを提供していることから分かるように、Hadoopはクラウドでの大規模
グーグルがHadoopにMapReduce特許の利用を許可
大規模分散処理の技術として知られるMapReduceは、グーグルが検索エンジンの基盤技術として開発したもの。そして同社はMapReduceの特許を1月に取得していました。 グーグルがMapReduce特許を取得。Hadoopへの影響は？ － Publickey グーグルが特許を保有していることでMapReduceのオープンソース実装であるHadoopに対する影響が心配されていましたが、Apache Foundationの弁護士がグーグルの弁護団から特許の利用許可を得たことを明らかにしました。 予想通りの展開に 4月23日付けでYahoo!のHadoopチームアーキテクトOwen O’Malley氏がメーリングリストに投稿した「Re: License for Google's patent」というメッセージ。この中でApache Foundationの弁護士が、グーグルからの特許利用許可を伝
グーグルがMapReduce特許を取得。Hadoopへの影響は？
大規模なデータを分散処理するためのフレームワークであるMapReduce。グーグルが検索エンジンの基盤技術として開発し、2004年に論文「MapReduce: Simplified Data Processing on Large Clusters」を発表したことでよく知られるようになりました。 そのグーグルがMapReduceの特許を取得したことが、ブログ「Wataru's Blog」のエントリ「 GoogleがMapReduce特許を取得。Googleは用途についてコメントせず」で伝えられています。 グーグルの特許取得は業界にどのような影響を与えるのか。このエントリを起点に、現時点での情報や報道をまとめました。 特許取得は防衛目的だとの観測 米国特許商標庁（USPTO）のWebサイトでは、該当するグーグルの特許「System and method for efficient large
Hadoopの最新動向を「Hadoop World:NY 2009」の資料から（後編）
Hadoopは、グーグルが大規模分散システムのために用いているMapReduceという技術を、オープンソースとして実現するために開発されたJavaベースのソフトウェア。クラウド対応のアプリケーションであり、数テラバイトにもおよぶ大容量のデータを高速かつ低コストに分析する方法として注目を集めています。 後編では、10月2日にニューヨークで開催された「Hadoop World：NY 2009」の午後のセッションの資料に目を通し、興味深いポイントを紹介しましょう。午後は3トラックに分かれ30ものセッションが行われていました。 この記事は「Hadoopの最新動向を「Hadoop World:NY 2009」の資料から（前編）」の続きです。 午後のセッション資料からハイライトを紹介 イェール大学のAzza Abouzeid氏とKamil Bajda-Pawlikowski氏は、Hadoopとパラレル
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
［速報］無限のデータ容量で大量データを保存「Azure Data Lake service」発表。HDFS APIでHadoop用分析ツールが利用可能
TechCrunch | Startup and Technology News
IT news, careers, business technology, reviews
日本HP、Hadoop向けにディスク密度を高めたスケール・アウト型PCサーバー | IT Leaders
IT news, careers, business technology, reviews