第1回 なぜ、Hadoopはどのように動くのか、を学ぶのか | gihyo.jp
はじめに ビッグデータ解析のためのシステム基盤として、Hadoopをはじめとするオープンソースのデータ処理ソフトウェア（データ処理系）が広く利用されつつありますが、当該データ処理系をすでに利用している、もしくは利用の検討をしている読者の方々の中には、たとえば以下のような問題を抱えている方が少なからずいらっしゃるのではないでしょうか。 データ処理系の使い方はなんとなくわかるが、その内部をあまり理解できていない。または、内部の動作原理がよくわからないので、本格的に使う気にならない。 同様の目的を達成する複数のデータ処理系において、どれを使って良いかがよくわからない。または、適切に使い分けられていない気がする。たとえば、どのような場合にHadoopを用いて、どのような場合に同類のデータ処理系であるImpalaやSparkを用いれば良いかが“明確に”わからない。 このような問題を解決するには、
HadoopとRDBMSを統合し、真のリアルタイムビッグデータ分析を実現する「Hadapt」 – BI for everybody.
ビッグデータの分散処理技術の代表格と言えば、言わずもがなHadoopですが、弱点も多くあります。最大の弱点と言えば「リアルタイム処理には向かない」ということです。Hadoopはレイテンシ（データ転送などを要求してから結果が得られるまでの所要時間）が大きく、主にRDBMSでは取り扱いきれないような大容量データのバッチ処理に使われています。 ビッグデータのリアルタイム処理が必要な場合には、KVSなどのようなNoSQLや、SAP HANAやNetezzaなどのようなNoSQLやインメモリ処理技術を取り入れ、ソフトウェアとハードウェアを統合したDWHアプライアンスなどを導入しなければいけません。 DWHアプライアンスは高価なため大企業向きであり、NoSQLを扱える技術者のいない、または育てる余裕のない中小企業（SMB）はビッグデータのリアルタイム処理への対応がなかなか進みません。 今回ご紹介する「
ApacheがGoogleのリアルタイムビッグデータツールDremelのオープンソースクローンDrillを
When Alex Ewing was a kid growing up in Purcell, Oklahoma, he knew how close he was to home based on which billboards he could see out the car window.…
［1］簡単に分散処理を行えるPig
OSSの分散処理フレームワーク「Hadoop MapReduce」は便利ですが、少しハードルが高い面もあります。MapReduceをより使いやすくするツールが「Pig」と「Hive」で、大容量データを簡単に処理したいケースで威力を発揮します。個人でも手軽にPigとHiveを“体感”する方法を解説します。（NTTコムウェア 研究開発部 川前 徳章） クラウドコンピューティング時代の代表的な分散処理技術「Hadoop」がいま、熱い注目を集めています。Hadoopは、米Google社が開発した大規模ファイルシステム「Google File System」、および大量のデータを高速に処理できる分散処理フレームワーク「MapReduce」を、Googleが発表した論文を基に実装したオープンソースソフトウエアです。Google File Systemに対応するのが「Hadoop Distributed
「ビッグデータビジネスの時代」で語られなかったビッグデータの論点(技術系トレンド) - FutureInsight.info
過去に紹介した通り、「ビッグデータビジネスの時代」はバズワードと思われがちな「ビッグデータ」をむしろ現役コンサルタントの冷静なビジネスの視点と著者のユーモアで切り取った良書だと思うのですが、ここで紹介されなかったもうちょっと技術的なトピックを取り上げたいと思います。ビッグデータビジネスの時代 堅実にイノベーションを生み出すポスト・クラウドの戦略 鈴木 良介 翔泳社 2011-11-09 売り上げランキング : 898 Amazonで詳しく見る by G-Tools一つが技術のトレンドです。技術のドライバーがサーバからPCに移り、まただんだんサーバに戻りつつスマートフォンがそこに強い影響を与えているというのが、最近技術系トピックでは多くなってきました。例えば、メモリに関しては、PCで収益を上げるのが非常に難しくなってきているため、サーバとスマートフォンに新技術をまず投入し、利益を確保しようと
国立情報学研究所 佐藤教授が語る「クラウドコンピューティングの将来動向」（ビッグデータ編）
8月31日から2日間、都内で行われたイベント「Cloud Computing World Tokyo 2011」。そのイベントへの申し込み段階で最初に満員となったのが、国立情報学研究所 佐藤一郎教授のセッション「クラウドコンピューティングの将来動向」でした。 技術的な背景に基づき、ビッグデータ活用に必要な条件とは何か、クラウドのビジネスモデルはどうなるのか、データセンターの進化の方向性、などについて具体的な解説が行われています。 この記事では、そのセッションの内容を紹介しましょう。 ビッグデータ流行の背景となったMapReduce/Hadoop 国立情報学研究所 アーキテクチャ科学 研究系 教授 佐藤 一郎氏。 分散システムの研究者から見た、クラウドのインフラの話、10年先の話をしようと思います。 1つ目はビッグデータの話題。 ビッグデータの処理技術「MapReduce/Hadoop」は、
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
「Project Prism」：フェイスブックが超ビッグデータに挑む
ビッグデータの利用で得られる効能とは？