Big Data Use Cases - MetiStream
A Collection of Real-World Use Cases Big Data has changed the way organizations, capture, analyze and utilize data in many industries. Are you planning or starting a big data project? Whether it’s your first project or you have completed several, you may benefit from the experiences of others. By reading real-world examples, you can more easily capitalize on the promises of big data and avoid some
Apache Sliderを使ってStormもYARNに乗せる - Qiita
本日は、Hadoopと良く一緒に語られるApache Stormと、そのStormを真の意味でのHadoopファミリーとする上でのキーとなるミドルウェアである Apache Sliderについてちょこっとだけ書きたいと思います。 Apache Sliderとは？ YARNの登場により、様々な分散アプリケーションが1つのクラスタを総合的なリソース管理のもとに使いまわすことができるようになりました。 ただし、YARNを利用したい分散アプリケーションにはいくつかの制約が発生します。 その中でもとりわけ大きいものとして、 YARNに対してのリソースの要求や開放等のコードを書かなくてはならない。 ジョブ1つにつきリソースの確保やデーモン等の立ち上げという仕事が発生するため、スタンドアローンに比べてジョブの立ち上がりが遅い。 (ここで言うスタンドアローンとは、YARNを使わずにその分散アプリケーション
Hadoop/Storm の統合を実現する Twitter の SummingBird - Okapies' Archive
Twitter が SummingBird を正式リリースして早二ヶ月。「日本語の紹介記事がほとんど出てないな」と気付いたので、調査がてらまとめてみました。 SummingBird とは？ MapReduce なプログラムを書くための Scala/Java ライブラリ。最大の特徴は、ひとたび SummingBird で書いたジョブは Hadoop でも Storm でも同じように実行できること。 SummingBird では、Hadoop を使う「バッチモード」と、Storm を使う「リアルタイムモード」に加えて、二つを同時に実行する「ハイブリッドモード」がある。ハイブリッドモードでは、ジョブの作者が特に配慮しなくても、バッチとリアルタイムの処理結果を自動的にマージできる。 ハイブリッドモードでは、同じジョブを Hadoop と Storm で同時に実行できるので、Hadoop の耐障害性
Apache Drillの開発された背景とモデル、構造 - 夢とガラクタの集積場
こんにちは。 とりあえず前回のものだけではまだApacheDrillが何が何やらわからないため、 開発された背景や位置づけなども含めてまとめてみます。 1.Apache DrillProposalの内容 とりあえず、Apache DrillProposalの内容を要約して訳してみます。 概要 Apache DrillはGoogle Dremelをベースに開発された、巨大なデータに対して対話式に解析が可能な分散システムである。 提案 Apache DrillはGoogle Dremelをベースに、 幅広いクエリ言語／解析対象のデータセットに対応することを目指す。 かつ、入れ子構造になっているデータに対しても適した検索手段を提供する。 Apache Drillは最終的に10000のサーバ、ペタバイトクラスのデータ、兆単位のレコードに対して秒単位での検索を可能とすることを目指す。 背景 多くの組
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
