Apache Sparkで始めるお手軽リアルタイムウインドウ集計 | NTTデータ先端技術株式会社
バッチを高速にした後はリアルタイムの世界へ！ 現在、さまざまな業種の企業でビッグデータ分析の取り組みが行われている。ビッグデータへの最初の取っ掛かりは、既存のバッチ処理の高速化や、大量の業務データを用いた分析レポートの作成という企業が多いことだろう。そして、バッチ処理の高速化が一段落した次のステップとして、「リアルタイム処理」をテーマに掲げる企業も多いかと思われる。具体的には、 直近10秒間のトラフィックを集計したい。 直近10分間で自社商品がTwitterで話題になった回数を知りたい。 直近10時間での全店舗での来客数を集計したい。 といったリアルタイムなモニタリングを実現したくなるのではないだろうか？こういったモニタリング用の集計は、技術的には「ウインドウ集計（Time-Window Operation）」と呼ばれる。そこで本コラムでは、近頃、「ポストHadoop」として話題のApac
Authorization and Authentication In Hadoop - Cloudera Blog
One of the more confusing topics in Hadoop is how authorization and authentication work in the system. The first and most important thing to recognize is the subtle, yet extremely important, differentiation between authorization and authentication, so let’s define these terms first: Authentication is the process of determining whether someone is who they claim to be. Authorization is the function
cassandra調査レポート
3. はじめに 現在 RDB が使われてきている部分に関して、 RDB 以外では出来ないのかを模索する noSQL（NotOnlySQL）と言う流れが急速に加速している。 特に Web アプリケーションにおいては RDB は冗長である傾向があり、 での sharding も RDB 限界がある。 そこで Facebook 社が開発した分散 DB「cassandra」について、実際どの程度使えるのかを 調査/検証してみた。 3 4. 概要 Cassandra は Facebook で作られた分散型 DB サーバである。 Dynamo 的な大規模分散管理と、HyperTable の様なカラム型データ構造を持った DB となっ ており、高可用性と冗長性を併せ持つ。 目標としては、これらを上手く利用することで今まで MySQL で行っているレプリケーショ ンとテーブル分割でサーバをスケール
MRUnit
MRUnit is a unit test library designed to facilitate easy integration between your MapReduce development process and standard development and testing tools such as JUnit. MRUnit contains mock objects that behave like classes you interact with during MapReduce execution (e.g., InputSplit and OutputCollector) as well as test harness "drivers" that test your program's correctness while maintaining co
HDFS の信頼性（原題：HDFS Reliability） (Pac Learner)
Not your computer? Use a private browsing window to sign in. Learn more about using Guest mode
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
