Bashのストリーム/パイプ処理を視覚的に理解する - QiitaRegister as a new user and use Qiita more conveniently You get articles that match your needsYou can efficiently read back useful informationYou can use dark themeWhat you can do with signing up
Apache Kafka について | ギャップロ
Kafka と ZooKeeper ZooKeeper の詳細 ZooKeeper は、分散アプリケーションのためのオープンソースの分散コーディネーションサービスです。ZooKeeper は Java で動作し、Java と C のためのバインディングが用意されています。 クラスタ (マルチサーバー) セットアップ ZooKeeper は奇数単位でアンサンブルと呼ぶクラスタを組みます。アンサンブルの過半数が動作している必要があるので、奇数台のマシンを使うのがベストです。たとえば 4 台のマシンを使う場合、ZooKeeper が対応できるのはマシン 1 台の障害までです。2 台のマシンに障害が発生すると、残りの 2 台では過半数にならないためです。5 台のマシンを使えば、ZooKeeper はマシン 2 台までの障害に対応できます。 その中の 1 台がリーダー選挙を通して全ての書き込みを調停
ストリーム処理を支えるキューイングシステムの選び方
This document discusses messaging queues and platforms. It begins with an introduction to messaging queues and their core components. It then provides a table comparing 8 popular open source messaging platforms: Apache Kafka, ActiveMQ, RabbitMQ, NATS, NSQ, Redis, ZeroMQ, and Nanomsg. The document discusses using Apache Kafka for streaming and integration with Google Pub/Sub, Dataflow, and BigQuery
Apache Flink とは
ストリーミング処理に本気で取り組む必要があったので Apache Flink を使ってみました。 Apache Flinkとは？ 分散ストリーミング処理エンジンです。 ストリーミングのみならずバッチ処理も行うことができますが、ストリーミングと静的データとを同じインターフェイスで扱うことができます。 分散システム 協調 フォルト・トレランス データ・ストリーミングにおける分散環境 を提供すると謳っています。 本体はScalaで書かれていますが、java, scala, python* のAPIクライアントが用意されています。 クライアントは一連のオペレーションをデータフローとして記述します。 公式URL: http://flink.apache.org/ 2016-03-08 メジャーバージョン(1.0.0) リリース。 2016-05-25 現在, 1.0.3。 Apache Flink
GunosyにおけるSparkStreaming活用事例
"I'm Feeling Lucky" - Building Great Search Experiences for Today's Users (#IAC19)
Hadoop Streaming の使い方について（サンプルRuby） - TASK NOTES
Java以外の言語を使用して MapReduce を実行することのできる Hadoop Streaming の使用についてです。ディストリビューションに付属しているユーティリティであり、データを標準入出力を介して受け渡すため、標準入出力が扱える言語であれば MapReduce ジョブを記述して実行することが可能です。 Hadoop Streaming の構文 Hadoop Streaming の基本的な構文はhadoop command [genericOptions] [streamingOptions]になります。通常の Java でのジョブと同様に jar コマンドにhadoop-streaming.jarを指定してください。genericOptionsはstreamingOptionsの前に配置しないと失敗してしまいます。以下がコマンド実行例です。 $ hadoop jar /us
Spark Streamingメモ(Hishidama's Apache Spark Streaming Memo)
概要 Spark Streamingは、流れてくるデータ（ストリーム）を処理する機能。 次々に流れてくるデータを（短い間隔で）繰り返しバッチ処理する。 大抵は結果をファイルシステム上に格納する。バッチ処理の都度書き込まれるので、ファイルが増えていくことになる。 短い間隔でバッチ処理を行う形なので、高スループット（単位時間当たりの処理能力が高い）であるが、レスポンス（応答時間）は遅くなる。 Spark Streamingを扱う場合、StreamingContextクラスを使う。 入力データはDStream（discretized stream、離散ストリーム）というクラスで扱う。 DStreamはRDDではないが、RDDと似たメソッドを持っている。（それらのメソッドを使って処理を記述することを「バッチ処理」と呼んでいるように思う） import org.apache.spark.stream
はじめてのSpark Streaming - CLOVER🍀
今までは、SparkのStandalone ModeとYARN上で動かすといった動作環境的なものを少し試してきたので、もうちょっとSpark自体で遊んでみようと思いまして。 まずは、Spark Streamingの初歩的なところからやってみたいと思います。 Spark Streaming Programming Guide http://spark.apache.org/docs/latest/streaming-programming-guide.html とか言いながら、ちょっと寄り道してみたらめっちゃハマりました…。 Spark Streamingとは？ こちらを見る限り… Overview http://spark.apache.org/docs/latest/streaming-programming-guide.html#overview Kafka、Flume、Twitter
Spark streamingを使用したtwitter解析によるレコメンドサービス例
2015年8月1日 ビックデータオールスターズで発表したSparkStreaming x Twitter によるリコメンドサービスの話です。Read less
Hadoop Streamingメモ(Hishidama's Hadoop Streaming Memo)
Streamingの概要 Hadoopストリーミングは、Java以外の言語のMapper・Reducerプログラムを実行する方法。 データは標準入出力を介して受け渡す。 つまり、標準入力からデータ（テキスト）を受け取り、標準出力にデータを出力することでHadoop側とやりとりする。 したがって、標準入出力が扱える言語なら何でも使用できる。 Streamingの実行方法 Hadooopストリーミングでは、Streaming用のJavaプログラムにMapper・Reducerプログラムを指定する形で実行する。 CDH3の場合、以下のように指定する。 hadoop jar $HADOOP_HOME/contrib/streaming/hadoop-streaming-0.20.2-cdh3u2.jar \ -mapper Mapperプログラムのファイル名 \ -combiner Combine
Apache Sparkで始めるお手軽リアルタイムウインドウ集計 | NTTデータ先端技術株式会社
バッチを高速にした後はリアルタイムの世界へ！ 現在、さまざまな業種の企業でビッグデータ分析の取り組みが行われている。ビッグデータへの最初の取っ掛かりは、既存のバッチ処理の高速化や、大量の業務データを用いた分析レポートの作成という企業が多いことだろう。そして、バッチ処理の高速化が一段落した次のステップとして、「リアルタイム処理」をテーマに掲げる企業も多いかと思われる。具体的には、 直近10秒間のトラフィックを集計したい。 直近10分間で自社商品がTwitterで話題になった回数を知りたい。 直近10時間での全店舗での来客数を集計したい。 といったリアルタイムなモニタリングを実現したくなるのではないだろうか？こういったモニタリング用の集計は、技術的には「ウインドウ集計（Time-Window Operation）」と呼ばれる。そこで本コラムでは、近頃、「ポストHadoop」として話題のApac
PHP: php:// - Manual
説明 PHP ではさまざまな入出力ストリームを提供しています。 これらを使うと、PHP 自身の入出力ストリームへのアクセスや 標準入出力と標準エラー出力のファイル記述子へのアクセス、 メモリやディスクを使ったテンポラリファイルストリームへのアクセスができ、 フィルタを使って他のファイルリソースの読み書きに手を加えることもできます。 php://stdin, php://stdout および php://stderr php://stdin、php://stdout および php://stderr は、PHP プロセスの 対応する入出力ストリームへの直接アクセスを許可します。 これらのストリームは複製されたファイル記述子を参照します。そのため、 php://stdin をオープンしたあとでそれを閉じたとしても、 識別子のコピーが閉じられるだけです。STDIN で参照される実際のストリームは
窓の杜 - 【NEWS】自宅PCをメディアサーバー化して外出先からストリーミング再生できる「Orb」
Orb Networks, Inc.は25日、自宅PCにあるメディアファイルを外出先PCや携帯端末から再生できるようにするメディアサーバー「Orb」を公開した。Windows XP/Vistaに対応するフリーソフトで、現在同社のホームページからダウンロードできる。 「Orb」は、自宅PCにあるメディアファイルを、外出先のPCやW-ZERO3などのWindows Mobile端末、“Wii”“PLAYSTATION3”といったインターネット接続に対応したゲーム機でストリーミング再生できるようにするメディアサーバー。 外部に公開できるファイルは、画像・映像・音楽などのメディアファイルだけでなく、テキストファイルやオフィス文書など、サーバー側の設定次第であらゆるファイルを公開対象に含めることが可能。またサーバー側のPCに、本ソフト対応のテレビチューナーが搭載されていれば、外部からテレビ番組をリア
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Spark Streaming の基本とスケールする時系列データ処理 - Spark Meetup December 2015/12/09
TechCrunch | Startup and Technology News
DMM.com - DMMのビッグデータ分析のご紹介 ～Sparkによるリアルタイムレコメンド～
http://blog.yoslab.com/entry/2014/07/09/202304