はてなブックマーク

Apache FlumeやApache Kafkaはリアルタイムなイベント処理のバックエンドとして広く利用されています。これら２つのシステムは似ている部分もありますが、ユースケースによりどちらか一方、あるいは量を組み合わせて使う場合もあります。 FlumeとKafkaの違いは次のブログも参考になります。 https://www.linkedin.com/pulse/flume-kafka-real-time-event-processing-lan-jiang Apache Kafka Apache Kafkaはpub-sub、出版-購読型のシステムで、多数のシステムとの連携に広く利用されています。 [画像はhttps://kafka.apache.org/より引用] しかし、Kafkaを使う場合、一般的にプロデューサやコンシューマのためのコードを記述する必要があります。 Producer

ClouderaのHadoopディストリビューション、CDH5の最新版(CDH5.8)には Apache Spark 1.6 が同梱されています。一方、今年の6月にはSparkの新しいメジャーバージョン、Spark 2.0がリリースされました。 2016/03追記： この記事公開時点ではβ版としてのリリースでしたが、2016年12月からSpark2.0はGAになっています。（Tech previewではありません）。なので、サブスクリプションを購入している場合はサポート対象です。 なお、Spark 2.0 release 2 というリリースが現時点の最新になっており 1、Spark 2.1からバックポートされたパッチも含まれています。ご利用になる場合はKnown Issue 2 をご覧の上ご注意ください。 ローカルで試すのは簡単ですが、既存のCloudera Managerで構築しているク

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? Apache Kudu (http://kudu.apache.org/) がApacheプロジェクトのTLP（トップレベルプロジェクト）になったので、最新のQuickstart VMを使って試してみました。 Apache Kuduとは Apache Kuduは一から開発された全く新しいオープンソースのストレージエンジンです。Hadoopエコシステムに位置付けられ、HDFSとHBaseを補完します。Kuduにより、頻繁に追加/更新されるデータを素早くクエリすることができるようになります。例えば一般的なデータベースのように、リアルタイムで

Cloudera Managerを使ってセットアップしたData CollectorのGUIからデータフローを作成します。 StreamSetsのドキュメントにあるチュートリアルに従って作ってみます。今回はBasic Tutorialのパイプラインを作ってみましょう。 https://streamsets.com/documentation/datacollector/latest/help/#Tutorial/Tutorial-title.html テストデータのダウンロード チュートリアルに従ってディレクトリを作成し、サンプルデータをダウンロードします。 [cloudera@quickstart ~]$ sudo mkdir /streamsets [cloudera@quickstart ~]$ mkdir -p /streamsets/tutorial/origin [cloude