Integrating Apache NiFi with AWS S3 and SQS - Cloudera Community
Introduction Hortonworks Dataflow (HDF) powered by Apache NiFi, kafka and Storm, collects, curates, analyzes and delivers real-time data from the IoAT to data stores both on-premises and in the cloud. Apache NiFi automates and manages the flow of information between systems. NiFi data flows are made of series of processors each with specific task. NiFi provides hundreds of general purpose processo
Apache NiFiのそもそものコンセプトは？ - Qiita
一度NiFiで基本のデータフローを通すことが出来たので、そもそもNiFiは何ぞや、というのをOvewviewのページを読むことで確認してみます。 尚、全訳ではなく、流れや意味が大体わかればいい、というレベルの荒い訳になります。 下記のページのOverviewから確認しました。 参照： http://nifi.apache.org/docs.html Apache NiFiとは？ NiFiはシステム間のデータフロー自動化を行うために構築された。 データフローは様々なコンテキストで使用されるが、NiFiでは自動化され管理されたシステム間の情報やり取りフローを指す。 この問題領域はある企業でシステム間でデータの出力／入力が発生する場合には常時おこる。 解決方法は今まで継続して議論されてきており、そのながれはEnterprise Integration Patterns(EIP)にもみられる。 N
Data Integration as Service: Kafka-Connectの紹介と実験 - Qiita
Kafka ConnectはKafkaと周辺のシステム間でストリームデータをやりとりするための通信規格とライブラリとツールです。まずは下の図をご覧ください。 コネクタは周辺のシステムからKafkaへデータを取り込むためのソースと周辺システムへデータを送るシンクの二種類があります。データの流れは一方通行です。すでに何十ものコネクタが実装されており、サポートされている周辺システムは多種に渡ります。もちろん自分でコネクタを作ることもできます。 Kafkaの中を通過するデータの形式は基本的にAvroです。コネクタが周辺システム固有のデータ形式をAvroに変換統一しています。これによりどんなソースとシンクの組み合わせでも動くことになります。 AvroにはSchema Registryがあり、スキーマの変更にも対応できます。 コネクタはスタンドアローンモードと分散モードがあり、分散モードでは複数台のサ
Kafkaアプリケーションのユニットテスト - 烏滑稽
10日0時を回ってしまった気がしますが Distributed Computing Advent Calendar 12/9 分、書いていきます。寝なければセーフ！ Kafkaアプリケーションのユニットテストについてですが具体的な方法ではなく概論のような形になります。 qiita.com Kafkaアプリケーション is 何 今回話すKafkaアプリケーションは、Kafka brokerそのものの上で動くなにかのプログラムではなく、 Kafka brokerに対してconsumeしたりproduceしたりするクライアントアプリケーションのことです。 例えば Kafkaから読んだデータをフィルタリングしたり情報を付加した後に別トピックに書き戻すアプリケーション（ETL） Kafkaから読んだデータを集約して結果をKVSなどに書き出すアプリケーション Kafkaから読んだデータを使って異常検知
MongoDB超入門 - Qiita
MongoDB勉強中です、間違っていたらすみません。 目次 MongoDBの特徴 コマンド一覧 JavaScriptシェルのサンプル コレクション ドキュメント クエリセレクタ インデックス レプリケーション シャーディング MongoDBの特徴 ドキュメント・データベース NoSQL BSON B-treeインデックス 1コレクションに対し最大64個 http://blog.h13i32maru.jp/entry/2012/07/01/000000 速度と耐久性 レプリケーション シャーディング キャッシュ機構の充実による高パフォーマンス データをメモリにキャッシュする仕様 memcachedなどを導入しなくてもある程度のパフォーマンスを確保可能 BSON MongoDBのデータストレージ及びネットワーク転送フォーマットとして利用されるデータ交換フォーマット 使える型(ほぼJSON) s
近年の OSS 開発における CI 選択のベストプラクティス - Speaker Deck
All slide content and descriptions are owned by their creators.
5分でわかる Perl and web security
yapcjapan2016_lt.md 5分でわかる Perl and web security ma.la CSRFとかXSSとか CSRF: フレームワークの機能使って下さい XSS: Xslateとか自動エスケープして下さい、jsの動的生成はするな 終わり 本題 YAPCなのでPerl固有の問題について解説します。 Webアプリケーションの一般的な流れ パラメータ受け取る(フォームとかJSONとか) 何らかの処理をする レスポンスを返す(HTMLとかJSONとか) フォームやJSONを安全に受け取るには paramはscalarで受け取りましょう Why $params = { name => $r->param("name"), value => $r->param("value"), } これをやると ?name=hoge&name=fuga で壊せる。 list context
MongoDBの新機能：ジャーナリングについて詳しく - doryokujin's blog
v1.8でMongoDBはジャーナリングと呼ばれる機能が新たに加わりました。今日はMongoDBのジャーナリングについて、実際にどのような処理が行われているのかを確認しながら、丁寧に見ていくことにしましょう。※なお、ジャーナリングという言葉自身、Mongoにこの機能が実装されるまで深く意識するようなことはありませんでした。解釈の部分で誤りなどがあるかもしれません、その際はご指摘していただけると幸いです。 ジャーナリングによってデータの堅牢性が格段に高まった v1.8でジャーナリング機能が追加されたことによって、シングルサーバーにおけるデータの堅牢性がさらに高まりました。ジャーナリングという言葉は主にファイルシステムの分野においてかなり前から議論され、改善が進められてきた機能です。この意味におけるジャーナリングの目的はファイルシステム全体を保護することであり、そのためにメタデータの整合性を保
Apache Kafka について | ギャップロ
Kafka と ZooKeeper ZooKeeper の詳細 ZooKeeper は、分散アプリケーションのためのオープンソースの分散コーディネーションサービスです。ZooKeeper は Java で動作し、Java と C のためのバインディングが用意されています。 クラスタ (マルチサーバー) セットアップ ZooKeeper は奇数単位でアンサンブルと呼ぶクラスタを組みます。アンサンブルの過半数が動作している必要があるので、奇数台のマシンを使うのがベストです。たとえば 4 台のマシンを使う場合、ZooKeeper が対応できるのはマシン 1 台の障害までです。2 台のマシンに障害が発生すると、残りの 2 台では過半数にならないためです。5 台のマシンを使えば、ZooKeeper はマシン 2 台までの障害に対応できます。 その中の 1 台がリーダー選挙を通して全ての書き込みを調停
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Hortonworks Data in Motion Webinar Series Part 7 Apache Kafka Nifi Better Together
Integrating Apache NiFi and Apache Flink
Cloudera Standard のご案内 ~ 無償版 大幅機能強化のお知らせ | Cloudera Japan
頼りがいのあるORM「Aniki」徹底解説!