2017/8/4開催の「ストリームデータ処理技術勉強会」で発表した資料です。 https://futureofdata.connpass.com/event/60300/
印刷する メールで送る テキスト HTML 電子書籍 PDF ダウンロード テキスト 電子書籍 PDF クリップした記事をMyページから読むことができます 米国家安全保障局(NSA)は2014年11月、データフローオーケストレーションソフトウェアである「Niagrafiles」(NiFi)をオープンソースとして提供した。 NSAらしからぬその行動をいぶかしむ者もいたが、公正を期して言えば、NSAがオープンソースコミュニティにテクノロジを寄贈するのはこれが初めてのことではない。その3年前にも、データベース「Accumulo」をApacheに寄贈している。 また、米国時間2015年8月下旬には、NSAのプロジェクトから生まれたApache NiFiを手がける企業Onyaraが、Hadoop関連企業として有名なHortonworksによって買収されたことで、この技術は再び脚光を浴びた。 データフ
一度NiFiで基本のデータフローを通すことが出来たので、そもそもNiFiは何ぞや、というのをOvewviewのページを読むことで確認してみます。 尚、全訳ではなく、流れや意味が大体わかればいい、というレベルの荒い訳になります。 下記のページのOverviewから確認しました。 参照: http://nifi.apache.org/docs.html Apache NiFiとは? NiFiはシステム間のデータフロー自動化を行うために構築された。 データフローは様々なコンテキストで使用されるが、NiFiでは自動化され管理されたシステム間の情報やり取りフローを指す。 この問題領域はある企業でシステム間でデータの出力/入力が発生する場合には常時おこる。 解決方法は今まで継続して議論されてきており、そのながれはEnterprise Integration Patterns(EIP)にもみられる。 N
最近データフローオーケストレーションツールであるApache NiFiが面白いため、実際どういうものなのか、の概要をまとめてみます。 一言で言うと、データフローオーケストレーションツール、となります。 元々は米国家安全保障局(NSA)が開発していた「Niagrafiles」というプロダクトで、2014年11月にオープンソースとして寄贈されました。 下記の画像のように、画面上でストリーム処理を行うデータフローを定義し、動作させることが出来ます。 参照:https://nifi.apache.org/ 2015年7月にApacheのTopレベルプロジェクトになり、開発が進められています。 また、2015年8月下旬には、NiFiを手がける企業Onyaraが、Hortonworksによって買収され、HortonWorksからNiFiの独自ディストリビューションである「HortonWorks Dat
An easy to use, powerful, and reliable system to process and distribute data. Features Apache NiFi supports powerful and scalable directed graphs of data routing, transformation, and system mediation logic. Apache NiFi includes the following capabilities: Browser-based user interface Seamless experience for design, control, feedback, and monitoring Data provenance tracking Complete lineage of info
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く