はじめに 皆さん、こんにちは。 この記事はドワンゴ Advent Calendar 2015の13日目の記事です。 注目される可能性も高い機会ですので、Apache NiFiを紹介させていただきます。 日本だと扱っている方が(おそらく)少ない関係上、日本語情報も乏しく、ほぼ全て英語情報というのは寂しい状況ですので。 ですので、もし見て興味がある方が増えればいいなぁと。そんなわけで、お付き合いください。 Apache NiFiとは? Apache NiFiとは、一言で言うとGUIからフローが定義可能なデータフロー構築ツールです。 下記のようなデータフロー1をGUIから定義し、稼働させることが出来ます。 ローカルファイルをHDFSに投入 HTTPリクエストを待ちうけ、結果をファイルに出力 Syslogを待ちうけ、結果をデータベースに投入 Twitterからツイートを取得し、Kafkaのようなメ