ビッグデータ分析に取り組む多くの現場で使われているのが、「Fluentd」「Hadoop」「Amazon Redshift」「Google BigQuery」「Treasure Data」である。これら主要プロダクト/サービスを図解しよう。 Fluentd いろいろな種類のログの収集と出力を一元管理するためのオープンソースソフト。収集したログをJSON形式のファイルに出力する。ログを収集する機能(input)と、 収集したログを出力する機能(output)は、プラグインを組み込むことで拡張できる仕組みになっている。いろいろな種類のログを収集できるのも、プラグインを組み込 むことで、収集可能なログの種類を追加できるためである。 Hadoop 大量のデータを分割して複数のコンピュータで並列に処理するためのオープンソースフレームワーク。ファイルシステム「HDFS(Hadoop Distribut
![図解 主要プロダクト/サービス](https://cdn-ak-scissors.b.st-hatena.com/image/square/db95ce69084e1dfc7b445e7aa034b06f6054b812/height=288;version=1;width=512/https%3A%2F%2Fxtech.nikkei.com%2Fit%2Fatcl%2Fcolumn%2F14%2F120500118%2F120500002%2Ffluentd.jpg%3F20220512)