2. 自己紹介 ● 名前 ○ 斎藤貴文 ● 所属 ○ 株式会社サイバーエージェント秋葉原ラボ ● 担当案件 ○ データ転送管理基盤開発・運用 ○ 効果計測ツール開発・運用 ○ アクセス解析システム開発・運用 ○ ステートフルストリーム処理基盤開発 ○ ストリーム処理・データフローについて色々やっていたり 2 3. はじめに 3 ● 今回の発表内容は初心者~中級者向けです ○ 実装の具体的な話はあまりしません ● このスライドにはOSSがいくつか出てきますが、 OSS固有の話はしません ○ 皆さん馴染みのOSSに脳内変換して問題ございません ■ Flume → Fluentd, Logstash ■ Kafka → Kinesis Stream, Google Cloud Pub/Sub, Palser ■ Hive → Pig, BigQuery, Redshift, Presto, Im
![ログ解析基盤におけるストリーム処理パイプラインについて](https://cdn-ak-scissors.b.st-hatena.com/image/square/b81e345f7fa07d380be70457ca9b3e00d5cbbf8d/height=288;version=1;width=512/https%3A%2F%2Fcdn.slidesharecdn.com%2Fss_thumbnails%2Fcadeda5streamprocessingpipeline-180717005637-thumbnail.jpg%3Fwidth%3D640%26height%3D640%26fit%3Dbounds)