自己紹介と後半のアジェンダ 尾野健氏:ここからはスピーカーが代わります。尾野健と言います。Data Engineering1 teamに所属していて、LINEには2019年に入社しました。現在はインジェスチョンパイプラインを開発中です。 後半のアジェンダです。現在のログパイプラインの概要、そのログパイプラインが抱える問題、その問題がIceberg導入によってどのように解決されるか。そしてFlink Iceberg applicationの詳細、最後にプロジェクトの今後の進め方を説明します。 ログパイプラインの概要 それでは現在のログパイプラインの概要です。(スライドを指して)この図は、現在のログパイプラインの最初の段階を示しています。もともとはシンプルなアーキテクチャでした。Kafka、Flink、HDFS上のHive tableという構成で、テーブルはAppend Onlyです。 ユーザ
![ログパイプラインの4つの問題にLINEはどう立ち向かうか シンプルかつ拡張性のあるアーキテクチャを叶える、Icebergという選択肢](https://cdn-ak-scissors.b.st-hatena.com/image/square/b476fcda0280dc660e36310c52284eeacd27a531/height=288;version=1;width=512/https%3A%2F%2Fimg.logmi.jp%2Farticle_images%2FGekqGSTJDhyapqyrtmNwPo.png)