The new generation data lake table formats (Apache Hudi, Apache Iceberg, and Delta Lake) are getting more traction every day with their superior capabilities compared to Apache Hive. They enable cost-effective cloud solutions for big data analysis with ACID transactions, schema evolution, time travel, and more. Table FormatsTable format technology is essential for big data environments to properly
自己紹介と後半のアジェンダ 尾野健氏:ここからはスピーカーが代わります。尾野健と言います。Data Engineering1 teamに所属していて、LINEには2019年に入社しました。現在はインジェスチョンパイプラインを開発中です。 後半のアジェンダです。現在のログパイプラインの概要、そのログパイプラインが抱える問題、その問題がIceberg導入によってどのように解決されるか。そしてFlink Iceberg applicationの詳細、最後にプロジェクトの今後の進め方を説明します。 ログパイプラインの概要 それでは現在のログパイプラインの概要です。(スライドを指して)この図は、現在のログパイプラインの最初の段階を示しています。もともとはシンプルなアーキテクチャでした。Kafka、Flink、HDFS上のHive tableという構成で、テーブルはAppend Onlyです。 ユーザ
2021年11月10日と11日の2日間、LINE株式会社が主催するエンジニア向け技術カンファレンス「LINE DEVELOPER DAY 2021」がオンラインで開催されました。そこで齋藤氏と尾野氏が「LINEデータプラットフォームにおけるApache Icebergの導入」というテーマで、データ処理とデータのインジェスチョンパイプラインについて紹介しました。まずはLINEで実施しているデータ処理について。 自己紹介と発表前半のアジェンダ 齋藤智之氏:LINE Data Platform室の齋藤智之です。現在私は、データプラットフォーム開発組織のシニアソフトウェアエンジニアとして、研究開発や開発プロジェクトのリードをしています。今日の発表では、データプラットフォームを開発運用する中で直面してきた課題と、その解決に向けた取り組みの一部を紹介しようと思います。 発表は前半と後半の2部に分かれて
もし誤って長いマクロを実行してしまった場合などは、Escキーでマクロの実行を止めることができます。これはKeyboard Macro Betaが提供している機能です。 割り当てるキーの変更方法 以下のような記述を、VS Codeの設定ファイルの1つである keybindings.json に追加することで、キーの割り当てを変更できます。 { // デフォルトの割り当てを無効化(コマンド名の前に付けたマイナス記号がポイント) "key": "ctrl+alt+l", "command": "-dynamic-macro.repeat" }, { // 別のキーを割り当て(ctrl+alt+x のところを好きなキーに書き換えてください) "key": "ctrl+alt+x", "command": "dynamic-macro.repeat" } keybindings.json ファイルは
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く