DataLakeの検索結果1 - 2 件 / 2件

• あとで読む

  Snowflake新機能： Iceberg Table と Polaris Catalog の仕組み

  • 1 user
  • zenn.dev/kevinrobot34
  • テクノロジー
  • 2024/06/08

  はじめに こんにちは！ナウキャストのデータエンジニアのけびんです。 Data Cloud Summit 2024 にて Iceberg Table が GA となること、また Polaris Catalog が発表されました。大々的に発表されたので気になっているものの、詳細を知らない方も多いのではないでしょうか？ 自分もその一人だったので、本記事では改めて Apache Iceberg とは何かというところからまとめていきます。もし誤りなどあれば教えていただけますと幸いです。 Table Format とは Apache Iceberg とは大規模な分析データ向けの Open Table Format で、 Snowflake の Iceberg Table はこれを使用したテーブルということになります。Iceberg を深掘る前にそもそも Table Format とは何でしょうか？ T

  
• あとで読む

  Apache SparkのTempViewに嵌った話 - Qiita

  • 1 user
  • qiita.com/nanndot
  • テクノロジー
  • 2024/05/27

  はじめに Databricks/Apache Sparkで開発を行っている際にTempViewを使用していたのですが、TempViewはメモリ上のデータを参照していると誤った認識をしていたため嵌りました。結論と対応方法を備忘録も兼ねてこの記事で共有させてください。 実際に嵌った話 処理の最初にDatabricks外部のDB から大量データをDatabricksに抽出し、TempViewに格納して、後続の処理ではTempViewを参照してデータを加工していく処理があります。 このTempViewを参照している箇所の処理が軒並み遅くメモリ上に格納されているのになぜ・・・？となったのがきっかけです。 誤った認識 Apache SparkのTempViewはメモリ上にデータが格納されていると思っていました。例えば下記SQLをDatabricks上で実行したときにTMP_COMMENTSはメモリ上か