Snowflake SUMMIT 2024をデータエンジニア目線で見る注目機能
はじめに Snowflake主催の最大のカンファレンスであるSUMMIT 2024に参加してきました。今年はサンフランシスコで6月3日から6月6日にかけて開催され、AIに関する発表が全面に押し出された印象的なイベントでした。 私は普段、データエンジニアとしてSnowflakeを使ったデータ基盤構築・運用に携わっています。本記事では、SUMMITで発表された新機能や改善点の中から、特にデータエンジニアの視点で注目した点をピックアップしてご紹介します。 ちなみに、私がどういうドメインの問題を扱っているかについては、「データ基盤Visionの進化の軌跡-事業の成長と共に歩んだ道のり」で詳しく書いてるので、背景を知りたい方はこちらを御覧ください。 なお、全体的な印象や、AI関連の機能に対する感想は、別途「Snowflake SUMMIT 2024が示唆する、AI時代のデータエンジニアリングの在り方
モダンなタスク管理を可能にするSnowflake Python API
結論 Taskを管理するならSnowflake Python APIを使おう Snowflake Python APIとは Snowflake公式のPythonのオブジェクト管理ライブラリ「snowflake.core」のことです(Public Beta)。Snowflake Python Connectorとは全く別物です。 Snowflake Python APIを使用すると、Pythonコードを使ってSnowflakeのリソース(Table、Warehouse、Task、Snowpark Container ServiceのCompute Poolなど)を管理することができます。 本記事では、Snowflake Python APIを使ってSnowflakeのタスクとDAG（Directed Acyclic Graph）を管理する方法を詳しく解説します。これにより、Streamlit
世界初のStreamliイベント TOKYO STREAMLIT MEETUPがすごくすごかった話
前置き こんにちは。さすらいのデータエンジニアのこみぃです。 先日、こちらのイベントに参加してきました。 世界初！これはすごくすごいに違いない！！ そういうわけで、イベントに参加した感想などお話しようと思います。 Streamlitはすごくすごい StreamlitはPythonのウェブフレームワークの一つです。 Pythonを使ってWEBアプリケーションを作れるというもので、似たようなフレームワークとしてPython Dashがあります。 データエンジニアにとってはデータを使ったアプリケーションを普段慣れ親しんだPythonで簡単につくれるすばらなフレームワークです。 このStreamlitを、データクラウドサービスであるSnowflakeが買収したことにより、非常に話題になりました。 すでに公開されているStreamlit in Snowflakeなどを筆頭に、今後Snowflakeと
AWS DMS と Snowpipe を活用した Snowflake 用リアルタイムデータパイプラインの構築
(画像は Snowflake 公式 Web サイトのものを流用) 概要 データエンジニアとして働いていると RDB 上での変更をリアルタイムで近い形でデータウェアハウスに転送し、即座にデータ分析に利用できるようにしたいというニーズについて相談を受ける機会があります。 筆者は、RDB からデータウェアハウスの間のリアルタイムデータパイプライン部分を OSS 中心とクラウドサービス中心の 2 つの構成で構築した経験があります。その際の経験を踏まえて、両者の簡単な比較について紹介します。 （前職）OSS 中心のデータパイプライン RDB・・・AWS RDS Aurora (PostgreSQL) BigQuery データパイプライン・・・Kafka、Debezium コンテナオーケストレーション・・・データパイプラインを AWS EKS 上 k8s クラスタにデプロイ （現職）クラウドサービス中
AWS Private Link を使った場合の AWS と Snowflake 間データ転送コストについて
変更記録 2021/8/8/ 公開 2021/8/10 同じリージョンの Snowflake アカウントにデータ転送する場合はデータ転送料無料の旨を追記。 2021/8/11 別リージョンの Snowflake アカウントや別のクラウドプロバイダにデータ転送する場合は追加料金が発生する旨を追記。 本記事の背景 - 「AWS から Snowflake にデータを転送すると高額だと聞いたけど本当？」と言われた 著者の所属では、2020年末頃にデータウェアハウスとして Snowflake を導入しました。 Snowflake 導入にあたって、顧客データ管理に厳格な業種のため、自社の Snowflake アカウントを外部インターネットごしに利用せず、自社の AWS アカウントと AWS Private Link を使ってプライベートネットワーク越しに使うことを決断しました。 AWS Private
応答時間要求が厳しいユースケースで Snowflake を直接使ってはいけない（今のところは）
背景 筆者の所属チームは、自社で唯一のデータエンジニアリングチームであり、 Snowflake を使って自社のデータウェアハウスを構築・運営すると共に、データパイプラインの構築・運用、利用者への技術サポートを行なっています。 データウェアハウスは社内のデータ分析や機械学習など様々なプロジェクトで利用されますが、データウェアハウスの直接的な利用者の多くは、データ分析を行なっているチームです。利用者も構築側の我々もお互いにデータ分析のワークロードがどういうものか理解した状態でプロジェクトが運営されます。 しかし、利用範囲が広がっていくにつれ、段々、データ分析のワークロード、データウェアハウス（あるいは Snowflake ）の特性をよく知っているエキスパートではない人が利用し始め、利用者と運営者（データエンジニアリングチーム）の認識の食い違いにより、運営側が想定してない問題に発展することがあり
Snowflake + dbt におけるELT処理の私的ベストプラクティス
これは何？ この記事は Snowflake Advent Calendar 2022 の19日目および dbt Advent Calendar 2022 の22日目の記事です。 (本当は別々の日でそれぞれ記事で上げたかったのですが、同じような内容になるので統合させていただきました。恐縮です。) 私はちょうど一年前くらいからdbtをSnowflake上で利用しています。 その中で色々と我流のTipsが貯まりはじめたので、私なりの利活用やベストプラクティスについてざっくりとまとめつつ、今後のSnowflake + dbtのデータエンジニアリングの展望についても軽く触れていきたいと思います。 Snowflakeとdbtの使い分け 2022/12/19時点での結論構成、こんな使い分けの構成がよいと思っています！ 理由は後述します。 可能な限り上流に近いデータソースからdbtに登録してしまってTra
2022年にデータ界隈で私がしてきたこと
この記事は ちゅらデータ Advent Calendar 2022 の2日目の記事です。 筆者は誰？ 私は2020年4月からちゅらデータの CTO として、主に日本の顧客向けにデータ基盤の構築を行ってきたエンジニアです。 好きなデータウェアハウスは Snowflake で、最近は Snowflake 7 : その他のDW 3 くらいの比率で開発してる気がします。 2021年には Snowflake から Data Hero Of The Year に選ばれたり、2022年は Data Superhero に選ばれたりと、データ界隈では結構頑張ったなという感じです。 注意 この記事は私の活動をサマリしたもので、あまり一般の人からは興味がわかない内容だと思います。 おそらく、ふーんって感じなので、このあたりでタブを閉じていただいても一向に構わないぜ。 活動方針 2021年は Snowflake
AWS ECS と Airflow で Snowflake 向け dbt モデルデプロイをスケジューリング実行する
本記事は、Snowflake Advent Calendar 2022 その 2 の 3日目の記事です。 背景 筆者の所属企業では、約 2 年前に Snowflake を導入した際に、各種リソースの構成管理方法・デプロイ方法として、Terraform を導入しました。 当初は、Terraform で何でも管理しようと試みていましたが、以下の理由により、テーブルやビューといったデータ関係のリソースについてはデータ変換ツール dbt の OSS 版 dbt core を導入しました。 Terraform で大量のリソース管理を行うと、Terraform ステート更新に伴う計算量が増大し、必要な CPU・メモリ量が増加、またデプロイが完了するまでの時間が増大した。 デプロイ対象として、テーブルやビューの数が多いが、利用者に Terraform を学習させるのはコストがかかる。Terraform
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
