結論 Taskを管理するならSnowflake Python APIを使おう Snowflake Python APIとは Snowflake公式のPythonのオブジェクト管理ライブラリ「snowflake.core」のことです(Public Beta)。Snowflake Python Connectorとは全く別物です。 Snowflake Python APIを使用すると、Pythonコードを使ってSnowflakeのリソース(Table、Warehouse、Task、Snowpark Container ServiceのCompute Poolなど)を管理することができます。 本記事では、Snowflake Python APIを使ってSnowflakeのタスクとDAG（Directed Acyclic Graph）を管理する方法を詳しく解説します。これにより、Streamlit
そうです。わずか10行しかないデータですが、 15,000列 あります。 「それデータモデリングをミスってるやん」というツッコミはあると思いますが、今回はそのあたりについてはノーコメントです。諸事情ありこのようなデータを扱うことになりました。 今回は Snowflake でもなかなか扱うことが難しい (横方向に) クソデカデータの世界 をご案内したいと思います。 クソデカテーブルを作る まずテーブルを作ります。 この時点でエラーが出てくれるならまだ良かった。。。 なんとこのクエリは問題なく実行でき、テーブルは作成できます。 作成できてしまいます。 作成できてしまったが故に、「さすが Snowflake、列数が多いテーブルも簡単に扱えるんだね!!」と高をくくってしまいます。 ちなみに PostgreSQL の場合は1テーブルあたり最大 1,600 列だそうです。まぁそれだけあれば普通は困らな
大規模データを扱う現場でどんな変化が？ Snowflake導入5社のデータ基盤アーキテクチャと設計意図 - Findy Tools
公開日 2024/03/12更新日 2024/07/25大規模データを扱う現場でどんな変化が？ Snowflake導入5社のデータ基盤アーキテクチャと設計意図 スケーラビリティやデータ活用までのリードタイム、価格面での懸念に応える製品として注目を集めるSnowflake。特に大規模なデータを取り扱う現場では、Snowflake導入によってどんな変化があるのでしょうか。 本記事では、前回の第一弾でご紹介したChatworkさん、delyさん、GENDAさん、スターフェスティバルさんに引き続き、第二弾として大規模データを取り扱う5社に、データ基盤の設計思想やデータチームの方針にも触れながら、Snowflake導入の背景や効果を伺いました。 株式会社Algoage事業概要株式会社Algoageは、東京大学で機械学習の研究をしていたメンバーで2018年に創業したスタートアップです。AIを活用したサ
Snowflake の Copilot が優秀すぎる件について
マーケティングテクノロジーの情報やノウハウ・TIPS、エクスチュア社の情報を発信。【ブログネタ募集】ご興味のある分野を教えてください！ご要望の内容を記事に起こします！メニューの「ブログへの」リクエストよりお送りください。 menu こんにちは、喜田です。 いままでSnowflakeのライトユーザーで一部機能だけに特化して触っている状態でしたが、最近はData Superheroes 2024になったこともあり、いままで関わりの薄かった製品領域も調査したり、海外リージョンでしか出ていないプレビューを触ったりしています。 そのうちの一つがCopilotで、いまは北米など一部リージョンでのみパブリックプレビュー中の、Snowflakeコード開発が一段と捗るAIおしゃべり機能です。 この右側のパネルがCopilotとのチャット。出力が多くてチャットっぽくないですが、上から会話が続いております。 C
データ窃盗と恐喝を目的として Snowflake の顧客データベース インスタンスを標的にする UNC5537 | Google Cloud 公式ブログ
※この投稿は米国時間 2024 年 6 月 11 日に、Google Cloud blog に投稿されたものの抄訳です。 はじめに Mandiant は、インシデント対応業務と脅威インテリジェンス収集の過程で、データ窃盗と恐喝を目的として Snowflake の顧客データベース インスタンスを標的とする脅威キャンペーンを特定しました。Snowflake は、大量の構造化データと非構造化データの保存と分析に使用されるマルチクラウド データ ウェアハウス プラットフォームです。Mandiant は、この活動クラスタを UNC5537 として追跡しています。UNC5537 は、Snowflake の顧客環境から大量のレコードを盗んだ疑いのある、金銭目的の脅威アクターです。UNC5537 は、盗んだ顧客の認証情報を利用して Snowflake の顧客インスタンスを体系的に侵害し、サイバー犯罪フォー
執筆：Nick Biasini、協力：Kendall McKay、Guilherme Venere クラウド データ プラットフォーム Snowflake のログイン情報の流出、盗難に端を発した数々の影響と流出後の攻撃が続々とニュースになっています。 攻撃者は、情報窃取マルウェアを使用して Snowflake アカウントのログイン情報を入手しました。中には多要素認証（MFA）で保護されていないものがあり、それを使用して Snowflake の顧客アカウントに侵入し、機密情報を盗み出しました。しかし、Snowflake の本当の問題はこの点ではありません。このインシデントは、ここしばらく脅威環境で見られているはるかに大きな変化の現れであり、その焦点はアイデンティティにあります。 過去数十年の間に犯罪的脅威を取り巻く環境が崩壊し、ランサムウェアやデータ強奪が広まっている状況を Talos は目
【連載】データ分析基盤をdbt・Snowflakeに移行する【設計・実装編】 - Algoage Tech Blog
こんにちは、Ops-dataチームの上村(@contradiction29) です。以前、弊社内で運用されているデータ分析基盤を移行するにあたり、設計の方針を練る記事を投稿しました。 tech.algoage.dmm.com 今回はその続きとして、移行プロジェクトの実際の進行に焦点を当てて記事を書いていきたいと思います。 はじめに これまでのあらすじ：運用していく中でつらみがたまってきた弊社のデータ分析基盤。開発しづらいし、運用もつらいし、何よりこのまま運用を続ければ確実に停止してしてしまう。End of Service Life (EOSL) は目前に迫っています。移行するしかない状況です。 とはいっても、単純に移行するだけでは、現場のアナリストやエンジニア、社内ユーザー、そしてその先にあるクライアントのニーズに応え、事業価値に貢献することはできません。真の「価値」に貢献するためには「思
BigQueryからSnowflakeへ移管して作る最強のデータ基盤 〜Data Ingestion編〜 / The Ultimate Data Platform Migration from BigQuery to Snowflake: Data Ingestion Edition
『みんなの考えた最強のデータ基盤アーキテクチャ2024前半おまとめ拡大版SP！』の発表資料です。 https://datatech-jp.connpass.com/event/319827/
無料で商用利用可能なSQL生成・コーディング・命令フォローなどのエンタープライズタスクに最適化された大規模言語モデル「Snowflake Arctic」が登場
クラウドベースのデータウェアハウスサービスを展開する企業のSnowflakeが、トップレベルのエンタープライズ向け大規模言語モデル(LLM)として「Snowflake Arctic」をリリースしました。Apacheライセンス バージョン2.0で提供されるオープンなモデルとなっており、無料で商用利用も可能です。 Snowflake Arctic - LLM for Enterprise AI https://www.snowflake.com/blog/arctic-open-efficient-foundation-language-models-snowflake/ Snowflakeの調査では、企業ユーザーはAIを使用して主にデータ支援やコード支援、検索拡張生成(RAG)を行うチャットボットを作成したい場合が多いとのこと。そこで、Snowflakeは「コーディング能力」「SQL生成能力
1ヶ月でSnowflakeのPoC検証から報告までを実現した効率化の取り組み - ぐるなびをちょっと良くするエンジニアブログ
こんにちは。データ・AI戦略部 SREチームの小野です。2020年8月に入社してから早3年。SREエンジニアとして、日々業務改善に励んでいます。 私の所属するデータ・AI戦略部は、クラウドやSaaSの活用を積極的に行っています。私自身も「業務に役立ちそうなサービス」を見つけたら上長に相談するようにしています。 今回は、「1ヶ月でSnowflakeのPoC検証から導入提案まで行った話」をお伝えしたいと思います。ちなみにこのブログの執筆時点では、Snowflakeの導入はまだ実現していません。 <書くこと> 「PoC検証の取り組み方から提案までの手法」を中心に執筆します。今後ChatGPTのような技術革新がますます活発化した時、新しいサービスの検証や提案を「より高品質」に「よりスピーディ」に行うことが必要になってくると思います。そういったニーズの参考になれば幸いです。 <書かないこと> Sno
ディメンショナルモデリングに入門しよう！Snowflakeとdbt Cloudで「Building a Kimball dimensional model with dbt」をやってみた | DevelopersIO
ディメンショナルモデリングに入門しよう！Snowflakeとdbt Cloudで「Building a Kimball dimensional model with dbt」をやってみた さがらです。 ここ２年ほどの間にdbtが日本でも急速に拡大し、様々な情報が日本語の記事でも見かけられるようになってきました。 dbtを採用してある程度活用を進めていくと、「より効率よくガバナンスを持ってデータを管理するにはどうすればいいんだろうか」といったデータの管理方法に悩む場面が出てくると思います。 そんなときに色々調べていくと、データを効率よく管理する手法として「データモデリング」が必要だとわかり、ディメンショナルモデリングやData Vaultなどの手法に行き着くのではないでしょうか。 そしてこれらのデータモデリングの手法の内、ディメンショナルモデリングについてdbtを用いて実践された記事がありま
Snowflakeの力を引き出すためのdbtを活用したデータ基盤開発の全貌 - CARTA TECH BLOG
当記事は、dbtのカレンダー | Advent Calendar 2023 - Qiita の23日目の記事です。 こんにちは、株式会社CARTA MARKETING FIRMのデータエンジニア、@pei0804です。データエンジニアリングのほか、組織運営やデータエンジニア育成にも携わっています。 本記事では、Snowflakeを中心とした当社のデータ基盤「Vision」と、その中核であるdbtの利用について深掘りします。dbtを活用することで、SQLのみでデータパイプラインを効率的に構築し、作業の効率化を図っています。 dbt導入の詳しい導入背景は以下のスライドでご覧いただけます：広告レポーティング基盤に、dbtを導入したら別物になった話 / tokyo-dbt-meetup-4 - Speaker Deck。 私たちのチームでは、ビジネスに直接価値を提供しているdbtモデルの開発はプロ
【データ可視化/Streamlit】Streamlitで作ったアプリからSnowflakeのテーブルを自由に更新する方法 - Qiita
前置き こんにちは。データエンジニアの山口です！ Streamlitでデータ可視化アプリを作成しており、 Streamlitアプリ上に手入力した値とSnowflake内の値を結合してデータを可視化したいなと思ったので、やり方を考えてみました。 結論 Streamlitアプリ上に手入力した値をSnowflakeのテーブルにデータを挿入・更新して、 すでにSnowflakeに入っているデータと結合すればいいのではないかと言う考えに至りました。 Streamlitのform_submit_button関数が使えそうだったので、そちらを使っていきます！ 機能を実装する 早速機能を実装していきます！ 前準備 まずはStreamlitから更新をするテーブルを用意しておきます。 今回は従業員マスターというテーブルを以下のクエリで作成して、 このテーブルの中にINSERT文などで、いくつか適当にデータを入
Snowflakeは、2024年4月に100以上の顧客環境を襲った一連のサイバー攻撃から再び距離を置こうとした（注1）。同社は「セキュリティの責任は当社ではなく顧客にある」と述べた。 「責任は顧客にある」 サイバー攻撃被害に遭ったSnowflakeの主張 2024年8月21日（現地時間、以下同）、Snowflakeのスリダール・ラマスワミ氏（CEO）は、同年7月31日に終了する四半期に関する決算説明会で次のように述べた。 「大々的に報道されたように、この問題の原因はSnowflakeの側にはなかった。内部および外部のサイバーセキュリティ専門家による複数の調査の結果、私たちのプラットフォームが侵害されたり、侵入されたりした証拠は見つからなかった。しかし、全ての関係者が協力してサイバーセキュリティの問題に取り組む必要があることは理解している」 Snowflakeのマイケル・スカーペリ氏（最高財
Don’t Use Passwords in Your Snowflake Account - LayerX エンジニアブログ
こんにちは。バクラク事業部 機械学習・データ部 データグループの@civitaspoです。最近、仕事で使用するPCを新調したのですが、Nixとhome-managerを使って環境構築していたおかげで、爆速で環境移管が完了しました。MacOSのセットアップをする場合は、nix-darwinというnix moduleを使うのですが、MacOSのdefaultsコマンドを使用して変更するパラメータ（たとえばInitialKeyRepeatやKeyRepeatなど）も宣言的に書けるので便利です。PAMの設定を変更してsudo実行時にTouch IDを使えるようにする設定もあったりします。非常に便利なので是非試してみてください！ さて、本記事のタイトルである「Don’t Use Passwords in Your Snowflake Account」は、先月開催されたSnowflake Data C
現地参加して良かった！Snowflake Data Cloud Summit 2024！ - LayerX エンジニアブログ
こんにちは。バクラク事業部 機械学習・データ部 データグループの@civitaspoです。2024年6月3日から6日にかけてサンフランシスコで開催されたSnowflake Data Cloud Summit 2024に現地参加してきました。本記事では、その様子や感想をレポートしようと思います。 Snowflake Data Cloud Summit 2024 とは？ Snowflake Data Cloud Summit 2024（以下、Summit）は2024年6月3日から6日にかけてサンフランシスコのモスコーニ・センターで開催された、Snowflake社が年次で主催する最大のユーザーカンファレンスです。Snowflakeの最新技術やデータクラウドの未来を語る基調講演に始まり、450を超えるセッションやハンズオンが行われました。参加者は全体で約1万5000人にのぼり、日本からは250人が
公開日 2024/02/22更新日 2024/07/25Snowflake導入でどう変わった？身近なサービス4社の技術選定 データの利活用への重要性が年々高まっている昨今ですが、スケーラビリティやデータ活用までのリードタイム、価格面での懸念に応える製品としてSnowflakeに対する注目度も右肩上がりとなっています。 本記事では、Snowflakeを導入している企業・事業を対象に「なぜSnowflakeを導入したのか」「Snowflakeを導入して何が変わったか」さらには「データ基盤チームとして何を目指しているのか」を伺いました。 Snowflakeのメリットや活用方法はもちろん、Snowflakeという枠を飛び出してデータ基盤の設計思想やデータチームの取り組み方等でも参考にしていただける内容となっています。 株式会社kubell（旧Chatwork株式会社）事業概要国内最大級のビジネスチ
Easy building, distribution and scaling for applications
UNC5537 Targets Snowflake Customer Instances for Data Theft and Extortion | Google Cloud Blog
UNC5537 Targets Snowflake Customer Instances for Data Theft and Extortion UPDATE (June 17): We have released our Snowflake threat hunting guide, which contains guidance and queries for detecting abnormal and malicious activity across Snowflake customer database instances. Default retention policies for the relevant views enable threat hunting across the past 1 year (365 days). Introduction Through
この記事はSnowflakeアドベントカレンダー2023の19日目です。 はじめに 昨年、Snowflakeのパフォーマンスにおいて非常に重要な概念であるクラスタリングとプルーニングに関して、以下の記事を書きました。 なぜクラスタリングやプルーニングが大事なのかを説明させてもらったのですが……理屈はわかった！ではどうすれば？という、具体的なユースケースについて全く書けておらず、また別のブログにします、と宣言しておいて、1年間完全に放置してしまっていました。すみません。。 この記事では、上記の記事の続きとして、クラスタリング・プルーニングの概念を知ったうえで、具体的にパフォーマンスを向上させるにはどうすれば良いかのヒントとなるようなものを書きたいと思います。 具体的には、そうデータモデリングです！ データモデリング万能説 データモデリングがめちゃくちゃ大事だよ！ってことは、SnowVilla
LLMでSnowflakeのSQLを最適化、クラウド費用を最大8割削減するEspresso AIが登場——シードで1,100万米ドル調達も - BRIDGE（ブリッジ）テクノロジー＆スタートアップ情報
Image credit: Espresso AI シリコンバレーの AI スタートアップ Espresso AI は、現在企業コンピューティングにおけるおそらく最大の課題であるクラウドコストの高騰抑制に AI の力を導入するため、1,100万米ドル以上のシード資金を調達した。この資金調達には、Daniel Gross（ダニエル・グロス）氏と Nat Friedman（ナット・フリードマン）氏がリードしたシードラウンドと、FirstMark の Matt Turck 氏がリードしたプレシードラウンドがあり、業界のリーダーたちも参加している。 7日にステルス状態から抜け出した同社は、高度な言語モデルと機械学習を使ってコードを自動的に最適化し、クラウドの計算コストを最大80％削減する技術を開発した。最初の製品は、人気のクラウド・データウェアハウス・プラットフォーム「Snowflake」の SQ
[新機能]SnowflakeでMistral AI・LLaMA 2・Gemmaを用いたLLMが関数一つで簡単に使用可能に！Snowflake Cortex LLM Functionsを試してみた | DevelopersIO
[新機能]SnowflakeでMistral AI・LLaMA 2・Gemmaを用いたLLMが関数一つで簡単に使用可能に！Snowflake Cortex LLM Functionsを試してみた さがらです。 日本時間2024年3月5日の夜に、Mistral AI・LLaMA 2・Gemmaを用いたLLMが関数一つで簡単に使用可能となるSnowflake Cortex LLM Functionsがパブリックプレビューとなりました！ 2024年3月6日6時の時点ではまだリリースノートに記載もありませんが、下記のMistral AI社とのパートナーシップのプレスリリースと併せて機能がリリースされたのだと思います。（本記事内にMistral AI’s models are now available to customers in public preview as a part of Snow
![[新機能]SnowflakeでMistral AI・LLaMA 2・Gemmaを用いたLLMが関数一つで簡単に使用可能に！Snowflake Cortex LLM Functionsを試してみた | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/c216ed5ea5f0d13892f7504741bc81a124b1a205/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2021%2F03%2Fsnowflake-logo-1200x630-1.png){kind=logo}
本記事の背景 本記事は、某所で密かに行われていた Snowflake DevOps 情報交換会 Season 1 最終回の議論用に共有した内容です。 本会は、 DevOps を中心に、また DevOps とは直接は関係ないテーマも含め、その時々において関心のあるテーマを取り扱っていましたが、今回は最終会ということで、本来のテーマである DevOps において、私個人が中心的テーマであると考える構成管理やデプロイの自動化について議論したいと思い、整理しました。 中心的テーマを再び取り上げようと考えたきっかけの 1 つが Snowflake Data Superhero の Tomas が LinkedIn で EXECUTE IMMEDIATE FROM という新しい構文について紹介しているのを発見したことです。これはステージ上の SQL ファイルを直接実行できるという機能です。 Tomas
この記事は Snowflake Advent Calendar 2023 Series 2 の 1 日目です。 Disclaimer 筆者は Snowflake でパフォーマンスエンジニアをやっている者ですが、この記事はオフィシャルな文書ではなく、また 2023 年 12 月時点での動作となります。 CTE (Common Table Expression) とは CTEとは何ですか？ CTE（共通テーブル式）は、 WITH 句で定義された名前付きサブクエリです。CTE は、 CTE 定義するステートメントで使用する仮の ビュー と考えることができます。CTE は、仮のビューの名前、オプションの列名のリスト、およびクエリ式（つまり、 SELECT ステートメント）を定義します。クエリ式の結果は事実上テーブルになります。そのテーブルの各列は、列名の（オプションの）リスト内の列に対応しています
SnowflakeでMicrosoft Entra IDによるSingle Sign-On及びSCIMプロビジョニングを有効化する - LayerX エンジニアブログ
こんにちは。バクラク事業部 機械学習・データ部 データグループの@civitaspoです。僕は定期的にエディタを変えるのですが、最近CursorからNeovimに移行しました。LazyVimを使ってセットアップするとシュッと使いやすい環境ができあがったので、Neovimのコミュニティ・エコシステムは素晴らしいなと感動してしまいました。Javaも普通にNeovimで書けちゃう。 さて、弊社ではSnowflake導入に向けた大規模な検証を進めています。これまで弊社ではデータウェアハウスソリューションとしてGoogle CloudのBigQueryを利用してきました。もちろんBigQueryも素晴らしいソリューションの一つですが、弊社のサービス提供環境がAWSであるという都合上、Snowflakeとは親和性が高く、またSnowflakeはBigQueryとは異なる素晴らしい機能を持ち合わせている
こんにちは！シンプルフォームの山岸です。 当社では現在、Snowflake をベースとするデータ基盤への移行に向けて、機能・非機能それぞれについて検証・構築を進めています。今回は、機能要件の中でも特に重要な要素である ELT アーキテクチャについて、具体的な実装とともにご紹介できればと思います。 アーキテクチャ 早速本題ですが、移行後のデータ基盤として以下のような ELT アーキテクチャを構築しました。 プロダクト環境として product1, product2 ... のような複数の AWS アカウントが存在しているようなケースを想定します。各環境のプロダクト用 Aurora データベースを、Snowflake 環境上のスキーマとして再現します。 Snowflake 環境にデータを取り込んだ後のモデリングは dbt で行います。Staging 層から実際に利用されるテーブルを再現する部分
Snowflake & dbt Cloudハンズオン実践 #1: 『Snowflake環境準備』 #snowflakeDB #dbt | DevelopersIO
アライアンス事業部 エンジニアグループ モダンデータスタック(MDS)チームの しんや です。 Snowflakeが展開しているサイト『Snowflake Quickstarts』では、Snowflake単体、またSnowflakeと他サービスとの連携について実戦形式で手を動かしながら学んでいけるコンテンツが多数公開されています。 その中の1つ『Accelerating Data Teams with Snowflake and dbt Cloud Hands On Lab(Snowflake と dbt Cloud ハンズオン ラボを使用してデータ チームを加速する)』は、dbt CloudとSnowflakeを連携させる形で、Snowflakeのデータを使ってdbt Cloudでデータ変換の処理を作り上げていく流れを学ぶことが出来る非常に参考になるコンテンツです。 当エントリ及び一連の
dbt x snowflakeで使っていないテーブルとビューを安全に一括で削除する - CARTA TECH BLOG
概要 こんにちは、4月に新卒で株式会社CARTA HOLDINGSに入社し、現在はCARTA MARKETING FIRMのデータエンジニアをやっているharukiです。 私たちのチームでは、dbtとsnowflakeを使ってデータ基盤を構築しています。 データ基盤を使うエンジニアが増え、dbtのモデル数が増えてきたのですが、その中には使わなくなり削除したdbtモデルもありました。 dbtモデルを削除しても、Snowflake上の対応するテーブルやビューは自動的には消えないため、使われないsnowflake上のテーブルやビューが増えて目立つようになってきました。 そこで、dbtモデルとしては削除されているが、snowflake上に残ってしまっているテーブルやビューを一括削除できる処理を考えました。 想定読者 dbtとsnowflakeを使ってデータ基盤を開発している方 この記事を読んでわか
データストレージベンダーであるPure Storageは2024年6月11日（現地時間、以下同）、自社のセキュリティ速報で（注1）、顧客サポートサービスに使用しているテレメトリーデータを含むSnowflake環境に攻撃者がアクセスしたことを発表した。 同事案は脅威アクター「UNC5537」によるSnowflakeの顧客データをターゲットとする脅威キャンペーンに関連したものだ。UNC5537はインフォスティーラーマルウェアによって盗まれた資格情報を使用して顧客のSnowflakeインスタンスにアクセスしたとされている。 Snowflake事件の最初の被害者としてPure Storageが名乗り Pure Storageは「テレメトリー情報は顧客システムへの不正アクセスに使用できない」と述べている。今回の攻撃で公開された情報には、企業名やLDAP（Lightweight Directory A
住友生命保険は健康増進型保険「Vitality（バイタリティー）」のデータ分析基盤に、米Snowflake（スノーフレーク）が提供するデータクラウド「Snowflake」を採用した。Snowflakeはクラウドベースのデータウエアハウスサービスで、AWSやGoogle Cloud上で稼働する。大量のデータを一元管理でき、高速なデータ分析が可能だ。住友生命保険は新システムを導入した結果、データ分析にかかっていた時間を数十分から数分に縮め、コストも年間で50％ほど下げられるという。2024年5月に本格導入した。 Vitalityは住友生命保険が2018年から提供する商品だ。一般的な保険は、主に病気などに対するリスクに備える。一方、健康増進型保険をうたうVitalityは、加入者が保険会社と共に継続的に健康増進を図ることで病気のリスクを抑制する機能を提供する。例えば加入者は健康状態を把握・改善す
記事の目的 レガシーが多いシステムをモダンアーキテクチャに移管するのは非常に労力を伴いますが、どのように移行したかの具体事例や、特に途中の労苦を語ったものは少なく、皆様の参考になればと思い、恥ずかしい話もありますが勇気をもって投稿します！ TポイントからVポイントへ2024/4/22にブランド名が変わってますが、 当時の話なので、Tポイントで記載しています 分析基盤の歴史 私がTポイント事業にジョインしたのが2011年でその後の歴史を1枚絵にしたのが下の年表です。 現在、分析基盤はほぼSnowflake化されており、 徐々にモダンデータスタックには近づいてきたかな？と思っております。 早くSnowflakeの話しろよ！と思う人が多いかと思いますが この基盤のコンセプトに関わる話なので、ご容赦ください（汗） snowflakeの話だけ聞きたい方は②からどうぞ🙇 ■分析基盤の歴史 現在の状況
Snowflake Query Optimization: 16 tips to make your queries run faster
This post covers query optimization techniques, and how you can leverage them to make your Snowflake queries run faster. While this can help lower costs, there are better places to start if that is your primary goal. Be sure to check out our post on Snowflake cost optimization for actionable strategies to lower your costs. Snowflake Query Optimization TechniquesThe Snowflake query performance opti
このスライドは以下のイベントの登壇資料です。 SNOWFLAKE TECHNICAL ROUNDTABLE What’s NEW in Global Technologies 〜グローバルにおけるデータ変革のトレンドをご紹介〜
初めまして。 オンプレ業務SEからデータエンジニアへのキャリアチェンジ目指して奮闘中のアラフォーです。 クラウド知識ゼロだった私が、試行錯誤しながらSnowflakeの勉強を始めたので、 現在までに取り組んでみた教材を紹介したいと思います。 これからSnowflake始めてみたいという方の参考になれば・・・！ 取り組んだ教材（すべて無料） 取り組んだ順に並べます。 AWS Skill Builder: 「AWS Cloud Practitioner Essentials (Japanese) (Na) 日本語実写版」 Snowflake チュートリアル: 「Snowflakeを20分で紹介」 Udemy: 「ゼロから始める「Snowflake」最速入門コース」 Snowflake University: 「Level Up シリーズ (101～109)」 Snowflake Univers
はじめに💁♀️アメリカでの生活も落ち着いてきたので、今年からはできることから節約生活を始めようと思っています。節約の第一歩は、まず現在の支出を知る！ということで、我が家の食費を見直すことにしました。 私はアメリカでデータ系製品のセールスエンジニアをしており、最近モダンテックスタックとして耳にするのがBI製品のSigma Computing✨ 日本ではまだあまり耳にすることが無いのですが、アメリカではじわじわと知名度が上がってきています。 鶴さんマークのシグマさん（折り紙がモチーフ） せっかくなので、我が家の食費を二大イケイケクラウドサービス、SnowflakeとSigma Computingを使って分析しよう！というのがこのnoteの趣旨となります。 後半では分析結果を基に、物価高のアメリカ生活を乗り越えるための工夫や学びをまとめております。 Snowflake × Sigma Com
Snowflake、「データクリーンルーム」をネイティブアプリ化して提供 個人情報保護とデータ分析を両立できる基盤に
Snowflakeは3月28日（現地時間）、これまでGUIがなかった「Snowflakeデータクリーンルーム」をアプリケーションとして提供し始めた。まずは米国のリージョンで展開する。時期は未定だが、日本でも提供する予定としている。 個人情報保護、データ分析、導入しやすさを両立 データクリーンルームとは、プライバシーに配慮しながらデータの分析や共有ができる基盤のこと。顧客データなどを個人が特定できない形で扱えるため、パートナー企業などと共同でデータ分析する場合に情報漏えいなどのリスクを抑えられる。 データにはSnowflake製品群が持つプライバシー機能やガバナンス機能が適用される。 Snowflakeはデータクリーンルーム事業を手掛けるSamoohaを2023年12月に買収し、同社のシステムをベースにSnowflakeデータクリーンルームを構築した。利用に伴うストレージやコンピュートにかか
Snowflakeはデータクラウド事業を推進するために、AIソリューションを「手頃な価格」で構築している。同社のスリダール・ラマスワミCEOは、2025年度第1四半期決算説明会（2024年4月22日《現地時間、以下同》開催）で（注1）、「AIに何十億ドルも費やす企業もあるが、われわれはそこまでする必要はない」と語った。 Snowflakeはなぜ、AI予算を「ケチる」のか？ 2024年4月30日までの3カ月間、Snowflakeの製品売上高は前年同期比34％増の約8億ドルに達した。同社が業績は順調なのに、AI予算を「ケチる」理由は何か。 SnowflakeのオープンソースLLM（大規模言語モデル）である「Snowflake Arctic」は、トレーニングにわずか200万ドル、開発に3カ月弱しかかかっていない（注2）。 スタンフォード大学の人間中心AI研究所（Stanford Universi
結論 Snowflake上のデータ分析には、Snowflake Notebooksを使おう。 SnowflakeにNotebook機能が突然登場した 2024年5月25日、Snowflakeに突如Notebookという新機能が追加され、データエンジニアリング界隈で話題となりました。 本記事ではそもそもNotebookとはなにか？なぜ便利なのか？Snowflake Notebookの優位性はなにか？を解説します。 そもそもNotebookとは？ まず、NotebookはSnowflakeの特別な機能の名前ではありません。Jupyter NotebookやGoogle Colab、Hexなどを含む、インタラクティブなプログラミング環境の総称です。 Notebookに共通する特徴は以下の3点です。 多言語対応: Python、SQL、Rなど複数のプログラミング言語に対応しています。 部分実行:
組織におけるデータ利活用が急速に拡大する中、データ基盤への関心がますます強まっています。 本書では、現役のデータエンジニア２名が、クラウドデータ基盤サービスであるSnowflakeを用いてデータ基盤の構築方法を紹介します。 データ利活用のみならず、大規模なデータ処理や、機械学習におけるデータパイプライン構築などに興味のあるエンジニアの方へのガイドブックとなることを目指しています。 フロント・サーバー・インフラを触ってきたエンジニアの皆さん、次はデータやりましょう！！ 第1章：データ基盤の概観 データ基盤とはどういったもので、どのような技術で構成されるのかについて紹介します。 第2章：Snowflakeの基礎 クラウド型データウェアハウスサービスであるSnowflakeで出来ることと、特徴について紹介します。 第3章：Snowflakeの導入と操作 実際にSnowflakeのトライアルに登録
2024年5月現在、GA4とSnowflakeの公式コネクタは正式に一般公開されています 2024年1月29日、GA4とSnowflakeの公式コネクタがリリース(プレビュー)されました。 ついに、GA4もSnowflakeで分析する時代がやってきました。 GA4×Snowflakeの組み合わせがやっとプロダクション運用可能なレベルに到達したのです。 これは今回のコネクタリリースでGA4のプロパティ取り込みパイプラインの運用コストが圧倒的に下がったことに起因します。 公式コネクタのリリース以前からGA4をSnowflakeに取り込むことは可能でしたが、その運用を継続することは様々な観点から困難でした。 この記事では、従来の取り込みソリューションと、最新の公式コネクタを比較して4つの観点から素晴らしい部分を解説します。 GA4のデータの取り込みが容易になった 取り込み後のデータの冗長な変換が
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
モダンなタスク管理を可能にするSnowflake Python API
Snowflake で1万"列"データを扱う技術 - Qiita
Snowflake の情報流出騒動は異例の事態ではなく、危険が迫っている前兆
Snowflake「サイバー攻撃の責任は顧客にある」 強気の主張の背景にあるもの
Snowflake導入でどう変わった？身近なサービス4社の技術選定 - Findy Tools
Snowflake Arctic - LLM for Enterprise AI
Snowflakeパフォーマンスのカギはやっぱりデータモデリング
Snowflake 向けの DevOps の取り組みと現状の課題についてまとめてみた
Snowflake における CTE のマテリアライズ
Snowflake × dbt で構築する ELT アーキテクチャ
Pure Storageは、Snowflakeに関連する攻撃の早期被害者として名乗りを上げた
住友生命が保険データ分析基盤にSnowflake導入、所要時間を数十分から数分
Tポイント分析基盤の歴史とSnowflakeへ移行した話①
BigQuery+RedShiftの経験から見るSnowflakeの真価
Snowflake初心者向け教育の実践比較 - Qiita
主婦がSnowflakeとSigmaで家計を見直してみた｜🇺🇸セールスエンジニア| Pistachio
Snowflakeはなぜ、AI予算を「ケチる」のか それでも成果をたたき出す理由
ついにSnowflakeにNotebookが搭載された！
ゼロから始めるデータ基盤 - Snowflake実践ガイド
GA4もSnowflakeで分析する時代がついに来たぞ！