BigQuery と Snowflake を徹底比較
最初にBigQueryとSnowflakeの概要と、登場の背景を説明します。 その後、ユーザにとっての使い勝手と、管理者にとっての使い勝手を、ベンダーフリーな立場でそれぞれします。 最後に、BigQueryとSnowflakeどっちが速いのか？といった疑問に対して、アーキテクチャをもとに考察します。
最初にBigQueryとSnowflakeの概要と、登場の背景を説明します。 その後、ユーザにとっての使い勝手と、管理者にとっての使い勝手を、ベンダーフリーな立場でそれぞれします。 最後に、BigQueryとSnowflakeどっちが速いのか？といった疑問に対して、アーキテクチャをもとに考察します。
7年使ったRedshiftから6ヶ月かけてSnowflakeへ移行した話 〜手の内全部お見せします〜
SNOWDAY JAPAN 2023で「7年使ったRedshiftから6ヶ月かけてSnowflakeへ移行した話 〜手の内全部お見せします〜」というタイトルで登壇した資料です。 https://www.snowflake.com/about/events/snowday-japan-2023/?lan…
2. DSIRNLP #4 / Twitterのsnowflakeについて 今日話す内容 •snowflake •Twitter社がOSSとして提供しているID生成器 •なぜこのようなツールが必要なのか •仕組みについて •etc,etc... 2 3. DSIRNLP #4 / Twitterのsnowflakeについて ID生成は結構大事（小並感） •たいていの処理の際にIDの生成は必要になる •例１：クローリングした各Webサイト群それぞ れにIDを割り振る •例２：n-gramで分かち書きをした各ワード群 それぞれにIDを割り振る •etc, etc... 3 4. DSIRNLP #4 / Twitterのsnowflakeについて ID生成の性能も結構大事 •例：１つのID生成に1msかかるとした場合、ID生 成処理にどれくらい時間がかかる？ •Webサイト１0億ページ the num
結論 Taskを管理するならSnowflake Python APIを使おう Snowflake Python APIとは Snowflake公式のPythonのオブジェクト管理ライブラリ「snowflake.core」のことです(Public Beta)。Snowflake Python Connectorとは全く別物です。 Snowflake Python APIを使用すると、Pythonコードを使ってSnowflakeのリソース(Table、Warehouse、Task、Snowpark Container ServiceのCompute Poolなど)を管理することができます。 本記事では、Snowflake Python APIを使ってSnowflakeのタスクとDAG（Directed Acyclic Graph）を管理する方法を詳しく解説します。これにより、Streamlit
300コア近くのRedshiftクラスタを運用している広告配信プロダクトでSnowflakeを検証した結果をご紹介します。
そうです。わずか10行しかないデータですが、 15,000列 あります。 「それデータモデリングをミスってるやん」というツッコミはあると思いますが、今回はそのあたりについてはノーコメントです。諸事情ありこのようなデータを扱うことになりました。 今回は Snowflake でもなかなか扱うことが難しい (横方向に) クソデカデータの世界 をご案内したいと思います。 クソデカテーブルを作る まずテーブルを作ります。 この時点でエラーが出てくれるならまだ良かった。。。 なんとこのクエリは問題なく実行でき、テーブルは作成できます。 作成できてしまいます。 作成できてしまったが故に、「さすが Snowflake、列数が多いテーブルも簡単に扱えるんだね!!」と高をくくってしまいます。 ちなみに PostgreSQL の場合は1テーブルあたり最大 1,600 列だそうです。まぁそれだけあれば普通は困らな
Snowflake and Snow Crystal Photos (雪の結晶のフォトギャラリー)
SnowCrystals.com has moved.... If not automatically redirected, please direct your browser to: SnowCrystals.com
大規模データを扱う現場でどんな変化が？ Snowflake導入5社のデータ基盤アーキテクチャと設計意図 - Findy Tools
公開日 2024/03/12更新日 2024/07/25大規模データを扱う現場でどんな変化が？ Snowflake導入5社のデータ基盤アーキテクチャと設計意図 スケーラビリティやデータ活用までのリードタイム、価格面での懸念に応える製品として注目を集めるSnowflake。特に大規模なデータを取り扱う現場では、Snowflake導入によってどんな変化があるのでしょうか。 本記事では、前回の第一弾でご紹介したChatworkさん、delyさん、GENDAさん、スターフェスティバルさんに引き続き、第二弾として大規模データを取り扱う5社に、データ基盤の設計思想やデータチームの方針にも触れながら、Snowflake導入の背景や効果を伺いました。 株式会社Algoage事業概要株式会社Algoageは、東京大学で機械学習の研究をしていたメンバーで2018年に創業したスタートアップです。AIを活用したサ
Snowflake の Copilot が優秀すぎる件について
マーケティングテクノロジーの情報やノウハウ・TIPS、エクスチュア社の情報を発信。【ブログネタ募集】ご興味のある分野を教えてください！ご要望の内容を記事に起こします！メニューの「ブログへの」リクエストよりお送りください。 menu こんにちは、喜田です。 いままでSnowflakeのライトユーザーで一部機能だけに特化して触っている状態でしたが、最近はData Superheroes 2024になったこともあり、いままで関わりの薄かった製品領域も調査したり、海外リージョンでしか出ていないプレビューを触ったりしています。 そのうちの一つがCopilotで、いまは北米など一部リージョンでのみパブリックプレビュー中の、Snowflakeコード開発が一段と捗るAIおしゃべり機能です。 この右側のパネルがCopilotとのチャット。出力が多くてチャットっぽくないですが、上から会話が続いております。 C
データ窃盗と恐喝を目的として Snowflake の顧客データベース インスタンスを標的にする UNC5537 | Google Cloud 公式ブログ
※この投稿は米国時間 2024 年 6 月 11 日に、Google Cloud blog に投稿されたものの抄訳です。 はじめに Mandiant は、インシデント対応業務と脅威インテリジェンス収集の過程で、データ窃盗と恐喝を目的として Snowflake の顧客データベース インスタンスを標的とする脅威キャンペーンを特定しました。Snowflake は、大量の構造化データと非構造化データの保存と分析に使用されるマルチクラウド データ ウェアハウス プラットフォームです。Mandiant は、この活動クラスタを UNC5537 として追跡しています。UNC5537 は、Snowflake の顧客環境から大量のレコードを盗んだ疑いのある、金銭目的の脅威アクターです。UNC5537 は、盗んだ顧客の認証情報を利用して Snowflake の顧客インスタンスを体系的に侵害し、サイバー犯罪フォー
Make-a-Flake - A snowflake maker by Barkley Interactive
© 2020 Barkley all rights reserved. | Terms of Service and Privacy Policy Please help us keep the snowflakes clean. Report offensive snowflakes when you click the snowflake.
snowflake は、Twitter 社が作成した、ユニークなID生成のネットワークサービスです。いくつかの簡単な保証で高いスケーラビリティを実現しています。Twitter 社が、MySQLから Cassandra に移行するにあたって、Cassandra にシーケンシャルな id 生成の仕組みが無かったことから作成したそうです。 snowflake についてはTwitter IDs, JSON and Snowflakeに書いてあります。 snowflake のコードは、Apache License, Version 2.0 でSnowflakeに公開されています。 スケーラブルな採番、背景的な話 Cloudでスケーラビリティのあるサービスを見据えてコードを書いていると採番に関する問題が必ず出てきます。従来、RDBの自動採番などに頼っていたのがコスト、スケーラビリティ、耐障害性の観点か
執筆：Nick Biasini、協力：Kendall McKay、Guilherme Venere クラウド データ プラットフォーム Snowflake のログイン情報の流出、盗難に端を発した数々の影響と流出後の攻撃が続々とニュースになっています。 攻撃者は、情報窃取マルウェアを使用して Snowflake アカウントのログイン情報を入手しました。中には多要素認証（MFA）で保護されていないものがあり、それを使用して Snowflake の顧客アカウントに侵入し、機密情報を盗み出しました。しかし、Snowflake の本当の問題はこの点ではありません。このインシデントは、ここしばらく脅威環境で見られているはるかに大きな変化の現れであり、その焦点はアイデンティティにあります。 過去数十年の間に犯罪的脅威を取り巻く環境が崩壊し、ランサムウェアやデータ強奪が広まっている状況を Talos は目
GitHub - twitter-archive/snowflake: Snowflake is a network service for generating unique ID numbers at high scale with some simple guarantees.
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
【連載】データ分析基盤をdbt・Snowflakeに移行する【設計・実装編】 - Algoage Tech Blog
こんにちは、Ops-dataチームの上村(@contradiction29) です。以前、弊社内で運用されているデータ分析基盤を移行するにあたり、設計の方針を練る記事を投稿しました。 tech.algoage.dmm.com 今回はその続きとして、移行プロジェクトの実際の進行に焦点を当てて記事を書いていきたいと思います。 はじめに これまでのあらすじ：運用していく中でつらみがたまってきた弊社のデータ分析基盤。開発しづらいし、運用もつらいし、何よりこのまま運用を続ければ確実に停止してしてしまう。End of Service Life (EOSL) は目前に迫っています。移行するしかない状況です。 とはいっても、単純に移行するだけでは、現場のアナリストやエンジニア、社内ユーザー、そしてその先にあるクライアントのニーズに応え、事業価値に貢献することはできません。真の「価値」に貢献するためには「思
「こんなことまでしてくれるの！？～データエンジニアを助けてくれるFivetranとSnowflake～」で発表した登壇資料です。 https://dev.classmethod.jp/news/230119_fivetran-snowflake
DATA CLOUD WORLD TOUR JAPAN Day 2 15:05-15:35 の発表のスライドです。
GitHub - sony/sonyflake: A distributed unique ID generator inspired by Twitter's Snowflake
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
高速にIDを採番できる仕組みを検討したとき、Snowflake形式のID生成は選択肢のひとつとして有力です。 Snowflakeを紹介する記事は見つかりますが、実際に採用して苦労した話はあまり聞かないため、備忘的に書いてみるエントリです。 Snowflakeとは 1つのIDは64bit（ScalaではLong型）に収まり、ID採番サービスを複数のデータセンターに分散可能かつ高速に採番可能に設計されたID生成の方式です。 先頭ビットにタイムスタンプを持つため、順序があることも特徴のひとつです。 Twitter社がオリジナルの考案者です。*1 github.com カヤック社からSnowflake形式でID生成可能なKatsubushiというオープンソースのソフトウェアがGithubで公開されています。 発表スライドも参考になります。 github.com 他のID生成方式 他にはDBのシーケ
BigQueryからSnowflakeへ移管して作る最強のデータ基盤 〜Data Ingestion編〜 / The Ultimate Data Platform Migration from BigQuery to Snowflake: Data Ingestion Edition
『みんなの考えた最強のデータ基盤アーキテクチャ2024前半おまとめ拡大版SP！』の発表資料です。 https://datatech-jp.connpass.com/event/319827/
無料で商用利用可能なSQL生成・コーディング・命令フォローなどのエンタープライズタスクに最適化された大規模言語モデル「Snowflake Arctic」が登場
クラウドベースのデータウェアハウスサービスを展開する企業のSnowflakeが、トップレベルのエンタープライズ向け大規模言語モデル(LLM)として「Snowflake Arctic」をリリースしました。Apacheライセンス バージョン2.0で提供されるオープンなモデルとなっており、無料で商用利用も可能です。 Snowflake Arctic - LLM for Enterprise AI https://www.snowflake.com/blog/arctic-open-efficient-foundation-language-models-snowflake/ Snowflakeの調査では、企業ユーザーはAIを使用して主にデータ支援やコード支援、検索拡張生成(RAG)を行うチャットボットを作成したい場合が多いとのこと。そこで、Snowflakeは「コーディング能力」「SQL生成能力
Snowflakeのアーキテクチャはどうなっているか 圧倒的なスケーラビリティを実現するクラウドネイティブ設計思想
Snowflakeのアーキテクチャはどうなっているか 圧倒的なスケーラビリティを実現するクラウドネイティブ設計思想：Snowflakeで何ができる？ 基礎情報解説（3） 過去2回の記事でSnowflakeとは何か、何ができるかを見てきました。今回はSnowflakeの特長を裏付ける実装とクラウドネイティブな設計思想を見ていきます。
1ヶ月でSnowflakeのPoC検証から報告までを実現した効率化の取り組み - ぐるなびをちょっと良くするエンジニアブログ
こんにちは。データ・AI戦略部 SREチームの小野です。2020年8月に入社してから早3年。SREエンジニアとして、日々業務改善に励んでいます。 私の所属するデータ・AI戦略部は、クラウドやSaaSの活用を積極的に行っています。私自身も「業務に役立ちそうなサービス」を見つけたら上長に相談するようにしています。 今回は、「1ヶ月でSnowflakeのPoC検証から導入提案まで行った話」をお伝えしたいと思います。ちなみにこのブログの執筆時点では、Snowflakeの導入はまだ実現していません。 <書くこと> 「PoC検証の取り組み方から提案までの手法」を中心に執筆します。今後ChatGPTのような技術革新がますます活発化した時、新しいサービスの検証や提案を「より高品質」に「よりスピーディ」に行うことが必要になってくると思います。そういったニーズの参考になれば幸いです。 <書かないこと> Sno
雪、氷などクリスマスに使えそうなブラシ集 48 Snow, Ice, Snowflake and Christmas Brushes | 1stwebdesigner
In this article we have prepared some really cool Photoshop brushes. Photoshop brush sets can be a great time saver for the designers because these allow the designers to easily and quickly create fantastic artwork without the need to draw all the individual design elements. Let’s get started with our collection that features a real high quality brushes that can be of great help to every designer.
This article was co-authored by Amy Guerrero and by wikiHow staff writer, Luke Smith, MFA. Amy Guerrero is an Arts and Crafts Specialist and the Owner of Sunshine Craft Co., a crafting studio based in Phoenix, Arizona. Amy specializes in macrame, DIY crafting, and teaching fiber arts. She offers monthly in-person and online workshops along with having developed a range of DIY craft kits for at-hom
ディメンショナルモデリングに入門しよう！Snowflakeとdbt Cloudで「Building a Kimball dimensional model with dbt」をやってみた | DevelopersIO
ディメンショナルモデリングに入門しよう！Snowflakeとdbt Cloudで「Building a Kimball dimensional model with dbt」をやってみた さがらです。 ここ２年ほどの間にdbtが日本でも急速に拡大し、様々な情報が日本語の記事でも見かけられるようになってきました。 dbtを採用してある程度活用を進めていくと、「より効率よくガバナンスを持ってデータを管理するにはどうすればいいんだろうか」といったデータの管理方法に悩む場面が出てくると思います。 そんなときに色々調べていくと、データを効率よく管理する手法として「データモデリング」が必要だとわかり、ディメンショナルモデリングやData Vaultなどの手法に行き着くのではないでしょうか。 そしてこれらのデータモデリングの手法の内、ディメンショナルモデリングについてdbtを用いて実践された記事がありま
Snowflakeの力を引き出すためのdbtを活用したデータ基盤開発の全貌 - CARTA TECH BLOG
当記事は、dbtのカレンダー | Advent Calendar 2023 - Qiita の23日目の記事です。 こんにちは、株式会社CARTA MARKETING FIRMのデータエンジニア、@pei0804です。データエンジニアリングのほか、組織運営やデータエンジニア育成にも携わっています。 本記事では、Snowflakeを中心とした当社のデータ基盤「Vision」と、その中核であるdbtの利用について深掘りします。dbtを活用することで、SQLのみでデータパイプラインを効率的に構築し、作業の効率化を図っています。 dbt導入の詳しい導入背景は以下のスライドでご覧いただけます：広告レポーティング基盤に、dbtを導入したら別物になった話 / tokyo-dbt-meetup-4 - Speaker Deck。 私たちのチームでは、ビジネスに直接価値を提供しているdbtモデルの開発はプロ
Snowflakeで何ができる？ 基礎情報解説
過去2回の記事でSnowflakeとは何か、何ができるかを見てきました。今回はSnowflakeの特長を裏付ける実装とクラウドネイティブな設計思想を見ていきます。
大阪オフィスの玉井です。 題名の通り、極めて先進的な（？）データレイクの構築に成功したので、当記事にて詳細をお伝え致します。 概要説明 NADL（Nakamori Akina Data Lake）とは？ 日本が誇る歌姫である中森明菜氏の（ほぼ）全ての楽曲に関するデータを保存したデータレイクです。 SnowflakeはDWHのイメージが強いですが、データレイクを構築・運用する機能を備えています。今回、Snowflakeのデータレイク周りの機能を活用して、NADLを構築しました。 構築作業の流れ SpotifyのAPIから中森明菜の楽曲データを取得する 楽曲データの取得には Get Track’s Audio Analysisを使用 取得した楽曲データをGoogle Cloud Storage（GCS）にアップロードする 上記のGCS（のバケット）をSnowflakeの外部ステージとして連携す
【データ可視化/Streamlit】Streamlitで作ったアプリからSnowflakeのテーブルを自由に更新する方法 - Qiita
前置き こんにちは。データエンジニアの山口です！ Streamlitでデータ可視化アプリを作成しており、 Streamlitアプリ上に手入力した値とSnowflake内の値を結合してデータを可視化したいなと思ったので、やり方を考えてみました。 結論 Streamlitアプリ上に手入力した値をSnowflakeのテーブルにデータを挿入・更新して、 すでにSnowflakeに入っているデータと結合すればいいのではないかと言う考えに至りました。 Streamlitのform_submit_button関数が使えそうだったので、そちらを使っていきます！ 機能を実装する 早速機能を実装していきます！ 前準備 まずはStreamlitから更新をするテーブルを用意しておきます。 今回は従業員マスターというテーブルを以下のクエリで作成して、 このテーブルの中にINSERT文などで、いくつか適当にデータを入
Snowflakeは、2024年4月に100以上の顧客環境を襲った一連のサイバー攻撃から再び距離を置こうとした（注1）。同社は「セキュリティの責任は当社ではなく顧客にある」と述べた。 「責任は顧客にある」 サイバー攻撃被害に遭ったSnowflakeの主張 2024年8月21日（現地時間、以下同）、Snowflakeのスリダール・ラマスワミ氏（CEO）は、同年7月31日に終了する四半期に関する決算説明会で次のように述べた。 「大々的に報道されたように、この問題の原因はSnowflakeの側にはなかった。内部および外部のサイバーセキュリティ専門家による複数の調査の結果、私たちのプラットフォームが侵害されたり、侵入されたりした証拠は見つからなかった。しかし、全ての関係者が協力してサイバーセキュリティの問題に取り組む必要があることは理解している」 Snowflakeのマイケル・スカーペリ氏（最高財
AppFlow+Snowflake+Tableauで可視化する！クラメソ面白Slackチャンネル決定戦 | DevelopersIO
S3上のデータをテーブルにロードする 上記で設定したステージのデータをテーブルにロードします。file_formatには(type=json)を、from句には@ステージ名を指定します。 copy into json_notify_kusa from @cm_niino_s3 file_format = (type=json); select文を発行するとJSON形式でデータが格納されていることが確認できます。 JSONを可視化用に構造化する この一連の検証で一番感動したポイントです。無事にデータをロードできたものの、JSON形式のままではTableauでの可視化ができません。データ加工ツールに接続したり整形のためのプログラムを書いたりしなくても、クエリを書くだけでJSON形式のデータを集計に必要な項目のみ抜き出して簡単に構造化することができるんです。そう、Snowflakeならね。 一例
SNOWFLAKE
SNOWFLAKE 2014年4 月15日 (火) Z1Z3 投稿情報: 09:02 カテゴリー: イラスト | 個別ページ | コメント (0) | トラックバック (0) 2013年12 月 7日 (土) 艦これイラスト 雪風 メガネむっちゃん 投稿情報: 15:26 カテゴリー: イラスト | 個別ページ | コメント (0) | トラックバック (0) 2013年8 月27日 (火) 空中散歩 艦これから加賀・赤城・飛龍・蒼龍 投稿情報: 12:42 カテゴリー: イラスト | 個別ページ | コメント (0) | トラックバック (0) 2013年8 月 7日 (水) 長門さんと陸奥さん 投稿情報: 22:07 カテゴリー: イラスト | 個別ページ | コメント (0) | トラックバック (0) 2013年7 月30日 (火) 提督待ち ぜかましちゃん 投稿情報: 17:37
Snowflake AIデータクラウド AI and Apps 何千もの組織がグローバルネットワークに参加し、データとアプリのモビライズ、AI活用、チーム間のコラボレーションから成果を創出しています。
Snowflake AIデータクラウド AI and Apps 何千もの組織がグローバルネットワークに参加し、データとアプリのモビライズ、AI活用、チーム間のコラボレーションから成果を創出しています。
Excel 365からノーコードでSalesforceやkintone、Snowflakeなど150以上のデータソースに双方向接続可能、CData Connect Cloudが新機能
Excel 365からノーコードでSalesforceやkintone、Snowflakeなど150以上のデータソースに双方向接続可能、CData Connect Cloudが新機能 CData Software Japanは、同社が提供するクラウドサービスCData Connect Cloudの新機能として、Webブラウザで利用するExcel 365からノーコードでSalesforceやkintone、Snowflake、Amazon Redshift、MySQL、PostgreSQL、SAP HANAなど150以上のデータソースに双方向で接続可能にした「CData Connect Cloud for Excel 365」を発表しました。 単にExcel 365の機能を用いてさまざまなサービスからデータを取得して分析や加工ができるだけでなく、Excel 365で書き換えたり追加したりした
GitHub - max-mapper/art-of-node: :snowflake: a short introduction to node.js
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
【データ基盤構築/AWS Lambda】Pythonを使ってSnowflakeのデータをRDSにinsertする - Qiita
import sys import json import boto3 import ast import os import snowflake.connector import pymysql from snowflake.connector import DictCursor from sqlalchemy import create_engine from sqlalchemy.sql import text from datetime import datetime def lambda_handler(event, context): # 今日の日付とSQLを実行する日時を変数で用意 today = datetime.now() updated_at_str = datetime.strftime(today, '%Y-%m-%d %H:%M:%S') ## Snowflake
GitHub - sequelize/sequelize: Feature-rich ORM for modern Node.js and TypeScript, it supports PostgreSQL (with JSON and JSONB support), MySQL, MariaDB, SQLite, MS SQL Server, Snowflake, Oracle DB (v6), DB2 and DB2 for IBM i.
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Twitterのsnowflakeについて
モダンなタスク管理を可能にするSnowflake Python API
SnowflakeとRedshiftの比較検証
Snowflake で1万"列"データを扱う技術 - Qiita
スケーラブルな採番とsnowflake — Kyrt Blog
Snowflake の情報流出騒動は異例の事態ではなく、危険が迫っている前兆
データエンジニアを助けてくれるFivetranとSnowflakeの仕様＆機能のご紹介
Snowflakeがもたらした noteのデータ分析の進化
Snowflake形式のIDを採用した場合の苦労ポイント - yoskhdia’s diary
How to Make a 3D Paper Snowflake: 3 Simple Tutorials
Snowflake、文書からより深い洞察を引き出す新しい大規模言語モデル「Document AI」を発表
Snowflakeに中森明菜データレイク（通称NADL）を構築しました | DevelopersIO
Snowflake「サイバー攻撃の責任は顧客にある」 強気の主張の背景にあるもの
AIデータクラウド | Snowflake Japan
AIデータクラウド | Snowflake Japan