SELECT | Snowflake optimization & cost management platformThe Snowflake optimization and cost management platformGain visibility into Snowflake usage, optimize performance and automate savings with the click of a button.
Snowflake Query Optimization: 16 tips to make your queries run faster
This post covers query optimization techniques, and how you can leverage them to make your Snowflake queries run faster. While this can help lower costs, there are better places to start if that is your primary goal. Be sure to check out our post on Snowflake cost optimization for actionable strategies to lower your costs. Snowflake Query Optimization TechniquesThe Snowflake query performance opti
GET_QUERY_OPERATOR_STATS 最速解説
筆者 @indigo13love は Snowflake で Principal Cloud Support Engineer をやっていますが、この記事は個人的な記事であり、所属企業の意見などは含まれておりません。 この機能は、日本時間の 12 月 16 日頃にリリースされたバージョン 6.41.2 にて Public Preview として追加された機能となりますが、この記事はもともと 20 日目の記事として書き始められました。 …が、Advent Calendar を眺めていたらちょうど 12 月 15 日の予定が消えていたので、最速解説の名をほしいままにするために急ピッチで書き上げられ、2 日遅れの 12 月 17 日に公開されたものとなりますので「機能のリリース日が Advent Calendar の日付よりも後……？」と思っても大目に見てください。 はじめに 12 月 16 日
ステージングデータ | Snowflake Documentation
ステージングデータ¶ このトピックでは、データファイルをロード用に準備するためのベストプラクティス、一般的なガイドライン、および重要な考慮事項について説明します。 このトピックの内容： パスによるデータの整理¶ 内部（つまり、Snowflake）および外部（Amazon S3、Google Cloud Storage、またはMicrosoft Azure）両方のステージ参照には、パス（または AWS の用語では プレフィックス）を含めることができます。通常のデータセットをステージングするときは、データが書き込まれた日付とともに、地理的位置やその他のソース識別子などの詳細を識別する論理パスにデータをパーティション分割することをお勧めします。 パスごとにデータファイルを整理すると、1つのコマンドで分割データの一部をSnowflakeにコピーできます。これにより、並列操作を利用して、ファイルのサ
AWS Cost and Usage ReportsをSnowflakeからクエリする
はじめまして、クリエイティブサーベイ株式会社の大澤（@ohsawa0515）と申します。 Sansan株式会社でITインフラエンジニアとデータエンジニアをした後、2024年1月からグループ会社のクリエイティブサーベイに出向して、SREチームのかたわら、データエンジニアチームにEmbedded SREとしても活動しています。 AWSのコストを分析・可視化する場合に、AWS Cost Explorerを使うことが一般的ですが、より詳細な分析を行う場合にはAWS Cost and Usage Reports（AWSのコストと使用状況レポート、以下CUR）を利用することがあります。CURはS3バケットにCSVもしくはParquet形式の請求データを定期的に出力する機能で、Amazon AthenaやAmazon Redshift、Amazon QuickSightといったAWSサービスによってクエ
クロール可能なデータストア - AWS Glue
Amazon S3 自分のアカウントのパスをクロールするか、または別のアカウントのパスをクロールするかを選択できます。フォルダにあるすべての Amazon S3 ファイルが同じスキーマを持つ場合、クローラーはテーブルを 1 つ作成します。また、Amazon S3 オブジェクトが分割されている場合、メタデータテーブルは 1 つしか作成されず、そのテーブルのパーティション情報がデータカタログに追加されます。 Amazon S3 と Amazon DynamoDB クローラーは、AWS Identity and Access Management (IAM) ロールをアクセス許可のために使用して、データストアにアクセスします。クローラーに渡すロールは、クロールされる Amazon S3 パスと Amazon DynamoDB テーブルにアクセスするためのアクセス許可を持っている必要があります。
行アクセスポリシーについて | Snowflake Documentation
行アクセスポリシーについて¶ このトピックでは、行アクセスポリシーと行レベルのセキュリティの概要を説明します。 このトピックの内容: 行レベルのセキュリティとは¶ Snowflakeは、行アクセスポリシーを使用してクエリ結果で返す行を決定することにより、行レベルのセキュリティをサポートします。行アクセスポリシーは、1つの特定のロールが行を表示できるようにするために比較的単純な場合もあれば、クエリ結果の行へのアクセスを決定するためにポリシー定義に マッピングテーブル を含めるときのように、より複雑な場合もあります。ポリシーにマッピングテーブルルックアップが含まれている場合は、一元化されたマッピングテーブルを作成し、保護されたテーブルと同じデータベースにマッピングテーブルを格納します。これは、ポリシーが IS_DATABASE_ROLE_IN_SESSION 関数を呼び出す場合に特に重要です。
Twitterのsnowflakeについて
2. DSIRNLP #4 / Twitterのsnowflakeについて 今日話す内容 •snowflake •Twitter社がOSSとして提供しているID生成器 •なぜこのようなツールが必要なのか •仕組みについて •etc,etc... 2 3. DSIRNLP #4 / Twitterのsnowflakeについて ID生成は結構大事（小並感） •たいていの処理の際にIDの生成は必要になる •例１：クローリングした各Webサイト群それぞ れにIDを割り振る •例２：n-gramで分かち書きをした各ワード群 それぞれにIDを割り振る •etc, etc... 3 4. DSIRNLP #4 / Twitterのsnowflakeについて ID生成の性能も結構大事 •例：１つのID生成に1msかかるとした場合、ID生 成処理にどれくらい時間がかかる？ •Webサイト１0億ページ the num
軽量なTime-based ID生成器”shakeflake(仮称)”について - SmartNews Engineering Blog
大平です。今回はさだまさしネタは特に無しです。 先日、サービスのクローラーで使用しているID生成器について置き換えを行いました。非常に地味な話になりますが、本記事ではその辺の内幕の話をしたいと思います。 ID生成にまつわる苦悩 弊社ゴクロの提供しているSmartNewsは表向きはニュースアプリですが、裏側の仕組みは検索エンジンに近似しています。ユーザーの方々の興味関心や、アクセス傾向をクエリーとし、その内容に応じた話題のニュースを検索結果として返却する、という風に捉えていただくと、なんとなく私が言わんとしている事を想像していただけるかと思います。 SmartNewsはTwitterのつぶやき情報を用いたトレンド分析をベースとしており、話題になっているニュースを選定するためには、大量のTwitter上のtweet、ならびにその中に含まれているURLに対してクロールを行う必要があります。日々配
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Snowflake denies breach, blames data theft on poorly secured customer accounts - Help Net Security
GitHub - twitter-archive/snowflake: Snowflake is a network service for generating unique ID numbers at high scale with some simple guarantees.