Amazon Redshift でのデータの共有 - Amazon Redshift
Amazon Redshift では、Amazon Redshift クラスター間で、または他の AWS サービスとの間で安全にデータを共有できます。データ共有を使用すると、コピーを作成したり移動したりすることなく、ライブデータを共有できます。データベース管理者とデータエンジニアは、データ共有を使用して、データの制御を維持しながら、分析目的でデータへの安全で読み取り専用のアクセスを提供できます。データアナリスト、ビジネスインテリジェンスの専門家、およびデータサイエンティストは、共有データを活用して、データを複製または移動することなくインサイトを得ることができます。一般的なユースケースには、パートナーとのデータ共有、機能横断的な分析の有効化、組織内のデータの民主化の促進などがあります。以下のセクションでは、Amazon Redshift でのデータ共有の設定と管理の詳細について説明します。
日時形式の文字列 - Amazon Redshift
以下の日時形式の文字列のリファレンスを参照してください。 以下の形式の文字列は、TO_CHAR などの関数に適用されます。これらの文字列には、日時区切り記号 ('-'、'/'、':' など)、および次の「日付部分」と「時間部分」を含めることができます。
AWS Schema Conversion Tool | AWS
AWS では、異種データベースの移行を予測可能、高速、安全、かつシンプルにするために、2 つのスキーマ変換ソリューションを提供しています。お客様は、次のいずれかを選択することができます。1) AWS Database Migration Service (AWS DMS) コンソールにログインして、AWS DMS Schema Conversion (DMS SC) ワークフローを開始し、フルマネージドな体験をするか、2) AWS Schema Conversion Tool (AWS SCT) ソフトウェアをローカルドライブにダウンロードするか、を選択することが可能です。 どちらのオプションも、ソースデータベースのスキーマと、ビュー、ストアドプロシージャ、関数などのデータベースコードオブジェクトの大部分を自動的に評価し、ターゲットデータベースと互換性のある形式に変換します。自動的に変換で
Amazon Redshift Serverless - Amazon Redshift
Amazon Redshift Serverless は、データウェアハウスをプロビジョニングして管理することなく、分析を実行してスケーリングしやすくします。Amazon Redshift Serverless によって、データアナリスト、デベロッパー、およびデータサイエンティストは、Amazon Redshift を使用して、データウェアハウスにデータをロードしてレコードをクエリすることで、データからのインサイトを数秒で取得できるようになります。Amazon Redshift は、データウェアハウス容量のプロビジョニングとスケーリングを自動的に実行して、要求が厳しく、予測不可能なワークロードのための高速なパフォーマンスを実現します。料金については、使用した容量のみのお支払いです。既存の分析アプリケーションやビジネスインテリジェンスアプリケーションに変更を加えることなく、この単純化によるメ
AWS Black Belt Tech シリーズ 2015 - Amazon Redshift
This document provides an overview and agenda for an AWS webinar on AWS Glue. It introduces AWS Glue as a fully managed and serverless ETL service that can manage metadata for various data sources. The webinar will cover the background of AWS Glue, its key features including being serverless and enabling secure development in notebooks, use cases, pricing, and a conclusion. It also provides detail
Amazon Redshiftがマテリアライズドビューの正式サポート開始。頻繁に実行されるクエリなどがより高速に
Amazon Redshiftがマテリアライズドビューの正式サポート開始。頻繁に実行されるクエリなどがより高速に Amazon Web Services（AWS）が提供しているデータウェアハウス向けデータベースのAmazon Redshiftで、新機能としてマテリアライズドビューの正式サポートが発表されました。 New #AWSLaunches! AWS Resource Access Manager is Now Available in the Middle East (Bahrain) Region Amazon Redshift introduces support for materialized views (Generally Available)https://t.co/lB0bBYdvnl pic.twitter.com/JRVhK3ekRc — Amazon Web S
STV_SESSIONS - Amazon Redshift
Use the STV_SESSIONS table to view information about the active user sessions for Amazon Redshift. To view the session history, use the STL_SESSIONS table, rather than STV_SESSIONS. STV_SESSIONS is visible to all users. Superusers can see all rows; regular users can see only their own data. For more information, see Visibility of data in system tables and views. Some or all of the data in this tab
Digdag + EmbulkによるTSVファイルのS3→Redshiftロード #digdag | DevelopersIO
はじめに こんにちは、yokatsukiです。 先日6月18日、第五回ゲームサーバ勉強会に参加してきました。 そこで、トレジャーデータのサポートエンジニアマネージャー高橋様から、直前の6月15日にオープンソース化されたばかりのDigdagの説明がありました。その時の発表スライドは下記です。 Digdagは弊社でも何名かが既に触ってブログで公開(下記)しているので、名前と目的は知ってましたが、説明とデモを見るうちに自分でも試してみたくなりました。 Embulk界隈で話題になっている分散ワークフローエンジン「DigDag」について調べてみた #digdag Treasure Data社のOSSワークフローエンジン『Digdag』を試してみた #digdag｜Developers.IO という訳で、簡単ではありますが共有します。 テーブル定義の無いTSVファイルをRedshiftへロードする 通
既存の行を置き換えてマージ操作を実現する - Amazon Redshift
手順で説明しているマージオペレーションを実行するときは、一時的なステージングテーブルの作成と削除のステップを除き、すべてのステップを 1 つのトランザクションにまとめます。いずれかのステップが失敗した場合でも、トランザクションはロールバックされます。トランザクションを 1 つにすると、他にもコミットの回数が減るため、時間とリソースの節約になります。 既存の行を置き換えてマージ操作を実現するには、以下の手順を実行します。 次の疑似コードに示すように、ステージングテーブルを作成し、マージの対象となるデータを移します。 CREATE temp table stage (like target); INSERT INTO stage SELECT * FROM source WHERE source.filter = 'filter_expression'; MERGE を使用してステージングテー
Redshift の Interleaved Sort Key について解説してみる - Qiita
はじめに Redshift における Sort Key の１つである Interleaved Srot Key について解説をします。公式ドキュメントにはさらっとしか記述がないのですが、私が確認した公開された情報のなかでは AWS Blog が一番詳しく解説されていました。本稿はこちらの Blog を理解することを目的とします。 Sort Style 大きく分けて 3 つあります。 Single-column Sort Key column 単位で設定された Key。 Compound Sort Key table 単位で設定されたもので、2つ以上の column に対してセットされた Key。いわゆる複合 Key で Primary, Secondary と Key 間に優先順位があります。 Interleaved Sort Key table 単位で設定されたもので、1つ以上の col
【AWS】Redshiftの分散キーとソートキー - TASK NOTES
Redshiftのパフォーマンスで重要になる分散キーとソートキーについてまとめました。 分散キー（DISTKEY） テーブルにデータをロードすると、そのテーブルの分散スタイルに従って、テーブルの行が各ノードスライスに分散されます。Redshift では1ノードの中で実際に処理を行うプロセスが複数動いており、このプロセスをノードスライスといいます。並列処理の単位はノードではなくノードスライス単位です。スライスの数は、次のようにノード上のプロセッサコアの数と同じになります。 均等分散 均等分散はデフォルトの分散スタイルです。リーダーノードは、特定の列の値に含まれている値にかかわらず、ラウンドロビン方式によって複数のスライス間で行を分散させます。例えば 8スライスのテーブルに 8行 insert した場合、各ノードスライスへ順番に 1行ずつ配布されます。均等分散は、テーブルが結合に関与していない
データウェアハウス再入門 | DevelopersIO
４月入社の川崎です。Redshiftに取り組むにあたり、改めてデータウェアハウス（DWH）の基本について確認しておこうと思います。 DBA（データベース管理者）歴20年の私の経験から言えるのは「同じデータベースでも、データウェアハウスはOLTP系とはまったく違う」ということです。ところが、DWHの教科書みたいな書籍が日本語ではほとんど無いので、書籍の代わりにSlideshareなどネット上のリソースを中心に検索してみます。 「10年戦えるデータ分析入門」青木峰郎 著 http://www.sbcr.jp/products/4797376272.html 著者はクックパッドの方で、元テラデータ出身のようです。（どうりでDWHに詳しい訳ですね）ネットの書評によると「分析の本ではなく分析のためのSQLの入門書」だそうですが、この「分析のためのSQL」が仕事の役に立ちそうな気がしています。（対象デ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Data sharing in Amazon Redshift - Amazon Redshift
Amazon Redshift
Usage notes - Amazon Redshift
GRANT - Amazon Redshift
Using an Amazon Redshift database as a target for AWS Database Migration Service - AWS Database Migration Service
はじめてのAmazon Redshift
[db tech showcase Tokyo 2015] A32:Amazon Redshift Deep Dive by アマゾン データ サービス ジャパン株式会社 八木橋徹平![[db tech showcase Tokyo 2015] A32:Amazon Redshift Deep Dive by アマゾン データ サービス ジャパン株式会社 八木橋徹平](https://cdn-ak-scissors.b.st-hatena.com/image/square/6ded6d00ccaa81e098cb5bc33ef992d566235544/height=288;version=1;width=512/https%3A%2F%2Fcdn.slidesharecdn.com%2Fss_thumbnails%2Fdbts-tokyo-2015a32amazon-redshiftamazondataservicejapan-150623010123-lva1-app6892-thumbnail.jpg%3Fwidth%3D640%26height%3D640%26fit%3Dbounds)
Amazon Redshift