TO_TIMESTAMP 関数 - Amazon Redshift
TO_TIMESTAMP は TIMESTAMP 文字列を TIMESTAMPTZ に返します。Amazon Redshift のその他の日付および時刻関数のリストについては、「日付および時刻関数」を参照してください。 構文 timestamp format により指定された形式でタイムスタンプ値を表す文字列。この引数を空のままにすると、タイムスタンプ値はデフォルトで 0001-01-01 00:00:00 に設定されます。 format timestamp 値の形式を定義する文字列リテラル。タイムゾーン (TZ、tz、または OF) を含む形式は、入力としてサポートされていません。有効なタイムスタンプ形式については、「日時形式の文字列」を参照してください。 is_strict 入力タイムスタンプ値が範囲外である場合にエラーを返すかどうかを指定するオプションのブール値。is_strict
自動 WLM の実装 - Amazon Redshift
自動ワークロード管理 (WLM) では、Amazon Redshift がクエリの同時実行数とメモリの割り当てを管理します。サービスクラスの識別子 100〜107 を使用して、最大 8 つのキューを作成できます。各キューには優先度があります。詳細については、「クエリ優先度」を参照してください。 自動 WLM は、クエリに必要なリソース量を決定し、ワークロードに基づいて同時実行数を調整します。大量のリソースを必要とするクエリがシステムにある場合 (大きなテーブル間のハッシュ結合など)、同時実行数は減ります。軽いクエリ (挿入、削除、スキャン、単純な集計など) を送信すると、同時実行数は増えます。 自動 WLM は、ショートクエリアクセラレーション (SQA) とは別のものであり、クエリの評価方法が異なります。自動 WLM と SQA は連携して動作し、長時間実行されるリソース集約型のクエリが
ワークロード管理 - Amazon Redshift
Amazon Redshift のワークロード管理 (WLM) により、ユーザーはワークロード内の優先順位を柔軟に管理することが可能になります。これにより、実行速度が高く処理時間の短いクエリが、処理時間の長いクエリの後に滞らないようにできます。 Amazon Redshift の WLM は、サービスクラスに従って実行時にクエリキューを作成します。サービスクラスでは、内部システムキューやユーザーからアクセスが可能なキューなどの、さまざまな種類のキューに対する設定パラメータが定義されています。ユーザーから見た場合、ユーザーアクセス可能サービスクラスとキューは機能的に同じものです。一貫性を保つため、このドキュメントでは、ユーザーアクセス可能サービスクラスとランタイムキューは、キューという用語を使用して表します。 ユーザーがクエリを実行すると、WLM は、ユーザーのユーザーグループに従ってクエリ
Dimensional modeling in Amazon Redshift | Amazon Web Services
AWS Big Data Blog Dimensional modeling in Amazon Redshift Amazon Redshift is a fully managed and petabyte-scale cloud data warehouse that is used by tens of thousands of customers to process exabytes of data every day to power their analytics workload. You can structure your data, measure business processes, and get valuable insights quickly can be done by using a dimensional model. Amazon Redshif
Amazon Redshift での横串検索を使用したデータのクエリの実行 - Amazon Redshift
Amazon Redshift で横串検索を使用することにより、オペレーションデータベース、データウェアハウス、データレイク全体のデータをクエリして分析することができます。横串検索機能を使用すると、外部データベースのライブデータの Amazon Redshift からのクエリを、Amazon Redshift と Amazon S3 環境全体のクエリと統合できます。横串検索は、Amazon RDS for PostgreSQL、Amazon Aurora PostgreSQL 互換エディション、Amazon RDS for MySQL、および Amazon Aurora MySQL 互換エディション の外部データベースと連携することができます。 フェデレーテッドクエリにより、ビジネスインテリジェンス (BI) およびレポートアプリケーションの一部としてライブデータを組み込むことができます。
「データ移行のターゲット」 - AWS Database Migration Service
翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。 「データ移行のターゲット」 AWS Database Migration Service (AWS DMS) では、最もよく利用されているデータベースの多くをデータレプリケーションのターゲットとして使用できます。ターゲットは Amazon Elastic Compute Cloud (Amazon EC2) インスタンス、Amazon Relational Database Service (Amazon RDS) DB インスタンス、またはオンプレミス データベースが可能です。 有効なターゲットの包括的なリストについては、「AWS DMSのターゲット」をご参照ください。
Amazon Redshift の新機能 — Kinesis データストリームのストリーミングインジェスト、および Managed Streaming for Apache Kafka の一般提供について | Amazon Web Services
Amazon Web Services ブログ Amazon Redshift の新機能 — Kinesis データストリームのストリーミングインジェスト、および Managed Streaming for Apache Kafka の一般提供について 10 年前、私が AWS に入社してからわずか数か月後に、Amazon Redshift はローンチされました。長年にわたり、パフォーマンスを向上させ、使いやすくするために多くの機能が追加されてきました。Amazon Redshift では、SQL を使用して、データウェアハウス、運用データベース、データレイクにわたって構造化データと半構造化データを分析できるようになりました。最近では、データウェアハウスインフラストラクチャを管理しなくても簡単に分析を実行およびスケーリングできるように、Amazon Redshift サーバーレスが一般公開
ストリーミング取り込み - Amazon Redshift
ストリーミング取り込みでは、Amazon Kinesis Data Streams および Amazon Managed Streaming for Apache Kafka から Amazon Redshift Serverless でプロビジョニングされたビューまたは Amazon Redshift マテリアライズドビューにストリームデータを低レイテンシーかつ高速で取り込むことができます。データアクセスにかかる時間を短縮し、ストレージコストを削減することができます。Amazon Redshift でのマテリアライズドビューの作成 で説明されているように、Amazon Redshift クラスターまたは Amazon Redshift Serverless にストリーミング取り込みを設定することで、SQL ステートメントを使用して、マテリアライズドビューを作成することができます。その後、
データ共有とは - Amazon Redshift
データ共有は、Amazon Redshift でデータを共有する単位です。同じ AWS アカウントまたは異なる AWS アカウント間でデータを使用するには、データ共有を使用します。また、異なる Amazon Redshift クラスター間で、読み取りのためにデータを共有することもできます。 各データ共有は、Amazon Redshift クラスター内の特定のデータベースに関連付けられます。 プロデューサークラスター管理者は、データ共有を作成し、データベースオブジェクトを追加して、他のクラスターとデータを共有できます。これはアウトバウンド共有と呼ばれます。コンシューマー管理者は、他のクラスターからデータ共有を受け取ることができます。これはインバウンド共有と呼ばれます。プロデューサーとコンシューマーの詳細については、「データ共有のプロデューサーとコンシューマー」を参照してください。 データ共有
パフォーマンスに影響！Redshiftのテーブル設計時に最低限意識すべきポイント3選
Introduction AWSが提供するDWHサービス、Amazon Redshift。 全世界での採用企業は数万社を超えており、弊社も国内において多くのお客様に導入のご支援をさせて頂きました。 RedshiftはAWSエコシステムとの親和性が高く、AWSを既にご利用のお客様は導入の敷居が低いDWHサービスとなっております。 しかし、適切なテーブル設計を行わなければパフォーマンスを全く発揮できません。 不適切なテーブル設計をしてしまったが故、「バッチ処理が当初想定していた時間で終わらない」等、弊社にご相談頂いたお客様も数多くいらっしゃいます。 では、Redshiftを扱うにあたってどのようなテーブル設計を行えば良いのか。 本記事では、パフォーマンスの向上に繋がるテーブル設計のポイントを3つ、ご紹介致します。 1. ソートキー（SortKey） ソートキー（SortKey）は、テーブルのデ
Amazon Redshift 最適な分散スタイルを自動設定する『DISTSTYLE AUTO』の動きを確認してみました | DevelopersIO
はじめに 2018年の11月のCluster Version Historyに記載のあった『DISTSTYLE AUTO』がついに利用できるようになりました。分散スタイルにAUTOを指定すると最適な分散スタイルを自動的かつ動的に設定する新機能です。リリースバージョン 1.0.6754 以降で利用可能になりましたので、実際にテーブルを作成してどのように自動的かつ動的に設定が変化するかを確認したいと思います。 RedshiftのテーブルのDISTSTYLEに「AUTO」が追加され、東京リージョンでも使えるようになりました。今まではデフォルトはEVEN分散だったのですが、これからはデフォルトではじめはALL、件数が増えてくるとEVENというようにダイナミックに持ち方が変わる動きになります。https://t.co/UR8x2S2Qgi — Junpei Ozono (@jostandard) A
Amazon Redshift 分散キーの変更について試してみた | DevelopersIO
分散キー変更の際にVACUUMを実行する必要が不要になったというリリースを目にしました。正直、ALTERにて分散キーの変更が可能になったことに気づいていませんでしたので、この機会に分散キーの変更について試してみました。マニュアルに記載にない動作も確認できましたのでご紹介したいと思います。試したクラスタバージョンは、1.0.11116です。 Cluster Version History - Version 1.0.10013, 1.0.10221, 1.0.10393, 1.0.10480, or 1.0.10648 の抜粋です。 The ALTER TABLE ALTER DISTKEY command for tables with a sort key now performs an inline sort. Therefore, running VACUUM afterwards
クロール可能なデータストア - AWS Glue
Amazon S3 自分のアカウントのパスをクロールするか、または別のアカウントのパスをクロールするかを選択できます。フォルダにあるすべての Amazon S3 ファイルが同じスキーマを持つ場合、クローラーはテーブルを 1 つ作成します。また、Amazon S3 オブジェクトが分割されている場合、メタデータテーブルは 1 つしか作成されず、そのテーブルのパーティション情報がデータカタログに追加されます。 Amazon S3 と Amazon DynamoDB クローラーは、AWS Identity and Access Management (IAM) ロールをアクセス許可のために使用して、データストアにアクセスします。クローラーに渡すロールは、クロールされる Amazon S3 パスと Amazon DynamoDB テーブルにアクセスするためのアクセス許可を持っている必要があります。
マテリアライズドビューの更新 - Amazon Redshift
マテリアライズドビューを作成する際、そのコンテンツには、その時点での基となるデータベーステーブルまたはテーブルの状態が反映されます。基となるテーブルにあるデータが、アプリケーションにより変更されても、マテリアライズドビューのデータは変更されません。マテリアライズドビューのデータを更新する場合は、REFRESH MATERIALIZED VIEWステートメントを使用してマテリアライズドビューを手動で随時更新できます。このステートメントを使用する際は、Amazon Redshift は、ベーステーブルまたはテーブルで行われた変更を特定し、特定した変更をマテリアライズドビューに適用します。 Amazon Redshift には、マテリアライズドビューを更新するための 2 つの方法があります。 多くの場合、Amazon Redshift は、増分更新を実行します。増分更新では、Amazon Red
Amazon Redshift 2021 年振り返り - josql endpoint
こちらの記事は、AWS Analytics Advent Calendar 2021 の 20 日目のエントリーです。 2021 年も残り 10 日ほどとなってきましたが、みなさまいかがお過ごしですか？僕は週 2-3 程度、早朝にジョギングをしているのですが、最近グッと寒くなってきたので朝起きるのが辛くなってきました。。 さて、アドベントカレンダーに何を書こうかなと考えていたところ、ちょうど先週末の AWS Big Data Blog にて What’s new in Amazon Redshift – 2021, a year in review という記事が投稿されました。よいタイミングなので、この記事の内容を踏まえつつ、オリジナルコメントを多分に交えながら、2021 年の Amazon Redshift のアップデートについて振り返りたいと思います。 目次 目次 Amazon Red
クエリエディタ v2 でのクエリのスケジューリング - Amazon Redshift
Amazon Redshift クエリエディタ v2 で SQL ステートメントを実行するスケジュールを作成します。ビジネスニーズに合った時間間隔で SQL ステートメントを実行するスケジュールを作成します。スケジュールされたクエリが実行される時間になると、クエリは、Amazon EventBridge によって開始され、Amazon Redshift Data API を使用します。 SQL ステートメントを実行するスケジュールを作成するには[エディタ] ビューで [スケジュール] を選択して、SQL ステートメントを実行するスケジュールを作成します。 スケジュールを定義する場合は、次の情報を指定します。 クエリの実行に必要なアクセス許可を持つ IAM ロール。この IAM ロールは、クラスターまたはワークグループにもアタッチされます。 クラスターまたはワークグループへのアクセスを許可す
STL_ALERT_EVENT_LOG - Amazon Redshift
パフォーマンスの問題を示している可能性のある条件がクエリオプティマイザによって特定された場合にアラートを記録します。クエリパフォーマンスを向上させる機会を特定するには、STL_ALERT_EVENT_LOG ビューを使用します。 複数のセグメントから構成された 1 つのクエリ。各セグメントは 1 つ以上のステップから構成されます。詳細については、「クエリ処理」を参照してください。 STL_ALERT_EVENT_LOG はすべてのユーザーに表示されます。スーパーユーザーはすべての行を表示できますが、通常のユーザーは自分のデータのみを表示できます。詳細については、「システムテーブルとビューのデータの可視性」を参照してください。 STL_ALERT_EVENT_LOG には、メインクラスターで実行されるクエリのみが含まれます。同時実行スケーリングクラスターで実行されるクエリは含まれていません。
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Sharing data in Amazon Redshift - Amazon Redshift
Distribution styles - Amazon Redshift
Redshiftとタヅナを連携する 
