Amazon RedshiftにJSONフォーマットのデータをインポートする ｜ DevelopersIO
Amazon Redshiftに於けるデータのインポートでは、代表的なところだとCSV(カンマ区切り)やTSV(タブ区切り)形式のものを取り込む事が多いかと思いますが、JSON形式のファイルインポートにも実は対応しています。 JSON 形式からの COPY - Amazon Redshift / COPY from JSON format - Amazon Redshift そこで当エントリでは、Amazon RedshiftへのJSONデータ取り込みについて紹介・実践してみたいと思います。(※上記リストにあるように日本語ドキュメントも整備されてますので、ポイントだけ掻い摘む形で) 目次 JSONとは Amazon RedshiftへのJSONファイルの取り込み方法 手順1.jsonpathsオプションを使い、取り込むファイルの内容・順番を テーブル項目名と一致した名前の指定で取り込む場合
Redshiftのマテリアライズド・ビュー機能(プレビュー)を試してみる - goodbyegangsterのブログ
Redshiftでマテビュー機能が利用できるようになったので、試してみました。2020年2月時点ではプレビューの状態であるものの、申請なしで誰でも利用可能となっています。 こちらは利用マニュアル。 Creating Materialized Views in Amazon Redshift 事前準備 利用前提条件 Clusterのバージョンと、Maintenace Trackの設定に条件があります。 To use materialized views, you must confirm that your Amazon Redshift cluster is using the cluster maintenance track for Preview with the track named preview_features. The current cluster maintenanc
Amazon Redshift: COPY時のエラー情報を見易い形で取得するSQL文 | DevelopersIO
超々小ネタです。 Amazon RedshiftでCOPY操作を行う際、新しく取り込むようなファイルだとエラーとなるようなデータの形式であったり、テーブルデータ型との齟齬が頻繁に発生する事も往々にしてありますので都度エラーが発生した際に対象となるシステム系テーブルを参照する必要が出て来ます。その際、これまではあまり意識しては居なかったんですが『そう言えば都度、エラー情報を得る時に手動でSQLを書いてたな』とふと思い、また可変長文字列が多いテーブルでもありますのでそのままの情報を得ようとすると若干見辛いというのもあるのでその手間を省くべく確認用のSQLをネタとして用意しとこうと思いました。 stl_loar_errorsテーブル参照用SQL 以下はエラー発生時に参照すべきテーブル、『stl_loar_errors』テーブルを分割して表示させるSQL群です。対象となるテーブルのテーブル名が無か
Amazon Redshiftで良く使いそうな便利系SQLをまとめてみた | DevelopersIO
Redshiftで色々環境構築や調査を進めて行くと、割とちょいちょい良く使うSQL等も出て来ます。そこでこのエントリでは、普段使っている便利系SQL、都度アクセスしてはコピペして使ってるようなSQL、更にはそれらにちょっと一手間加えたSQL等を集約し一覧としてみる事にしました。 必須なもの、また『これも使えるね』というようなものについては適宜追加更新を行っていこうと思ってますので、オススメのSQL文があれば是非教えて頂けると幸いです。 目次 S3からのCOPY処理エラーに関するログを確認する COPY処理時に出力させるエラー件数量を制御する 指定テーブルのテーブル定義を確認する(type1:psqlコマンドで簡易表示) 指定テーブルのテーブル定義を確認する(type2:distkey,sortkey等も表示) 指定テーブルのテーブル定義を確認する(type3:コメント文も併せて表示) テー
[Redshift] テーブルの縦持ちと横持ちを入れ換える方法 | DevelopersIO
はじめに 既に存在するデータの縦持ちと横持ちを入れ替えて見たい場合の方法を書いていきます。 環境 Mac OSX 10.10.5 Yosemite Redshift 1.0.1125 縦持ち ⇨ 横持ち Pivot（ピボット）と言います。 縦持ちテーブルの準備 商品別の月別売上の表です。 CREATE SCHEMA IF NOT EXISTS blog; CREATE TABLE blog.vertical ( id INTEGER , item_name VARCHAR(1) , month SMALLINT , amount INTEGER ); INSERT INTO blog.vertical VALUES (1,'A',1,150) ,(2,'A',2,120) ,(3,'A',3,100) ,(4,'B',1,20) ,(5,'B',2,60) ,(6,'B',3,80) ,(
[新機能] Amazon Redshift データレイクのデータ更新がシンプルになるUNLOADコマンドのCLEANPATH指定がサポートされました | DevelopersIO
[新機能] Amazon Redshift データレイクのデータ更新がシンプルになるUNLOADコマンドのCLEANPATH指定がサポートされました データアナリティクス事業本部コンサルティングチームの石川です。本日は、新たに追加になったUNLOADコマンドのCLEANPATH指定をご紹介します。S3パスにアンロードする前に、既存のファイルを削除する指定で、データレイクのデータ更新がシンプルになります。早速試してみます。 CLEANPATH指定とは UNLOADコマンドのCLEANPATH指定は、S3パスにアンロードする前に、既存のファイルを削除します。 例えば、 UNLOAD ('SELECT * FROM tickit.date') TO 's3://cm-bucket/datalake/tickit/sales/' IAM_ROLE 'arn:aws:iam::12345678912
![[新機能] Amazon Redshift データレイクのデータ更新がシンプルになるUNLOADコマンドのCLEANPATH指定がサポートされました | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/81eb02784729f6c36fc95bc45da4619b1a0480cf/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2019%2F05%2Famazon-redshift.png)
Cloud Data Warehouse Benchmark | Blog | Fivetran
Our newest benchmark compares price, performance and differentiated features for Redshift, Snowflake, BigQuery, Databricks and Synapse. Over the last two years, the major cloud data warehouses continue to make incremental improvements that give customers faster performance and lower cost. Contrary to popular belief, these vendors] make ongoing efficiency improvements that save customers money desp
Amazon Redshift 新たにカラムナファイルフォーマット（Parquet、ORC）からのデータロードに対応しました | DevelopersIO
Amazon Redshift 新たにカラムナファイルフォーマット（Parquet、ORC）からのデータロードに対応しました はじめに Amazon Redshift は、新たにカラムナファイルフォーマットであるParquetとORCからデータロードが可能になりました。クラスタバージョン1.0.2369は、本日東京リージョンで利用可能になりましたので早速検証してみます。 Amazon Redshift Maintenance (May 17th – June 14th, 2018) データのロードの例 Parquet 形式のデータはformat as parquet、ORC 形式のデータはformat as orcとオプション指定します。下記は、Parquet 形式のデータの例です。 copy listing from 's3://mybucket/data/listings/parque
最新のログもすぐクエリできる速くて容量無限の最強ログ基盤をRedshift Spectrumで作る - クックパッド開発者ブログ
こんにちは。去年の今頃は Rust を書いていました。 インフラストラクチャー部データ基盤グループの id:koba789 です。 背景 クックパッドではデータ基盤の DBMS として Amazon Redshift を利用しています。 既存のデータ基盤について詳しいことは クックパッドのデータ活用基盤 - クックパッド開発者ブログ を参照してください。 今まで、ログは数時間に1度、定期実行ジョブで Redshift 内のテーブルにロードしていました。 ロードジョブの実行間隔が "数時間" と長めなのは、Redshift のトランザクションのコミットが遅いためです。 クックパッドでは数百ものログテーブルがあるため、仮に1分おきにすべてを取り込もうとすると秒間数回以上のコミットを行わなければなりません。 このような頻繁なコミットは Redshift 全体のパフォーマンスを悪化させてしまいます
クラスターのサイズ変更 - Amazon Redshift
データウェアハウスの容量とパフォーマンスのニーズが変わるため、クラスターサイズを変更して、Amazon Redshift のコンピューティングとストレージオプションを最大限に活用することができます。 サイズ変更操作には次の 2 つのタイプがあります。 伸縮自在なサイズ変更 - クラスターにノードを追加または削除できます。DS2 ノードから RA3 ノードなど、ノードタイプを変更することもできます。伸縮自在なサイズ変更は、通常は短時間で完了し、平均で 10 分かかります。このため、最初のオプションとしてお勧めします。伸縮自在なサイズ変更を実行すると、データスライスを再分配します。データスライスは、各ノードにメモリとディスク領域に割り当てられるパーティションです。伸縮自在なサイズ変更は、次のような場合に適しています。 既存のクラスターにノードを追加または削減するが、ノードタイプは変更しない場合
AWS Webcast - Amazon Redshift Best Practices Part 2 – Performance
Get the most out of Amazon Redshift by learning about cutting-edge data warehousing implementations. Desk.com, a Salesforce.com company, discusses how they maintain a large concurrent user base on their customer-facing business intelligence portal powered by Amazon Redshift. HasOffers shares how they load 60 million events per day into Amazon Redshift with a 3-minute end-to-end load latency to sup
PG_TABLE_DEF - Amazon Redshift
select "column", type, encoding, distkey, sortkey, "notnull" from pg_table_def where tablename = 'lineorder_compound' and sortkey <> 0; column | type | encoding | distkey | sortkey | notnull -------------+---------+----------+---------+---------+-------- lo_orderkey | integer | delta32k | false | 1 | true lo_custkey | integer | none | false | 2 | true lo_partkey | integer | none | true | 3 | true
Redshiftのテーブル定義がアレだったときの、最後に残った道しるべ - Librabuch
Redshift使い始めたは良いけど、運用後に以下の点に気付いてしまうことがあるかも知れません。 SORTKEYやDISTKEYの設計を間違えた。寧ろそんなものがあったことを知らなかった。 INSERTでレコードを挿入していたのでデータが圧縮されていなかった。 人生をもう一度やりなおしたい。 MySQLやPostgreSQLだと数千万～億のレコードが入った状態でテーブルの設計ミスをなかったことにするのは骨が折れます。Indexの張り直しだけでも、億レコードのオーダーではソウルジェムが黒化すること間違いないです。 Redshiftなら、ほむらちゃんに時間遡行をお願いするまでもなくリカバリーできます。 そう、Redshiftならね。 手順 テーブルのデータをS3に逃がしてあげます。 UNLOAD ('SELECT * FROM table_name') TO 's3://tmp-hoge/'
Amazon Redshift Useful SQL: VACUUM処理が必要なテーブルを洗い出す | DevelopersIO
当エントリの内容は一部情報が曖昧な部分があります。 改善を加えたSQLスクリプトを以下エントリにまとめましたのでこちらをご参照ください。 Amazon Redshift: VACUUM処理が必要なテーブルを改めて洗い出す ｜ Developers.IO Amazon Redshiftに於いて、『VACUUM』という処理は重要な要素となっています。適宜タイミングを見計らって実施する事でテーブルの情報を整理しソートされ、結果としてアクセスに対するレスポンス向上も見込めます。一方でVACUUM処理自体に必要となるリソースも多くなる事から、実施タイミングについても業務時間やピークタイムを避けて行う等の対処が求められたりします。VACUUMの処理については範囲としては『クラスタ全体』『テーブル単位』のいずれか、処理の種類としては『DELETE ONLY』『SORT ONLY』『DELETE/SORT
AWS News Blog
AWS Weekly Roundup – Amazon MWAA, EMR Studio, Generative AI, and More – August 14, 2023 While I enjoyed a few days off in California to get a dose of vitamin sea, a lot has happened in the AWS universe. Let’s take a look together! Last Week’s Launches Here are some launches that got my attention: Amazon MWAA now supports Apache Airflow version 2.6 – Amazon Managed Workflows for Apache Airflow […]
【AWS】Redshiftの分散キーとソートキー - TASK NOTES
Redshiftのパフォーマンスで重要になる分散キーとソートキーについてまとめました。 分散キー（DISTKEY） テーブルにデータをロードすると、そのテーブルの分散スタイルに従って、テーブルの行が各ノードスライスに分散されます。Redshift では1ノードの中で実際に処理を行うプロセスが複数動いており、このプロセスをノードスライスといいます。並列処理の単位はノードではなくノードスライス単位です。スライスの数は、次のようにノード上のプロセッサコアの数と同じになります。 均等分散 均等分散はデフォルトの分散スタイルです。リーダーノードは、特定の列の値に含まれている値にかかわらず、ラウンドロビン方式によって複数のスライス間で行を分散させます。例えば 8スライスのテーブルに 8行 insert した場合、各ノードスライスへ順番に 1行ずつ配布されます。均等分散は、テーブルが結合に関与していない
[Amazon Redshift] RedshiftのIAM Roles利用が可能となりました。 ｜ DevelopersIO
はじめに AWSチームのすずきです。 先日のAWSのアップデートにより、Amazon Redshiftのインポート（COPY）、エクスポート（UNLOAD）先として利用する、 S3などのアクセス権限管理に、IAMロールを利用する事が可能になりました。 IAMロールを利用したCOPY操作を試す機会がありましたので、紹介します。 Amazon Redshift now supports using IAM roles with COPY and UNLOAD commands IAM設定 IAMロール作成 AWSコンソール、IAM（Identity & Access Management）を利用します。 ロールを指定し「新しいロールの作成」を行います。 任意のロール名を記入します。 新しく追加されたAWSサービスロール、「Amazon Redshift」を選択します。 ポリシーのアタッチにて、
データが正しくロードされたことを確認する - Amazon Redshift
ロード操作が完了したら、STL_LOAD_COMMITS システムテーブルにクエリし、ファイルが予定どおりロードされたことを確認します。ロードに問題が発生した場合にトランザクション全体をロールバックできるように、COPY コマンドとロードの検証は同じトランザクションで実行します。 次のクエリでは、TICKIT データベースのテーブルをロードするためのエントリが返されます。 select query, trim(filename) as filename, curtime, status from stl_load_commits where filename like '%tickit%' order by query; query | filename | curtime | status -------+---------------------------+-------------
Amazon Redshiftへのデータロード処理をリモートホスト(Amazon EC2)経由で行う | DevelopersIO
Amazon Redsihftへデータをロードする際に最もポピュラーな手段はAmazon S3にデータをアップロードし、RedshiftからのCOPYコマンドでアップロードしたS3上のファイルを指定、というものになりますが、Amazon S3にファイルをアップロードすると言う事はインターネット回線を通じて情報が送信される訳で、分析に利用する重要なデータがそう言った経路で移動してしまうというのはセキュリティ面から考えて不安要素となります。Amazon S3に於けるSSL対応はクライアント側・サーバ側共に対応されていますが、やはりこの点は気になる所ではありますね。 そこで今回、EC2にファイルをアップロードし、そこから直接Redshiftにデータをロードする(S3経由では無くEC2経由でのデータロード)手段についてご紹介し、その手順を見て行きたいと思います。 目次 解説 0.概要＆事前準備 1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Amazon Redshift