S3からRedShiftへデータをロードするチュートリアルをやってみた | DevelopersIO
1時間程度でRedshiftにデータをロードするチュートリアルができます。Redshift初心者におすすめなのでこれから勉強したい人は是非やってみましょう。 こんにちは、鈴木(純)です。 Redshift勉強していてちょうどよくS3からデータをロードするチュートリアルがあったのでやってみました。 はじめに 今回やるのはこちらのチュートリアルです。 Redshiftのクラスターを起動して、サンプルのS3をアップロード。起動したRedshiftからサンプルデータをロードするところまでをこのチュートリアルでは体験できます。 やってみた それではさっそくやっていきます。 1. IAMロールを作成する まずは前準備として、RedShiftのクラスターへS3へのアクセスを許可するロールを作成します。 AWSサービスの中からRedshiftを選択します。 クリックすると、自動でスクロールされてユースケー
[Redshift] テーブルの縦持ちと横持ちを入れ換える方法 | DevelopersIO
はじめに 既に存在するデータの縦持ちと横持ちを入れ替えて見たい場合の方法を書いていきます。 環境 Mac OSX 10.10.5 Yosemite Redshift 1.0.1125 縦持ち ⇨ 横持ち Pivot（ピボット）と言います。 縦持ちテーブルの準備 商品別の月別売上の表です。 CREATE SCHEMA IF NOT EXISTS blog; CREATE TABLE blog.vertical ( id INTEGER , item_name VARCHAR(1) , month SMALLINT , amount INTEGER ); INSERT INTO blog.vertical VALUES (1,'A',1,150) ,(2,'A',2,120) ,(3,'A',3,100) ,(4,'B',1,20) ,(5,'B',2,60) ,(6,'B',3,80) ,(
![[Redshift] テーブルの縦持ちと横持ちを入れ換える方法 | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/682770dee4c9516fb7fcd9a8ac316142dab0be11/backend=imagemagick;height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2014%2F05%2FAmazon_Redshift.png)
[Redshift] 関数を使用してユーザー情報から次の誕生日を割り出してカウントダウンする | DevelopersIO
はじめに 登録されたユーザーの生年月日から誕生日までのカウントダウンを表示する方法を書きます。 環境 MacOSX 10.10.5 Yosemite Redshift 1.0.1125 準備 ユーザー情報テーブル：user_profile CREATE TABLE IF EXISTS blog; CREATE TABLE blog.user_profile ( user_id INTEGER , user_name VARCHAR(50) , birth DATE , sex SMALLINT , PRIMARY KEY(user_id) ); INSERT INTO blog.user_profile VALUES (1001,'Abiel','1980-01-01',0) ,(1002,'Salome','1990-03-05',0) ,(1003,'Cornelius','2000-
[Redshift] 関数を使用してユーザー情報の生年月日から現在の年齢、曜日を表示する | DevelopersIO
はじめに 登録されたユーザーの生年月日から年齢と曜日を表示する方法について、Redshiftでどうすれば良いかを紹介します。 環境 MacOSX 10.10.5 Yosemite Redshift 1.0.1125 準備 ユーザー情報テーブル：user_profile CREATE TABLE IF EXISTS blog; CREATE TABLE blog.user_profile ( user_id INTEGER , user_name VARCHAR(50) , birth DATE , sex SMALLINT , PRIMARY KEY(user_id) ); INSERT INTO blog.user_profile VALUES (1001,'Abiel','1980-01-01',0) ,(1002,'Salome','1990-03-05',0) ,(1003,'Co
[Redshift] ウィンドウ関数：NTILEでデシル分析を行い商品別の販売比率を表示する | DevelopersIO
はじめに 分析について学習していてデシル分析に出会いました。とても有用に感じたので学習結果を記しておきます。 環境 Mac OSX 10.10.5 Redshift 1.0.1125 デシル分析とは 対象データを10等分（ラテン語でデシル）にして売上の割合などを分析する手法の様です。 準備 CREATE SCHEMA IF NOT EXISTS blog; DROP TABLE IF EXISTS blog.pre_decil; CREATE TABLE blog.pre_decil ( id integer , user_id integer , item_id integer , sales_date date , price integer , quantity integer ); INSERT INTO blog.pre_decil VALUES ( 1,333, 3,'2016
[Redshift] ウィンドウ関数：ROW_NUMBERを使用してグループごとの最新日のみを抽出する | DevelopersIO
はじめに テーブルを作成する際に、参照したい別のテーブルの状態が理想的な形になっていない場合、そのままではテーブルを作成できない事があります。そこで、ある状況下でどうしたら理想的な形にするかを紹介します。 環境 MacOSX 10.10.5 Yosemite Redshift 1.0.1125 テーブルの準備 商品の販売日リスト：item_sale_update CREATE SCHEMA IF EXISTS blog; DROP TABLE IF EXISTS blog.item_sale_update; CREATE TABLE blog.item_sale_update ( id INTEGER , item_name VARCHAR(8) , group_id INTEGER , on_off INTEGER , update_date DATE ); INSERT INTO bl
[Redshift] psqlのタイムアウトを回避する | Developers.IO
こんにちは、DI部の川崎です。 RedshiftのクライアントとしてMac上のpsqlを使用していますが、処理に長時間かかるクエリの場合、タイムアウトが発生してしまい、クエリの結果がきちんと取得できない、という問題が発生していました。 社内で質問をしたところ、下記のページのkeepaliveの設定を教えてもらいましたので、試してみます。（本エントリではMacの場合を試しています） Amazon EC2 以外から接続する — ファイアウォールタイムアウトの問題 http://docs.aws.amazon.com/ja_jp/redshift/latest/mgmt/connecting-firewall-guidance.html sudo sysctl net.inet.tcp.keepintvl=20000 sudo sysctl net.inet.tcp.keepidle=20000
![[Redshift] psqlのタイムアウトを回避する | Developers.IO](https://cdn-ak-scissors.b.st-hatena.com/image/square/de22f6ad03ebf0b52f030cd99d5cddec6369d3a0/backend=imagemagick;height=288;version=1;width=512/https%3A%2F%2Fcdn-ssl-devio-img.classmethod.jp%2Fwp-content%2Fuploads%2F2014%2F05%2FAmazon_Redshift-320x320.png)
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
[Redshift] STL_INSERTとSTL_QUERYを使用して過去に実行したクエリの情報を調べる | DevelopersIO
[Redshift][PostgreSQL] WITH句を使ってSQLをシンプルに。 | DevelopersIO![[Redshift][PostgreSQL] WITH句を使ってSQLをシンプルに。 | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/2df9260414ad6f999e1572718cfb183e63384d2d/backend=imagemagick;height=288;version=1;width=512/https%3A%2F%2Fimages.ctfassets.net%2Fct0aopd36mqt%2F1dD7b8HkT2sbiJzUIewMTD%2Fe5cdc6f33c4fdd9d798f11a4564612ff%2Feyecatch_developersio_darktone_1200x630.jpg)