Amazon Redshiftのチュートリアルをやってみた！ | DevelopersIO
最近Redshiftを触る機会があり、こちらのチュートリアルをやってみました。 以前 AWS Certified Big Data Specialty を取得する際に勉強しましたが、だいぶ忘れていたので備忘録も兼ねてブログ化したいと思います。 ※個人的にわかりやすい手順にまとめているので、実際のステップと異なる部分がありますが、ご了承ください。 IAM Roleを作成する まずRedshiftがS3からソースデータをコピーしてくるために必要なロールを作成します。 AWSコンソールのIAM Roleの作成ページで以下を選択します。 ユースケースを選択 Redshift - カスタマイズ可能 アクセス許可ポリシーのアタッチ AmazonS3ReadOnlyAccess ロール名 任意（本ブログではmyRedshiftRoleと入力） Redshift クラスターを作成する Redshiftのク
Cohort Query Example
This site is in read only mode. Please continue to browse, but replying, likes, and other actions are disabled for now. Cohorts are a good tool to review retention of users over a defined period of time. To create your own cohort report, you’ll need to define your cohort time frame, population, and activeness of users. Here is an example of a cohort query in PostgreSQL, step by step: We used the W
RedshiftとBigQueryでよく使うSQLの違いTips - Gunosyデータ分析ブログ
データ分析部インターン生の小川です。インターンでは主に動画収集のロジック実装に取り組んでいました。 Gunosyではログの管理にRedshiftとBigQueryを使用しています。 サービスはAWS上で動いているものも多いので基本はRedshiftで、ログの量が多いものやアドホック分析に用いるものはBigQueryに格納しています。 この2つのサービスでSQLの書き方が微妙に異なるところがあり、もどかしい経験をしたので、今回は、よく使うSQLの文法でRedshiftとBigQueryで表現が異なる所をまとめてみようと思います。 BigQueryの導入についてはこちらの記事をご覧ください。 また、この記事ではBigQueryはStandard SQLで記述していきます。 data.gunosy.io 日付・時刻関数 現在時刻(UTC) 現在時刻(JST) 現在の日付(UTC) 現在の日付(J
[祝] Amazon Redshift Spectrumが東京リージョンで利用可能になりました | DevelopersIO
はじめに 今年の4月にAWS Summit 2017 in San Franciscoで発表された Amazon S3にある大量のデータに対して、Amazon Redshiftから直接クエリを投げる事が出来るサービスが、2017/10/20からAWS東京リージョンで利用可能になりましたので紹介させて頂きます。 Amazon Redshift Spectrumが東京リージョンで利用可能になりました ＆ Spectrum 一般公開後のアップデート 東京リージョンで動作確認 早速、東京リージョンでRedshift Spectrumを試しました。私の環境では一時的にエラーが発生していましたが、2017/10/21 19時以降から利用できるようになりました。 サンプルデータを東京リージョンにコピー クエリーを実行するたびにリージョン間転送費用が発生しないようにサンプルデータを東京リージョンのS3バケ
![[祝] Amazon Redshift Spectrumが東京リージョンで利用可能になりました | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/977093929c7bae81ce8ef1fba07f72411d2c9ded/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2014%2F05%2FAmazon_Redshift.png)
Python で Redshift の JDBC ドライバを使ってみる（JayDeBeApi） | DevelopersIO
Python から Redshift へ接続する方法で psycopg 以外の方法が無いものか探していた所 JayDeBeApi なるものを見つけました。Amazon 謹製の JDBC Driver を使えるかなということで試してみました。 テスト環境 OS X 10.11.6, Java 8u112, Python 3.6.1, JayDeBeApi 1.1.1, RedshiftJDBC42-1.2.1.1001.jar Windows 7, Java 8u131, Python 2.7.13, JayDeBeApi 1.1.1, RedshiftJDBC42-1.2.1.1001.jar ※環境変数 JAVA_HOME の設定が必要です。 ※本来 Python 3 の場合は JayDeBeApi3 を利用するようなのですが、エラーが発生してしまったので 1.1.1 で試しました。 R
Amazon RedshiftとRによるデータ分析をやってみる | DevelopersIO
RからRedshiftに接続する Rは、フリーの統計解析ソフトです。様々なデータソースを扱うことができます。今回は、Redshiftをデータソースとして扱い、クエリーを実行してみたいと思います。 Amazon LinuxにRをインストールする まずは、Amazon Linux上に後から必要になるパッケージを一通りインストールします。Amazon Linux-2015.3を用いています。 $ sudo yum install -y R git libxml2-devel openssl-devel libcurl-devel libjpeg-devel libpng-devel mysql-devel 続けて、Rの管理コンソールを提供するRStudioをインストールします。 $ wget https://download2.rstudio.org/rstudio-server-rhel-0.
SQLの分析関数LAG - コンピュータクワガタ
分析関数のLAGを最近知ったのでどんなものか紹介します。 適当な例を挙げるのが難しかったのですが、ありそうな例を考えてみました。 サンプルは、CentOS 6.3に付属のPostgreSQL 8.4で確認しています。最近のOracleでも動くと思います。MySQLは無理です。一応SQL標準なので他のDBMSでも実装されるかもしれません。 社員ごとの月ごとの売上が格納されたテーブルを用意します。テーブルは以下のDDLで作成します。 CREATE TABLE uriage_table( emp_no VARCHAR(3), year INTEGER, month INTEGER, uriage INTEGER, PRIMARY KEY(emp_no,year,month) ); このテーブルに適当な以下のデータを流し込みます。 INSERT INTO uriage_table VALUES('
PostgreSQLの日付操作 - 鶏頭のプログラム
前回 Oracleの日付操作 - 鶏頭のプログラム の記事でOracleの日付操作について記載しました。 今回はPostgreSQLの日付操作について記載します。 今 SELECT current_timestamp; SELECT now(); 今日 SELECT current_date; 明日 SELECT current_timestamp + '1 day'; SELECT now() + '1 day'; SELECT current_date + 1; 昨日 SELECT current_timestamp + '-1 day'; SELECT now() + '-1 day'; SELECT current_date - 1; ひと月後 SELECT current_timestamp + '1 month'; SELECT now() + '1 month'; ひと月前
SQL 日時列を5秒、30秒単位で集計する(RDBMS別) - Qiita
(*1) LEFT/RIGHT関数の方が可読性が良いが、環境によって型チェックエラーに引っかかったのでSUBSTRING系を使用 (*2) 指定書式は様々 Redshift / PostgreSQL Redshift: 1.0 postgreSQL: 8.4.20 文字列抽出は SUBSTRING LEFT関数の方が可読性が良いが、環境によって型チェックエラーに引っかかったのでSUBSTRINGを使用 型変換は CAST Redshiftは TO_* 関数未サポート 文字列結合は "||" INTERVAL値はクォート要 /* 5秒単位 */ SELECT CASE /* 5秒単位 */ -- 0〜4秒はhh:mm:s5 WHEN SUBSTRING(CAST(_timestamp AS VARCHAR), LENGTH(CAST(_timestamp AS VARCHAR)) - 1 +
Amazon S3のアクセスログをRedshiftにロードする - Qiita
概要 S3のアクセスログは、直接Redshiftにはロードできないので、一旦テンポラリテーブルに入れてロードしよう ロード方法の検討 S3のアクセスログのフォーマット https://docs.aws.amazon.com/ja_jp/AmazonS3/latest/dev/LogFormat.html 79a59df900b949e55d96a1e698fbacedfd6e09d98eacf8f8d5218e7cd47ef2be mybucket [06/Feb/2014:00:00:38 +0000] 192.0.2.3 79a59df900b949e55d96a1e698fbacedfd6e09d98eacf8f8d5218e7cd47ef2be 3E57427F3EXAMPLE REST.GET.VERSIONING - "GET /mybucket?versioning HTTP
[Redshift][PostgreSQL] WITH句を使ってSQLをシンプルに。 | DevelopersIO
環境 MAC OSX 10.10.5 Yosemite 使い方（例） テーブルの準備 CREATE TABLE items ( id SMALLINT , name VARCHAR(16) , item_id SMALLINT , item_name VARCHAR(16) , PRIMARY KEY(id, item_id) ); INSERT INTO items VALUES (1, '文房具', 1, 'シャーペン') , (1, '文房具', 2, '消しゴム') , (1, '文房具', 3, '定規') , (2, 'かばん', 1, 'リュックサック') , (2, 'かばん', 2, 'ショルダーバッグ'); CREATE TABLE genre ( id SMALLINT , name VARCHAR(16) ,PRIMARY KEY(id) ); # SELECT *
![[Redshift][PostgreSQL] WITH句を使ってSQLをシンプルに。 | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/6f1fde3cff7767965729d2d96d3e31da5b8a643d/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2018%2F11%2Feyecatch_developers.io_1200x630.jpeg)
Redshiftを使って、もっとも幸福な青空文庫を判定してみる - Qiita
最近Redshiftを業務で使う機会があったので、概要や使い方などをまとめてみようかと思います。 今回はRedshiftの立ち上げからはじめ、青空文庫さんが公開してくださっている、形態素解析データをRedshiftにいれて解析してみます。 解析といっても、一番多く幸せそうなワードを使っている文庫はどれかを調べるだけ。 一番多く幸せそうなワードを使っていた文庫を、「もっとも幸福な青空文庫」と判定します。 また、今回使用する、6.1GB、8770万行のデータをデフォルト設定でどのくらいでさばけるかなども試してみたいと思います。 今回やること 今回は以下の様なことをします。 ・Redshiftとは何かをまとめ ・青空文庫のデータセットをダウンロードして、S3にアップ ・PostgreSQLが扱えるDBクライアントを用意する ・Redshiftを立ち上げる ・Redshiftにクライアントから接続
Redshift専用 Windows GUIツール『Aginity Workbench for Amazon Redshift』が便利かもしれない件 ｜ DevelopersIO
都内近郊、先週までは比較的涼しくて過ごしやすい気候でしたが、一気に暑さが到来し団扇や扇風機、クーラーが必須な感じになって参りました。暑さそのものもそうですが、脱水症状や熱中症にもくれぐれもご注意ください。 そんなわけで本題です。先日Mac OSXで扱うRedshift用のGUIツールとしてIntellij IDEA Ultimate版が良いよというエントリを投下しましたが、Windows環境でもRedshiftにアクセスする際の便利なツールが無いものか...と調べてみたところ、割と便利そうなものを見つけましたのでざっくり基本的な部分を含めてご紹介してみたいと思います。 Amazon RedshiftのMac OS X向けGUIツールとして『Intellij IDEA Ultimate Edition』のDatabase Toolsを使う ｜ Developers.IO 目次 『Aginit
『Amazon Redshift チュートリアル: テーブル設計チューニング』を実践してみた | DevelopersIO
Amazon Redshiftに於いて『パフォーマンスチューニング』は重要なトピックの1つです。Redshiftクラスタを立ち上げて、データを投入して、実際使ってみたものの思ったような速度・レスポンスが返って来ない...という状況も時折遭遇する事と思います。 AWS公式ドキュメント(英語版)を漁ってみると、まさにその『パフォーマンスチューニング』に焦点を当てたチュートリアルが公開されているではありませんか！当エントリではそのドキュメントを参考にひと通り実践してみた内容をまとめてみました。各種手順を1エントリに集約したので超長いエントリとなってしまいましたが、その辺りは目を瞑りつつ実践内容を順を追ってご覧頂ければと思います。 Tutorial: Tuning Table Design - Amazon Redshift: 目次 1.テスト用データセットの作成 2.ベースラインを作るためのシス
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Amazon Redshift - date manipulation functions
Python script to connect with Redshift on AWS with SCHEMA support.
Connecting R with Amazon Redshift | Amazon Web Services
Connecting to Amazon Redshift from R via JDBC Driver
PostgreSQL Date Functions and 7 Ways to Use Them in Business Analysis | Mode
How to find the previous quarter value based on current quarter in PostgreSQL?