Amazon Redshiftのチュートリアルをやってみた！ | DevelopersIO
最近Redshiftを触る機会があり、こちらのチュートリアルをやってみました。 以前 AWS Certified Big Data Specialty を取得する際に勉強しましたが、だいぶ忘れていたので備忘録も兼ねてブログ化したいと思います。 ※個人的にわかりやすい手順にまとめているので、実際のステップと異なる部分がありますが、ご了承ください。 IAM Roleを作成する まずRedshiftがS3からソースデータをコピーしてくるために必要なロールを作成します。 AWSコンソールのIAM Roleの作成ページで以下を選択します。 ユースケースを選択 Redshift - カスタマイズ可能 アクセス許可ポリシーのアタッチ AmazonS3ReadOnlyAccess ロール名 任意（本ブログではmyRedshiftRoleと入力） Redshift クラスターを作成する Redshiftのク
Amazon S3のアクセスログをRedshiftにロードする - Qiita
概要 S3のアクセスログは、直接Redshiftにはロードできないので、一旦テンポラリテーブルに入れてロードしよう ロード方法の検討 S3のアクセスログのフォーマット https://docs.aws.amazon.com/ja_jp/AmazonS3/latest/dev/LogFormat.html 79a59df900b949e55d96a1e698fbacedfd6e09d98eacf8f8d5218e7cd47ef2be mybucket [06/Feb/2014:00:00:38 +0000] 192.0.2.3 79a59df900b949e55d96a1e698fbacedfd6e09d98eacf8f8d5218e7cd47ef2be 3E57427F3EXAMPLE REST.GET.VERSIONING - "GET /mybucket?versioning HTTP
Redshiftを使って、もっとも幸福な青空文庫を判定してみる - Qiita
最近Redshiftを業務で使う機会があったので、概要や使い方などをまとめてみようかと思います。 今回はRedshiftの立ち上げからはじめ、青空文庫さんが公開してくださっている、形態素解析データをRedshiftにいれて解析してみます。 解析といっても、一番多く幸せそうなワードを使っている文庫はどれかを調べるだけ。 一番多く幸せそうなワードを使っていた文庫を、「もっとも幸福な青空文庫」と判定します。 また、今回使用する、6.1GB、8770万行のデータをデフォルト設定でどのくらいでさばけるかなども試してみたいと思います。 今回やること 今回は以下の様なことをします。 ・Redshiftとは何かをまとめ ・青空文庫のデータセットをダウンロードして、S3にアップ ・PostgreSQLが扱えるDBクライアントを用意する ・Redshiftを立ち上げる ・Redshiftにクライアントから接続
Amazon Redshiftで良く使いそうな便利系SQLをまとめてみた | DevelopersIO
Redshiftで色々環境構築や調査を進めて行くと、割とちょいちょい良く使うSQL等も出て来ます。そこでこのエントリでは、普段使っている便利系SQL、都度アクセスしてはコピペして使ってるようなSQL、更にはそれらにちょっと一手間加えたSQL等を集約し一覧としてみる事にしました。 必須なもの、また『これも使えるね』というようなものについては適宜追加更新を行っていこうと思ってますので、オススメのSQL文があれば是非教えて頂けると幸いです。 目次 S3からのCOPY処理エラーに関するログを確認する COPY処理時に出力させるエラー件数量を制御する 指定テーブルのテーブル定義を確認する(type1:psqlコマンドで簡易表示) 指定テーブルのテーブル定義を確認する(type2:distkey,sortkey等も表示) 指定テーブルのテーブル定義を確認する(type3:コメント文も併せて表示) テー
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
