[祝] Amazon Redshift Spectrumが東京リージョンで利用可能になりました | DevelopersIO
はじめに 今年の4月にAWS Summit 2017 in San Franciscoで発表された Amazon S3にある大量のデータに対して、Amazon Redshiftから直接クエリを投げる事が出来るサービスが、2017/10/20からAWS東京リージョンで利用可能になりましたので紹介させて頂きます。 Amazon Redshift Spectrumが東京リージョンで利用可能になりました ＆ Spectrum 一般公開後のアップデート 東京リージョンで動作確認 早速、東京リージョンでRedshift Spectrumを試しました。私の環境では一時的にエラーが発生していましたが、2017/10/21 19時以降から利用できるようになりました。 サンプルデータを東京リージョンにコピー クエリーを実行するたびにリージョン間転送費用が発生しないようにサンプルデータを東京リージョンのS3バケ
![[祝] Amazon Redshift Spectrumが東京リージョンで利用可能になりました | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/977093929c7bae81ce8ef1fba07f72411d2c9ded/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2014%2F05%2FAmazon_Redshift.png)
[AWS] VPCウィザードからVPCを作成する。 – LexTech
こんにちは、与儀です。 VPC(Virtual Private Gateway)は、ざっくり言うとAWSクラウド上に自分だけのセキュアでプライベートな仮想データセンターを簡単に作ることができるサービスです。VPC自体は無料で使うことができます。ここでは簡単ですがVPCを作成してみます。 VPCの概要についてはこちらをご参照ください。 VPCは初めから作成済みのデフォルトVPC(172.31.0.0/16)というものがありますが、ここではVPCウィザードから新規作成します。（デフォルトVPCについては、こちらを参照してください。新規作成するVPCとデフォルトVPCでは若干仕様が違うところがあったりします。） 現在、新規で作成されたAWSアカウントで、EC2インスタンスを構築する場合は、必ずVPC上で構築しなければなりません。なのでEC2を使う上でVPCは必須となります。 AWSサービストップ
Amazon Product Advertising APIを使って、「Flex × Python」からAmazonの商品データの検索するアプリを作ってみた - りょうのはてな
こんにちわ！兄貴とTwitter上でマジレス兄弟喧嘩をしたRyoAbeです。 今回は何を作ったかと言いますと表題にある通り、 AmazonのAPI(Product Advertising API)を使った商品データの検索出来るアプリです。 (ほんとただそれだけですｗ) かるーくAPI触ってどんな感じか探るだけだったんですが、 意外に手こずっちゃって、おかげでけっこう勉強になったんで Blogにまとめがてら載せることにしました！ ◎そもそもProduct Advertising APIってなんぞやって話から Product Advertising API とは Product Advertising API は、Amazon の商品情報や関連コンテンツをプログラムを通してアクセスできるサービスを提供することで、Web 開発者の皆様が、ご自分の Web サイトでAmazon の商品を紹介するこ
Access Key IDとSecret Access Keyの取得 - Amazon Web サービス
PAAPI(Product Advertising API)を使用するにはProduct Advertising API アカウントを作成し、2種類の認証用キー(Access Key IDとSecret Access Key)を取得する必要があります。ここではこの2つのキーの取得方法について解説します。(なお事前にAmazonアソシエイト・プログラムへ参加を行なっておいて下さい。参加方法については「Amazonアソシエイト・プログラムへの参加」で解説しています)。 1.Product Advertising APIアカウントの作成 2.Access Key IDとSecret Access Keyの取得 3.次回からキーを取得する場合の手順 下記のURLから開始します。 https://affiliate.amazon.co.jp/ Amazonアフィリエイトのアカウントでログインを行なっ
『Amazon Redshift チュートリアル: テーブル設計チューニング』を実践してみた | DevelopersIO
Amazon Redshiftに於いて『パフォーマンスチューニング』は重要なトピックの1つです。Redshiftクラスタを立ち上げて、データを投入して、実際使ってみたものの思ったような速度・レスポンスが返って来ない...という状況も時折遭遇する事と思います。 AWS公式ドキュメント(英語版)を漁ってみると、まさにその『パフォーマンスチューニング』に焦点を当てたチュートリアルが公開されているではありませんか！当エントリではそのドキュメントを参考にひと通り実践してみた内容をまとめてみました。各種手順を1エントリに集約したので超長いエントリとなってしまいましたが、その辺りは目を瞑りつつ実践内容を順を追ってご覧頂ければと思います。 Tutorial: Tuning Table Design - Amazon Redshift: 目次 1.テスト用データセットの作成 2.ベースラインを作るためのシス
psycopg2によるPython2.7からのAmazon Redshiftアクセスサンプル | DevelopersIO
2015年も本日で最終日となりました。読者の皆様におかれましては、しっかり仕事を納めつつ年末(及び年始)を過ごされていますでしょうか。そんな私も年末は仕事を無事納める事が出来、年末を落ち着いて過ごす傍らで社内で個人的に取り組んでいた可視化事案の仕組みを全面的にPythonで置き換えるという作業をちょいちょい進めておりました。 可視化に関する作業の中にはAmazon Redshiftへのアクセスを行なう部分も含まれていますが、この部分についてもPythonで利用出来るライブラリを使って処理を実現する事が可能です。そこで当エントリではPythonからライブラリ『psycopg2』を使ってAmazon Redshiftへのアクセスを行なう際のサンプルコードをまとめてみたいと思います。(psycopg2はPythonで最もポピュラーなPostgreSQLライブラリです。Amaozn Redshif
Publicly Available Big Data Sets :: Hadoop Illuminated
How to get experience working with large data sets http://www.philwhln.com/how-to-get-experience-working-with-large-datasets Quora www.quora.com/Data/Where-can-I-find-large-datasets-open-to-the-public -- very good collection of links DataMobs http://datamob.org/datasets KDNuggets http://www.kdnuggets.com/datasets/ Research Pipeline http://www.researchpipeline.com/mediawiki/index.php?title=Main_Pag
PostgreSQLのdblink機能を使ってAmazon RedshiftとRDS(PostgreSQL)を結合する | DevelopersIO
先日、『AWS Big Data Blog』にて以下のエントリが公開されていました。Amazon RedshiftとRDS(PostgreSQL)を、dblinkという機能を使って結合するというものです。一体どの様な仕組みでJOIN出来るのか、とても気になったので早速試してみました。 JOIN Amazon Redshift AND Amazon RDS PostgreSQL WITH dblink - AWS Big Data Blog 目次 Amazon RedshiftとRDS(PostgreSQL)の違い PostgreSQL/Redshift間の接続を実現する2つの拡張 動作環境の準備 各種接続・動作確認 基本的なクエリ ビューの参照 ユーザー定義関数の利用 マテリアライズドビューでデータのキャッシュ Amazon RedshiftからRDS(PostgreSQL)へのデータコピ
JOIN 句の例 - Amazon Redshift
SQL JOIN 句は、共通のフィールドに基づいて 2 つ以上のテーブルのデータを結合するために使用されます。結果は、指定した結合方法によって変わる場合もあります。JOIN 句の詳細については、「パラメータ」を参照してください。 次の例では、TICKITサンプルデータのデータを使用します。データベーススキーマの詳細については、「サンプルデータベース」を参照してください。サンプルデータをロードする方法については、「Amazon Redshift 入門ガイド」の「データのロード」を参照してください。 次のクエリは、LISTING テーブルと SALES テーブル間の内部結合です (JOIN キーワードを除く)。ここで、LISTING テーブルの LISTID は 1～5 です。このクエリは、LISTING テーブル (左のテーブル) と SALES テーブル (右のテーブル) の LISTID
Amazon Redshiftで良く使いそうな便利系SQLをまとめてみた | DevelopersIO
Redshiftで色々環境構築や調査を進めて行くと、割とちょいちょい良く使うSQL等も出て来ます。そこでこのエントリでは、普段使っている便利系SQL、都度アクセスしてはコピペして使ってるようなSQL、更にはそれらにちょっと一手間加えたSQL等を集約し一覧としてみる事にしました。 必須なもの、また『これも使えるね』というようなものについては適宜追加更新を行っていこうと思ってますので、オススメのSQL文があれば是非教えて頂けると幸いです。 目次 S3からのCOPY処理エラーに関するログを確認する COPY処理時に出力させるエラー件数量を制御する 指定テーブルのテーブル定義を確認する(type1:psqlコマンドで簡易表示) 指定テーブルのテーブル定義を確認する(type2:distkey,sortkey等も表示) 指定テーブルのテーブル定義を確認する(type3:コメント文も併せて表示) テー
AWS CLI 環境変数&リージョンチートシート - Qiita
export AWS_ACCESS_KEY_ID=xxxxxxxxxxxxxxxx # アクセスキー export AWS_SECRET_ACCESS_KEY=xxxxxxxxxxxxxxx # シークレットアクセスキー export AWS_SESSION_TOKEN=xxxxxxxxxxxxxxxxxxx # セッショントークン export AWS_DEFAULT_REGION=ap-northeast-1 # デフォルトリージョン export AWS_DEFAULT_OUTPUT=json # 出力形式 (json|text|table) export AWS_PROFILE=default # プロファイル名 export AWS_CONFIG_FILE=~/.aws/config # コンフィグファイルパス export AWS_SHARED_CREDENTIALS_FILE
【AWS】RDS for PostgreSQLで文字コード、タイムゾーンを指定してデータインポートしてみた | DevelopersIO
【AWS】RDS for PostgreSQLで文字コード、タイムゾーンを指定してデータインポートしてみた はじめに こんにちは植木和樹です。昨年のre:InventにてRDSのPostgreSQL対応が発表されました。 Amazon Web Services ブログ: 【AWS発表】Amazon RDS for PostgreSQLがご利用可能になりました！ Amazon RDS for PostgreSQLがやってきた！！ ｜ Developers.IO 最近オンプレミスで稼働しているPostgreSQL DBのデータをインポートする機会がありましたので、本日はその備忘録となります。 環境 エクスポート元のバージョン 7.4.8 インポート先のバージョン 9.3.1 インポート先DBの管理者ユーザー awsuser インポート先DBのエンドポイント postgres.ap-northe
AWSのPostgreSQL（RDS）を使えるようになるまでの手順
ついにAmazon RDS for PostgreSQLがサポートされました。 今日は各項目をしっかり説明しつつ、実際に使いはじめるまでをまとめてみます。 １ RDSの説明AWSのアカウントの作成はこちら またAWS自体初めての方もいると思いますので参考になる情報は次のとおりです。 ■ドットインストール Amazon Web Services入門 ■AWSのまとめ記事 2014年からはじめるAWSリンク集←オススメ！ AWSクラウドデザインパターン ■参考図書 ■Amazon RDS for PostgreSQLの説明 Amazon RDS と PostgreSQL の概要（PDF） RDS for PostgreSQLの中を覗いてみた ■PostgreSQLが初めてのかたはこちら これからPostgreSQLを始める人のための自習用オンライン無料コンテンツ セミナー資料 - SRA OS
Amazon Web Services Simple Monthly Calculator
This Calculator provides an estimate of usage charges for AWS services based on certain information you provide. Monthly charges will be based on your actual usage of AWS services, and may vary from the estimates the Calculator has provided. Give us your feedback on our Developer Center Feedback forum.
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
SSSSLIDE
Amazon Redshift: A Columnar Database SQL and Architecture [Book]
Getting Started with Amazon RDS - Relational Database Service on AWS
Amazon Web Services入門 (全17回) - プログラミングならドットインストール