[祝] Amazon Redshift Spectrumが東京リージョンで利用可能になりました | DevelopersIO
はじめに 今年の4月にAWS Summit 2017 in San Franciscoで発表された Amazon S3にある大量のデータに対して、Amazon Redshiftから直接クエリを投げる事が出来るサービスが、2017/10/20からAWS東京リージョンで利用可能になりましたので紹介させて頂きます。 Amazon Redshift Spectrumが東京リージョンで利用可能になりました ＆ Spectrum 一般公開後のアップデート 東京リージョンで動作確認 早速、東京リージョンでRedshift Spectrumを試しました。私の環境では一時的にエラーが発生していましたが、2017/10/21 19時以降から利用できるようになりました。 サンプルデータを東京リージョンにコピー クエリーを実行するたびにリージョン間転送費用が発生しないようにサンプルデータを東京リージョンのS3バケ
![[祝] Amazon Redshift Spectrumが東京リージョンで利用可能になりました | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/977093929c7bae81ce8ef1fba07f72411d2c9ded/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2014%2F05%2FAmazon_Redshift.png)
■featured stories
Emerging technology review シリコンバレーからの先端技術分析レポート。先端技術を学び、日本企業の経営戦略と製品計画策定に寄与。未来を生み出すベンチャー企業やファウンダーと接し、イノベーション誕生の思想に迫る。 “Emerging Technology Review” is research reports featuring the latest technologies. The articles analyze the new wave of the technologies and explores the Silicon Valley culture and innovations. ■featured stories シリコンバレーからの先端技術分析レポート (ブログへのリンク) ■about シリコンバレーで生まれる先端技術を解析 VentureCl
一目瞭然！アマゾンプライム会員のお得度が分かる比較表を作ってみた | うらがみちょう
各特典の説明や補足簡単な補足ですので詳しくは各項目下の過去記事をご参照ください。 体験1度体験してもしばらくAmazonプライムを利用していなければ再度利用できる場合がある。期間はAmazon側の判断による。無料体験が終了すると自動で有料会員となり年会費が引落とされます。有料会員への移行を希望しない場合ならアカウントで設定する必要があります。プラン月額400円で利用できる月間プランができました。プライム特典を利用していない場合、引き落とされた年会費を返却してもらえるみたいです。入会特典時期によってないときもあるし、内容も様々。会員限定セール1日限定のプライムデーセールや期間限定セールなど。タイムセール人気の商品はセール開始すぐにキャンセル待ちになります。プライム会員は30分先行してセールに参加できるので商品を購入できる可能性が上がります。Prime Now最短1時間で商品が届くエリア限定サ
[AWS] VPCウィザードからVPCを作成する。 – LexTech
こんにちは、与儀です。 VPC(Virtual Private Gateway)は、ざっくり言うとAWSクラウド上に自分だけのセキュアでプライベートな仮想データセンターを簡単に作ることができるサービスです。VPC自体は無料で使うことができます。ここでは簡単ですがVPCを作成してみます。 VPCの概要についてはこちらをご参照ください。 VPCは初めから作成済みのデフォルトVPC(172.31.0.0/16)というものがありますが、ここではVPCウィザードから新規作成します。（デフォルトVPCについては、こちらを参照してください。新規作成するVPCとデフォルトVPCでは若干仕様が違うところがあったりします。） 現在、新規で作成されたAWSアカウントで、EC2インスタンスを構築する場合は、必ずVPC上で構築しなければなりません。なのでEC2を使う上でVPCは必須となります。 AWSサービストップ
Python で Product Advertising API を試そうとしたら嵌った件 - present
「Product Advertising API を使った Web サービスを作って小遣いを稼いでやる！」っていうのは半分冗談で、半分本気。Web サービスを作るってのが本気で、小遣い稼ぎが冗談。そんなに甘いモンじゃないからね。 Python で Product Advertising API を呼び出すためのライブラリは色々あるけど、その中でも PyPI で一番ダウンロードされている python-amazon-product-api ってのが良さそうだ。インストールは pip 一発。 pip install python-amazon-product-apiProduct Advertising API のレスポンスは XML で、その XML を解析するために python-amazon-product-api は内部で lxml を使っている。当然、lxml も入れないとダメ。 l
Amazon Product Advertising APIを使って、「Flex × Python」からAmazonの商品データの検索するアプリを作ってみた - りょうのはてな
こんにちわ！兄貴とTwitter上でマジレス兄弟喧嘩をしたRyoAbeです。 今回は何を作ったかと言いますと表題にある通り、 AmazonのAPI(Product Advertising API)を使った商品データの検索出来るアプリです。 (ほんとただそれだけですｗ) かるーくAPI触ってどんな感じか探るだけだったんですが、 意外に手こずっちゃって、おかげでけっこう勉強になったんで Blogにまとめがてら載せることにしました！ ◎そもそもProduct Advertising APIってなんぞやって話から Product Advertising API とは Product Advertising API は、Amazon の商品情報や関連コンテンツをプログラムを通してアクセスできるサービスを提供することで、Web 開発者の皆様が、ご自分の Web サイトでAmazon の商品を紹介するこ
Access Key IDとSecret Access Keyの取得 - Amazon Web サービス
PAAPI(Product Advertising API)を使用するにはProduct Advertising API アカウントを作成し、2種類の認証用キー(Access Key IDとSecret Access Key)を取得する必要があります。ここではこの2つのキーの取得方法について解説します。(なお事前にAmazonアソシエイト・プログラムへ参加を行なっておいて下さい。参加方法については「Amazonアソシエイト・プログラムへの参加」で解説しています)。 1.Product Advertising APIアカウントの作成 2.Access Key IDとSecret Access Keyの取得 3.次回からキーを取得する場合の手順 下記のURLから開始します。 https://affiliate.amazon.co.jp/ Amazonアフィリエイトのアカウントでログインを行なっ
『Amazon Redshift チュートリアル: テーブル設計チューニング』を実践してみた | DevelopersIO
Amazon Redshiftに於いて『パフォーマンスチューニング』は重要なトピックの1つです。Redshiftクラスタを立ち上げて、データを投入して、実際使ってみたものの思ったような速度・レスポンスが返って来ない...という状況も時折遭遇する事と思います。 AWS公式ドキュメント(英語版)を漁ってみると、まさにその『パフォーマンスチューニング』に焦点を当てたチュートリアルが公開されているではありませんか！当エントリではそのドキュメントを参考にひと通り実践してみた内容をまとめてみました。各種手順を1エントリに集約したので超長いエントリとなってしまいましたが、その辺りは目を瞑りつつ実践内容を順を追ってご覧頂ければと思います。 Tutorial: Tuning Table Design - Amazon Redshift: 目次 1.テスト用データセットの作成 2.ベースラインを作るためのシス
psycopg2によるPython2.7からのAmazon Redshiftアクセスサンプル | DevelopersIO
2015年も本日で最終日となりました。読者の皆様におかれましては、しっかり仕事を納めつつ年末(及び年始)を過ごされていますでしょうか。そんな私も年末は仕事を無事納める事が出来、年末を落ち着いて過ごす傍らで社内で個人的に取り組んでいた可視化事案の仕組みを全面的にPythonで置き換えるという作業をちょいちょい進めておりました。 可視化に関する作業の中にはAmazon Redshiftへのアクセスを行なう部分も含まれていますが、この部分についてもPythonで利用出来るライブラリを使って処理を実現する事が可能です。そこで当エントリではPythonからライブラリ『psycopg2』を使ってAmazon Redshiftへのアクセスを行なう際のサンプルコードをまとめてみたいと思います。(psycopg2はPythonで最もポピュラーなPostgreSQLライブラリです。Amaozn Redshif
Publicly Available Big Data Sets :: Hadoop Illuminated
How to get experience working with large data sets http://www.philwhln.com/how-to-get-experience-working-with-large-datasets Quora www.quora.com/Data/Where-can-I-find-large-datasets-open-to-the-public -- very good collection of links DataMobs http://datamob.org/datasets KDNuggets http://www.kdnuggets.com/datasets/ Research Pipeline http://www.researchpipeline.com/mediawiki/index.php?title=Main_Pag
JOIN Amazon Redshift AND Amazon RDS PostgreSQL WITH dblink | Amazon Web Services
AWS Big Data Blog JOIN Amazon Redshift AND Amazon RDS PostgreSQL WITH dblink Tony Gibbs is a Solutions Architect with AWS (Update: This blog post has been translated into Japanese) When it comes to choosing a SQL-based database in AWS, there are many options. Sometimes it can be difficult to know which one to choose. For example, when would you use Amazon Aurora instead of Amazon RDS PostgreSQL or
PostgreSQLのdblink機能を使ってAmazon RedshiftとRDS(PostgreSQL)を結合する | DevelopersIO
先日、『AWS Big Data Blog』にて以下のエントリが公開されていました。Amazon RedshiftとRDS(PostgreSQL)を、dblinkという機能を使って結合するというものです。一体どの様な仕組みでJOIN出来るのか、とても気になったので早速試してみました。 JOIN Amazon Redshift AND Amazon RDS PostgreSQL WITH dblink - AWS Big Data Blog 目次 Amazon RedshiftとRDS(PostgreSQL)の違い PostgreSQL/Redshift間の接続を実現する2つの拡張 動作環境の準備 各種接続・動作確認 基本的なクエリ ビューの参照 ユーザー定義関数の利用 マテリアライズドビューでデータのキャッシュ Amazon RedshiftからRDS(PostgreSQL)へのデータコピ
JOIN 句の例 - Amazon Redshift
SQL JOIN 句は、共通のフィールドに基づいて 2 つ以上のテーブルのデータを結合するために使用されます。結果は、指定した結合方法によって変わる場合もあります。JOIN 句の詳細については、「パラメータ」を参照してください。 次の例では、TICKITサンプルデータのデータを使用します。データベーススキーマの詳細については、「サンプルデータベース」を参照してください。サンプルデータをロードする方法については、「Amazon Redshift 入門ガイド」の「データのロード」を参照してください。 次のクエリは、LISTING テーブルと SALES テーブル間の内部結合です (JOIN キーワードを除く)。ここで、LISTING テーブルの LISTID は 1～5 です。このクエリは、LISTING テーブル (左のテーブル) と SALES テーブル (右のテーブル) の LISTID
Amazon Redshiftで良く使いそうな便利系SQLをまとめてみた | DevelopersIO
Redshiftで色々環境構築や調査を進めて行くと、割とちょいちょい良く使うSQL等も出て来ます。そこでこのエントリでは、普段使っている便利系SQL、都度アクセスしてはコピペして使ってるようなSQL、更にはそれらにちょっと一手間加えたSQL等を集約し一覧としてみる事にしました。 必須なもの、また『これも使えるね』というようなものについては適宜追加更新を行っていこうと思ってますので、オススメのSQL文があれば是非教えて頂けると幸いです。 目次 S3からのCOPY処理エラーに関するログを確認する COPY処理時に出力させるエラー件数量を制御する 指定テーブルのテーブル定義を確認する(type1:psqlコマンドで簡易表示) 指定テーブルのテーブル定義を確認する(type2:distkey,sortkey等も表示) 指定テーブルのテーブル定義を確認する(type3:コメント文も併せて表示) テー
AWS CLI 環境変数&リージョンチートシート - Qiita
export AWS_ACCESS_KEY_ID=xxxxxxxxxxxxxxxx # アクセスキー export AWS_SECRET_ACCESS_KEY=xxxxxxxxxxxxxxx # シークレットアクセスキー export AWS_SESSION_TOKEN=xxxxxxxxxxxxxxxxxxx # セッショントークン export AWS_DEFAULT_REGION=ap-northeast-1 # デフォルトリージョン export AWS_DEFAULT_OUTPUT=json # 出力形式 (json|text|table) export AWS_PROFILE=default # プロファイル名 export AWS_CONFIG_FILE=~/.aws/config # コンフィグファイルパス export AWS_SHARED_CREDENTIALS_FILE
Amazon RDS for PostgreSQL - Amazon Relational Database Service
Amazon RDS では、PostgreSQL の複数のバージョンを実行する DB インスタンスがサポートされています。利用可能なバージョンのリストについては、「利用可能な PostgreSQL データベースのバージョン」を参照してください。 DB インスタンス、DB スナップショット、ポイントインタイムの復元とバックアップを作成できます。PostgreSQL を実行する DB インスタンスでは、マルチ AZ 配置、リードレプリカ、プロビジョンド IOPS がサポートされています。これらのインスタンスは、仮想プライベートクラウド (VPC) 内で作成できます。PostgreSQL を実行する DB インスタンスには Secure Socket Layer (SSL) でも接続できます。 DB インスタンスを作成する前に、必ず「Amazon RDS のセットアップ」の手順を完了してください
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
https://www.amazon.co.jp/dp/B0B42BPSZS/ref=sspa_dk_detail_6?pd_rd_i=B0B42BPSZS&pd_rd_w=LkR9r&content-id=amzn1.sym.4519c587-1a66-4b67-a87f-559231103a05&pf_rd_p=4519c587-1a66-4b67-a87f-559231103a05&pf_rd_r=7XET7JEVSBFST66C4X80&pd_rd_wg=JFZ1U&pd_rd_r=14e1cdca-4169-4d85-b01f-a0284673dd24&s=home&sp_csd=d2lkZ2V0TmFtZT1zcF9kZXRhaWwy&th=1
SSSSLIDE
Amazon Redshift: A Columnar Database SQL and Architecture [Book]
Getting Started with Amazon RDS - Relational Database Service on AWS