Redshiftを使って、もっとも幸福な青空文庫を判定してみる - Qiita
最近Redshiftを業務で使う機会があったので、概要や使い方などをまとめてみようかと思います。 今回はRedshiftの立ち上げからはじめ、青空文庫さんが公開してくださっている、形態素解析データをRedshiftにいれて解析してみます。 解析といっても、一番多く幸せそうなワードを使っている文庫はどれかを調べるだけ。 一番多く幸せそうなワードを使っていた文庫を、「もっとも幸福な青空文庫」と判定します。 また、今回使用する、6.1GB、8770万行のデータをデフォルト設定でどのくらいでさばけるかなども試してみたいと思います。 今回やること 今回は以下の様なことをします。 ・Redshiftとは何かをまとめ ・青空文庫のデータセットをダウンロードして、S3にアップ ・PostgreSQLが扱えるDBクライアントを用意する ・Redshiftを立ち上げる ・Redshiftにクライアントから接続
psycopg2によるPython2.7からのAmazon Redshiftアクセスサンプル | DevelopersIO
2015年も本日で最終日となりました。読者の皆様におかれましては、しっかり仕事を納めつつ年末(及び年始)を過ごされていますでしょうか。そんな私も年末は仕事を無事納める事が出来、年末を落ち着いて過ごす傍らで社内で個人的に取り組んでいた可視化事案の仕組みを全面的にPythonで置き換えるという作業をちょいちょい進めておりました。 可視化に関する作業の中にはAmazon Redshiftへのアクセスを行なう部分も含まれていますが、この部分についてもPythonで利用出来るライブラリを使って処理を実現する事が可能です。そこで当エントリではPythonからライブラリ『psycopg2』を使ってAmazon Redshiftへのアクセスを行なう際のサンプルコードをまとめてみたいと思います。(psycopg2はPythonで最もポピュラーなPostgreSQLライブラリです。Amaozn Redshif
２つのテーブルから条件に一致しないデータ抽出
２つのテーブルから条件に一致しない行のみ抜き出しCSV か他のテーブルに抜き出す処理を作ろうと思っています。 そこで質問なのですが、以下の２つのテーブルから 条件に一致しないコードのみ抜き出すSQL文などありますか？ ----------------------------------------- マスターテーブル コード、ネーム１、ネーム２、店コード １、あ、い、６ ２、う、え、８ ３、お、か、４ ４、き、く、２ 店コードテーブル 店コード、店区分 １、スーパー ２、コンビニ ３、デパート ４、ホームセンター ------------------------------------------ 条件は、マスターテーブルの店コードが店コードテーブルに存在 しないデータのみ抽出です。 抽出結果は、以下の様にしたいです。 １、あ、い、６ ２、う、え、８ このような考え大丈夫でしょうか？ SE
PostgreSQLのdblink機能を使ってAmazon RedshiftとRDS(PostgreSQL)を結合する | DevelopersIO
先日、『AWS Big Data Blog』にて以下のエントリが公開されていました。Amazon RedshiftとRDS(PostgreSQL)を、dblinkという機能を使って結合するというものです。一体どの様な仕組みでJOIN出来るのか、とても気になったので早速試してみました。 JOIN Amazon Redshift AND Amazon RDS PostgreSQL WITH dblink - AWS Big Data Blog 目次 Amazon RedshiftとRDS(PostgreSQL)の違い PostgreSQL/Redshift間の接続を実現する2つの拡張 動作環境の準備 各種接続・動作確認 基本的なクエリ ビューの参照 ユーザー定義関数の利用 マテリアライズドビューでデータのキャッシュ Amazon RedshiftからRDS(PostgreSQL)へのデータコピ
Install PostgreSQL on AWS EC2(Amazon Linux AMI 2013.03.1) | DevelopersIO
ちょっとした調査作業の一環でPostgreSQL on EC2の動作環境を作成してみようと思い、このエントリを書いてみました。基本的には以前書かれたこちらの記事と流れは同じなのですが、別の手法で同等(バージョン)の環境が導入出来たので備忘録がてら残しておきます。 EC2インスタンスの準備 まずはPostgreSQLインストール用のEC2インスタンスを1つ、用意します。 イメージは特に拘りは無いので『Amazon Linux AMI 2013.03.1』を利用 VPCを作成、そこに紐付ける形でEC2インスタンスを作成(タイプも特に気にしないのでt1.microで) セキュリティグループの指定：任意のグループを作成しSSH(22)、HTTP(80)を選択で追加、また併せて値入力でPostgreSQL用の接続ポート(5432)を追加 TagもEC2認識用の内容を適当に設定 Elastic IPを
RDS(PostgreSQL)とRedshiftに於けるデータ移動の簡易メモ | DevelopersIO
小ネタです。まとめって程でも無いので"簡易メモ"としました。 RDS(PostgreSQL)に於けるデータのインポートやエクスポート、またはRDS(PostgreSQL)とAmazon Redshift間に於けるデータ連携について情報を整理しておく機会がありましたので、簡単にではありますが当エントリにその内容をまとめてみました。 RDS(PostgreSQL)とAmazon Redshiftの関係性 以下ドキュメントに記載があるように、Amazon RedshiftはPostgreSQL8.0.2に準拠した形になっています。PostgreSQLで使っていた大抵のSQL文は利用出来ますが、場合によっては使えなかったり、使い方が異なっていたりしますので注意が必要です。 Amazon Redshift および PostgreSQL - Amazon Redshift RDS(PostgreSQL
Amazon RDS の PostgreSQL にデータをインポートする - Amazon Relational Database Service
Amazon RDS に移動させる既存の PostgreSQL デプロイがあるとします。タスクの複雑さは、データベースのサイズと転送するデータベースオブジェクトの種類に依存しています。例えば、データベースにギガバイトのオーダーのデータセット、さらにストアドプロシージャとトリガーが含まれているとします。このようなデータベースは、単純なデータベース (数メガバイトのテストデータを含むだけで、トリガーやストアドプロシージャを含まないもの) よりも複雑になります。 次の条件で、ネイティブ PostgreSQL データベース移行ツールを使用することをお勧めします。 ターゲットデータベースエンジンと同じデータベースエンジンを持つデータベースから移行する、同機種移行である。 データベース全体を移行する。 ネイティブツールでは、最小のダウンタイムでシステムを移行することができます。 他の多くの場合、データ
RDS編～PostgreSQL～
こんにちは！Narimasaです！ 今回はRDSでPostgreSQLを立ち上げてみます。 RDSの起動 1. Security Groupの作成 まずはDB Security Groupを作成します。 RDSのコンソール画面からは開けないのでVPCのコンソール画面から「Security Groups」を開きます。 項目を任意に入力し、作成します。 作成したSecurity Groupのinboundを開き、PostgreSQLのデフォルトポート番号である5432を開放します。 2. Parameter Groupの作成 次にParameter Groupを作成します。RDSのコンソール画面から「Parameter Groups」を開きます。 利用するDBエンジンのバージョンを選択し、任意の名前・説明をつけます。 3.DBインスタンスの立ち上げ いよいよDBインスタンスを立ち上げます。 左
【AWS】RDS for PostgreSQLで文字コード、タイムゾーンを指定してデータインポートしてみた | DevelopersIO
【AWS】RDS for PostgreSQLで文字コード、タイムゾーンを指定してデータインポートしてみた はじめに こんにちは植木和樹です。昨年のre:InventにてRDSのPostgreSQL対応が発表されました。 Amazon Web Services ブログ: 【AWS発表】Amazon RDS for PostgreSQLがご利用可能になりました！ Amazon RDS for PostgreSQLがやってきた！！ ｜ Developers.IO 最近オンプレミスで稼働しているPostgreSQL DBのデータをインポートする機会がありましたので、本日はその備忘録となります。 環境 エクスポート元のバージョン 7.4.8 インポート先のバージョン 9.3.1 インポート先DBの管理者ユーザー awsuser インポート先DBのエンドポイント postgres.ap-northe
AWSのPostgreSQL（RDS）を使えるようになるまでの手順
ついにAmazon RDS for PostgreSQLがサポートされました。 今日は各項目をしっかり説明しつつ、実際に使いはじめるまでをまとめてみます。 １ RDSの説明AWSのアカウントの作成はこちら またAWS自体初めての方もいると思いますので参考になる情報は次のとおりです。 ■ドットインストール Amazon Web Services入門 ■AWSのまとめ記事 2014年からはじめるAWSリンク集←オススメ！ AWSクラウドデザインパターン ■参考図書 ■Amazon RDS for PostgreSQLの説明 Amazon RDS と PostgreSQL の概要（PDF） RDS for PostgreSQLの中を覗いてみた ■PostgreSQLが初めてのかたはこちら これからPostgreSQLを始める人のための自習用オンライン無料コンテンツ セミナー資料 - SRA OS
Amazon RedshiftにSQL Workbenchから接続してみた - サーバーワークスエンジニアブログ
こんにちは。 寒い夜には芋焼酎のお湯割りもいいけど、芋焼酎の燗もいいよね、と思うセールスチーム 永淵（@Nagafuchik）です。 さて、前回のエントリーに続きAmazon Redshiftをテーマに投稿します。 今回は自身のPCにあるSQL WorkbenchからAmazon Redshiftに接続してサンプルデータを取り込んでみます。 SQL Workbenchのセットアップ方法はこちらのリンクに詳しく記載されています。 1. SQL Workbenchのインストール こちらのページ：http://www.sql-workbench.net/からパッケージをダウンロードし、ローカルにインストールします。 インストールしたSQL Workbenchを起動すると、こんな画面が表示されます。 2. SQL Workbenchの起動 「Manage Drivers」から「PostgreSQL
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
