【速報】Amazon Aurora with PostgreSQL compatibility が発表されました！ #reinvent | DevelopersIO
こんにちは、菊池です。 re:Invent2016のKeynoteにて「Amazon Aurora with PostgreSQL compatibility」が発表されました。 Amazon Aurora Update – PostgreSQL Compatibility 特徴 その特徴は何より、Amazon Auroraのクラウドネイティブな設計によるスケーラビリティ、パフォーマンス、耐障害性な環境でPostgresSQLが利用できることにあります。 従来のPostgreSQLと比較して2倍以上のパフォーマンス PostgreSQL 9.6.1互換 他のAWSサービスとの統合 S3やKMS、DMSなどのAWSサービスとの連携が可能です。 Preview受付開始しています！ Amazon Auroraの製品ページには、Preview申請のリンクが登場しています。 Preview of A
[SQL] Window関数を使ってデシル分析 〜ntile関数で優良顧客を抽出する〜 | DevelopersIO
はじめに まずはじめにデシル分析とは 全顧客の購入金額を高い順に１０等分にして各ランク(デシル)の購入比率や売り上げ構成比を算出して優良顧客を探ろうとする分析だそうです。 マーケティングの世界では「80:20の法則」や「2:8の法則」と呼ばれるパレートの法則というものがあるそうです。 Wikipediaによると 商品の売上の8割は、全商品銘柄のうちの2割で生み出している。 売上の8割は、全従業員のうちの2割で生み出している。 仕事の成果の8割は、費やした時間全体のうちの2割の時間で生み出している。 所得税の8割は、課税対象者の2割が担っている。 プログラムの処理にかかる時間の80%はコード全体の20%の部分が占める。 Wikipedia デシル分析で上位２０％の顧客を抽出できればマーケティングに活かせそうですね。 環境 PostgreSQL 9.5.4 実現したいこと 直近４カ月で利用した
![[SQL] Window関数を使ってデシル分析 〜ntile関数で優良顧客を抽出する〜 | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/d9d7a9e19a3c5979fc0b83efa7beeec666f705bb/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2015%2F07%2Fsql.png)
PostgreSQLのdblink機能を使ってAmazon RedshiftとRDS(PostgreSQL)を結合する | DevelopersIO
先日、『AWS Big Data Blog』にて以下のエントリが公開されていました。Amazon RedshiftとRDS(PostgreSQL)を、dblinkという機能を使って結合するというものです。一体どの様な仕組みでJOIN出来るのか、とても気になったので早速試してみました。 JOIN Amazon Redshift AND Amazon RDS PostgreSQL WITH dblink - AWS Big Data Blog 目次 Amazon RedshiftとRDS(PostgreSQL)の違い PostgreSQL/Redshift間の接続を実現する2つの拡張 動作環境の準備 各種接続・動作確認 基本的なクエリ ビューの参照 ユーザー定義関数の利用 マテリアライズドビューでデータのキャッシュ Amazon RedshiftからRDS(PostgreSQL)へのデータコピ
AWS Lambda Pythonからpsycopg2でRDS PostgreSQLに接続する | DevelopersIO
AWS Lambda 関数では、実行に必要なプログラムをZIPでパッケージ化します。 AWS Lambda PythonからRDS PostgreSQL に接続する場合はどうでしょうか? PostgreSQLアダプターのpsycopg2をビルドしてLambda関数のルートディレクトリに同梱するだけで済みそうですが、話はそう簡単ではありません。 libpqをpsycopg2に動的リンクさせた場合の弊害 psycopg2 はPostgreSQLクライアント用Cインターフェース libpq のラッパーであり、標準では libpq を動的リンクします。 残念なことに、AWS Lambda の実行環境では libpq は共有ライブラリとしてインストールされていないため、libpq を動的リンクしていると libpq が見つからず、以下のようなエラーが発生します。 Unable to import m
DBにダミーデータを作成する「fake2db」を触ってみた | DevelopersIO
こんにちは、せーのです。今日はプログラマーなら重宝するであろうツールをご紹介致します。名前を「fake2db」といいます。 どんなもの？ こちらは名前のとおり「fake」なデータをDBに入れるツールとなります。本番稼働前の開発時はもちろん、本番稼働後も不具合のチェック等で確認したいが本番データは契約上使えない、というような場合にサッとダミーデータが作れるととても便利ですね。 概要 ではfake2dbの概要です。fake2dbはPython製でpipにてインストール致します。ダミーデータを作れるDBはsqlite, mysql, postgresql, mongodb, redisと大体のメジャーなDBは押さえているような感じです。 やってみる では早速やってみましょう。mysqlとpostgresqlで試してみます。AWSのRDSを使ってそれぞれのDBを立て、ツールインストール用にEC2を
RDS for PostgreSQLでデータを暗号化する | DevelopersIO
はじめに RDSに個人情報や機密情報を保存する場合、データの暗号化をしたいという要件はよくあります。RDS for SQL ServerとRDS for OracleはTransparent Data Encryption(TDE)で透過的な暗号化ができるのですが、残念ながらRDS for MySQLとRDS for PostgreSQLではTDEが使えません。 しかし、RDS for PostgreSQLでは拡張モジュールを使うことで、データの暗号化が可能です。今回は拡張モジュールの1つであるpgcryptoを使って、データの暗号化をしてみました。 やってみた 今回使ったRDS for PostgreSQLのDBエンジンはPostgreSQL 9.3.5です。 pgcryptoを使うための準備 まずはEC2からRDSにpsqlコマンドで接続します。psqlコマンドではデフォルトでSSL接
[新機能] Amazon RDS for PostgreSQLのリードレプリカを作成する | DevelopersIO
ども、大瀧です。 今朝かた、RDS for PostgreSQLでリードレプリカがサポートされました。早速試してみたので、レポートします。 リードレプリカとは RDSのリードレプリカは、マスターとなるDBインスタンスとは別に読み取り専用のインスタンスを追加します。マスターへの負荷を分散させるための手法として、従来からRDS for MySQLでサポートされている機能です。今回、RDS for PostgreSQLが対応しました！ ただ、MySQLのリードレプリカとはレプリケーション方式が異なるとドキュメントに記載があるので、MySQLのリードレプリカをご存知の方は注意が必要です。設計/運用面では以下3点を押さえておきましょう。 リードレプリカからマスターへの昇格はできない リードレプリカの多段化はできない 同一リージョン内のみ(異AZはOK) 要件 リードレプリカの元となるDBインスタンス
これからAmazon Redshiftを始める技術者が注意すべき１１つのポイント ｜ DevelopersIO
更新版がこちらにありますので、こちらもぜひご覧ください。 これからAmazon Redshiftを始める技術者が注意すべき２２つのポイント Amazon Redshiftを使った実案件を経験してこれは注意したほうがいいなというポイントをまとめました。自分が経験した範囲で書いているので多少偏っているかもしれませんが、参考になれば幸いです。データウェアハウスって何？という方は以前入門記事を書きましたのでこちらの記事をご覧ください。 気軽に始めてみよう！クラウド時代のデータウェアハウス超入門 注意事項一覧 PostgreSQLと違う点に注意！ １件ずつINSERTするととても遅いので注意！ 主キー制約、一意制約、外部キー制約は違反してもエラーにならないので注意！ COPYコマンドは全件INSERTなので注意！ CSVでアップロードする場合の注意点！ サポートしているデータ型に注意！ エンコーディ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
