PostgreSQLのdblink機能を使ってAmazon RedshiftとRDS(PostgreSQL)を結合する | DevelopersIO
先日、『AWS Big Data Blog』にて以下のエントリが公開されていました。Amazon RedshiftとRDS(PostgreSQL)を、dblinkという機能を使って結合するというものです。一体どの様な仕組みでJOIN出来るのか、とても気になったので早速試してみました。 JOIN Amazon Redshift AND Amazon RDS PostgreSQL WITH dblink - AWS Big Data Blog 目次 Amazon RedshiftとRDS(PostgreSQL)の違い PostgreSQL/Redshift間の接続を実現する2つの拡張 動作環境の準備 各種接続・動作確認 基本的なクエリ ビューの参照 ユーザー定義関数の利用 マテリアライズドビューでデータのキャッシュ Amazon RedshiftからRDS(PostgreSQL)へのデータコピ
PostgreSQL 9.5 New Features in OSC 2016 Spring
× You’ve unlocked unlimited downloads on SlideShare! Your download should start automatically, if not click here to download You also get free access to Scribd! Instant access to millions of ebooks, audiobooks, magazines, podcasts, and more. Read and listen offline with any device. Free access to premium services like TuneIn, Mubi, and more.
Dockerでつくる開発環境【PostgreSQLコンテナ編】
前回まででnginx+phpの環境が整いましたので、今回はデータベースサーバのコンテナを作ってphpから接続してみます。 これができれば、PostgreSQLではなくMySQLなど別のデータベースサーバでも同様に作れると思います。 Dockerfile 今回もまずはDockerfileを見てみましょう。 FROM ubuntu:14.04 MAINTAINER d-abe RUN apt-get update && \ apt-get install -y -q postgresql-9.3 libpq-dev postgresql-client-9.3 postgresql-contrib-9.3 && \ rm -rf /var/lib/apt/lists/* USER postgres RUN /etc/init.d/postgresql start &&\ psql --comma
【ゆるふわDocker部】任意バージョンのPostgreSQLコマンドを実行して外部DBに接続する｜TechRacho by BPS株式会社
morimorihogeです。そろそろラナンの探索マップがコンプリートできそうです。 前回の記事でゆるふわDocker部の提案をしましたので、ゆるゆるとDocker Tips的なものを垂れ流していこうと思います。今回はバージョン依存の強めなPostgreSQLのCLIコマンドをDocker経由で簡単に実行する方法を紹介します（今回は9.3系ですが、適宜他のバージョンで読み替えても使えるはず）。Dockerを使うことでローカルシステムにインストールされていないPostgreSQLクライアントで外部のPostgreSQLサーバに接続することが簡単になります。 確認環境はMac OS X El Capitan、Docker 1.9.1で、Docker Toolboxビルトインのboot2dockerを使っています。いつものことですがご利用は自己責任でお願いします。 PostgreSQLのクライア
PL/Pythonで独自の集約関数を作成する
先月、PostgreSQLアンカンファレンスで「PL/Pythonで独自の集約関数を作ってみる」という発表をしました。 本エントリでは、その詳細について紹介させていただきます。 ■なぜPL/Pythonで集約関数なのか？ 既に広く知られている通り、PostgreSQLではさまざまなプログラミング言語でプロシージャ／ファンクションをユーザが定義することができます。 では、なぜPL/Pythonで集約関数なのでしょうか？ まず1つ目の理由としては、Pythonとデータ処理が非常に相性が良い、ということが挙げられます。古くから統計解析でRが使われてエコシステムが発展してきたのと同じように、最近ではPythonを取り巻くデータ分析に関するエコシステムが大きくなり、データ分析に関するさまざまな処理をPythonで行えるようになってきています。 2つ目の理由としては、データ処理と集約関数というのは切っ
内部構造から学ぶPostgreSQL 設計・運用計画の鉄則 を読んだ - Hibariya
RubyWorld Conference 2015 のレセプションで @yancya さんと話したときにおすすめいただいたもの。 この本を読んだおかげで、数ヶ月手をつけられていなかった不具合の調査が捗った。 各種プロセスや設定ファイルの役割からパフォーマンスチューニング方法まで、PostgreSQL の特徴や機能を有効に活用するための方法が解説されている。 何が書いてあるかについては章の構成を見た方が早そうだ。 PostgreSQL "超" 入門 アーキテクチャーの基本 各種設定ファイルと基本設定 処理/制御の基本 テーブル設計 物理設計 バックアップ計画 監視計画 サーバ設定 高可用化と負荷分散 オンライン物理バックアップ 死活監視と正常動作の監視 テーブルメンテナンス インデックスメンテナンス 実行計画の取得/解析 パフォーマンスチューニング 全体を通して主に PostgreSQL の
ウィンドウ関数で作るデータプロダクト - クックパッド開発者ブログ
検索編成部の兼山(@PENGUINANA_)です。 クックパッドではウィンドウ関数をデータプロダクトの開発に活用しています。 ウィンドウ関数を利用すると、行動ログを利用したプロダクトの開発や評価が簡単に始められます。 今回は「関連キーワード」を例にとりウィンドウ関数がどのように活用できるのかを紹介します。 関連キーワードとは 朝ごはんのレシピ 52750品 [クックパッド] 簡単おいしいみんなのレシピが224万品 検索画面に検索を補助するための関連キーワードが提示されています。 「朝ごはん」の検索画面の関連キーワード： レシピを検索していると、自分の欲しいレシピが簡単に見つからない時があります。 理由は様々ですが一例として以下の様な状況があると思います。 「入力するのがめんどくさい」 「さがしたいものがあまりイメージできていない」 「それをさがす適切な検索語が思いつかない」 関連キーワード
PostgreSQLのデータ構造はなぜ並列プロセッサ向きではないか。 - KaiGaiの俺メモ
今年もPostgreSQL Advent Calendar 2015に参加しています。 前からちょくちょく『PG-StromってXeon Phiだとどーなんですか？』的な質問を受ける事があんですが、データ構造から見て難しいので『勘弁！』という理由を紹介してみたいと思います。 PostgreSQLのレコードは、内部的には HeapTupleHeader 構造体を先頭とする可変長データとして表現されています。 struct HeapTupleHeaderData { union { HeapTupleFields t_heap; /* MVCC関連情報 */ DatumTupleFields t_datum; /* xmin, xmaxとか... */ } t_choice; /* current TID of this or newer tuple */ ItemPointerData t_
PostgreSQLアンチパターンの話をいっぱいしてきた。
見せてあげますよ、本当のPostgreSQLアンチパターンを。 とか言ってたわりに半分以上は削除フラグの話でした。 逆にそれが万人受けしたみたいでちょっとはてブいっぱい付いて承認欲求満たされました。 ということでスライドです。 190枚を超える超大作！！とか思ってたけど時間配分バッチシでした。 3回も実践すると3回目はアドリブ効かせたり出来て余裕がありました。 リハ大事ｗ で本題の伝えたいことですがあとがきツイートしてるのでまずそちらを。 なんか機能の資料みたら「PostgreSQLの便利な機能は使っちゃダメ」みたいな記事にいっぱいになるけどJSON型とマテビューはケースバイケースで積極的に使うもんじゃないよって話だし、ユニーク制約のWhere句とかは削除フラグ以外の時には便利ですよ。 — そーだい＠初代ALF (@soudai1025) 2015, 11月 29 .@soudai1025
PostgreSQLとpython
20. PL/pgSQL CREATE OR REPLACE FUNCTION fnc_test() RETURNS int AS $$ DECLARE cs CURSOR FOR SELECT * FROM t_test; rec record; dum char; BEGIN OPEN cs; LOOP FETCH cs INTO rec; IF NOT FOUND THEN EXIT; END IF; RAISE NOTICE 'record is %', rec; END LOOP; CLOSE cs; RETURN 0; END; $$ LANGUAGE plpgsql; 21. PL/pgSQL CREATE OR REPLACE FUNCTION fnc_test() RETURNS int AS $$ DECLARE cs CURSOR FOR SELECT * FROM
PostgreSQLアンチパターン
37. 積み重なるWHERE句 -- 有効なアカウントのブログを取ってきたい場合 SELECT * FROM blog INNER JOIN users ON users.id = blog.user_id AND users.delete_flag = 0 WHERE blog.delete_flag = 0 38. 積み重なるWHERE句 -- 有効なアカウントのブログを取ってきたい場合 SELECT * FROM blog INNER JOIN users ON users.id = blog.user_id AND users.delete_flag = 0 WHERE blog.delete_flag = 0 ユーザの削除フラグを見る 39. 積み重なるWHERE句 -- 有効なアカウントのブログを取ってきたい場合 SELECT * FROM blog INNER JOIN users
コマンドラインでPostgreSQLを操作する – psqlで効率を上げる | POSTD
私は、もう4年も毎日のようにPostgreSQLを使用しています。以前はデータベースとやりとりするためにGUIアプリケーションを用いていました。しかし今では、お気に入りのツールを使いながら効率よく作業できる、ビルトインのコマンドラインツールだけを使用しています。 本稿は、 psql というコマンドラインツールを通して実現可能なタスクを複数のセクションに分けて説明します。ここで挙げる項目は次のとおりです。 psqlの設定 ヘルプの使用 データベースが遊び場 データベースの探索 クエリの作成 出力の比較 データベースのクローン作成 データの抽出 psqlの設定 あらかじめpsqlはある程度設定されています。そのため、本稿では提供されているオプションを詳しく説明しません。psqlの使用がより楽しくなる2つのオプションについてのみ説明します。 1つ目は、データが横長でも正しくスクリーンに映し出され
PostgreSQL Monitoring Cheatsheet — Russ Garrett
This is an attempt to build a fairly comprehensive list of metrics you should be monitoring on a PostgreSQL 9.4 database server. If you’ve found any particular metrics useful which aren’t listed here, please let me know. Many thanks to the Government PaaS team at GDS, who I’ve been working with, for giving me the chance to put this list together. System Metrics You should be recording a comprehens
そーだいなるらくがき帳: 2大OSSデータベースのMySQLとPostgreSQLの違いについて話してきた
第32回 PostgreSQL 勉強会(2015年10月10日)で登壇してきました。 内容は前に書いたエントリーの MySQL使いが知るべきPostgreSQLとの違いと変わらない一つのこと MySQL使いの人がPostgreSQLを始めるときの罠をまとめてみた を元に発表してきました。 と言っても今回は参加者がPostgresSQLに詳しい前提だったのでMySQLを中心に話をしました。 実際の資料は下記のとおりです。 当日はビデオ撮影があったのでそのうち動画が上がると思います。 第32回 PostgreSQL 勉強会まとめ ~ togetter ~ 流石に２時間は疲れました。 内容としては眠くならないように面白おかしく伝えようと思ったのですがなかなか難しかったです。 前半はMySQLとPostgreSQLの方向性の違いをメインにしました。 後半はMySQLは僕が実際にハマった事などをメイ
RDS for PostgreSQLのログ設定まとめ | DevelopersIO
こんにちは、虎塚です。 前回は、RDSでのDBアクセスログの管理方法をご紹介しました。今回はもう少し踏み込んで、RDS for PostgreSQLを対象に具体的なログ関連の設定項目についてまとめました。 DBログの取得/運用についての設計をするにあたり、大切なのは「ログの利用目的」です。一方、どんなことを決めてDBの設定に落とす必要があるかを、設定項目からボトムアップで見てみるのも、DBMSを理解する上ではよいかと思います。 DBログ設定の項目を検討する前の前提知識 RDSでは、DBの設定項目をパラメータグループで設定します。ひとつひとつの項目を確認する前に、知っておいたほうがよいことを紹介します。 engine-default値の意味 パタメータグループには、engine-defaultと表示されている設定項目があります。 値が「engine-default」になっている設定項目には、
pgpool日本語本家サイト
pgpoolは，pgpool開発ページ(pgfoundry)から ダウンロードできます． また，CVSを使ってpgfoundry.orgから開発中の最新のソースコードにアクセスできます． cvs -d:pserver:anonymous@cvs.pgfoundry.org:/cvsroot/pgpool login とすると，パスワードを聞かれるので，何も入力せずにリターンを押す． この操作は最初の1回だけ．これだけでは何もソースは取得されない． 実際にソースを取得するには， cvs -z3 -d:pserver:anonymous@cvs.pgfoundry.org:/cvsroot/pgpool co pgpool とする．なお，2回目以降は，pgpoolのソースディレクトリで， cvs -z3 update とするだけで最新のソースと同期が取れる． CVSをHTMLでブラウズする こ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Oracle・PostgreSQL・MySQL・SQLServer・H2Databaseそれぞれでテーブル・カラム・プライマリキー・インデックスを取得するSQL - Qiita
http://www.interdb.jp/pg/
MySQLとPostgreSQLコマンド比較表 - Qiita
Embulk + pg_bulkloadでPostgreSQLに高速データロード！ - Qiita
