PostgreSQLでCSVやTSV用に改行コードを取り除く方法 | Creazy!
DBからCSV（カンマ区切り）やTSV（タブ区切り）でデータを出力するってことがたまにあるのですが、出力するデータに改行が入っているとCSVやTSVのフォーマットが崩れてしまってエクセルなどでうまく開けない時ってありますよね。 そんな時に幸せになれるかもしれない方法（PostgreSQL限定）を書いてみます。 素直に改行コードをreplaceで変換する 一つ目の方法は、まあ、単純に思いつきそうですが、replace関数で変換してしまう方法です。 変換対象の改行コードは以下のように表すことができます。 chr(13) : CR（キャリッジリターン） chr(10) : LF（ラインフィード） chr(13)||chr(10) : CRLF これをSQLで書いてみると、 select replace(replace(replace(description,chr(13)||chr(10),'
PostgreSQLのdblink(database link)
PostgreSQLで他のPostgreSQLデータベースのデータにアクセスするには、contribで提供されているdblinkを利用します。 これの利用方法についての簡単なメモです。 ここに登場していない関数や説明もありますが、それは今後完全版をDatabase tearoomの方に書きたいと思っています。 ● 環境構築 UNIXやLinuxでは、ソースからコンパイルし、インストールします。(rpmなどのパッケージでインストールしている場合はcontribのパッケージをインストールして、dblink.sqlを実行すればいいんだと思う。たぶん…^^;) dblinkのソースのディレクトリ(ex. /usr/local/src/postgresql-?.?.?/contrib/dblink)で実施
Postgresで大量のラージオブジェクトデータをコピーする « ウップス!!なかわけ
こんにちは、なかわけです。 いまpostgresのlargeobjectを大量にコピーする作業をしています。 元のデータベースに3000万行くらいあってそれをまるっとそっくりコピーのデータベースに流し込みます。 INSERT INTO pg_largeobject SELECT * FROM dblink('dbname=元データベース', SELECT * FROM pg_largeobject') AS t1 (loid oid, pageno integer, data bytea); 最初一回でコピーしようとしたらメモリエラーで失敗しました。そりゃそうですよねｗ それで3000万行を10万行ずつに分割して書いたクエリのテキストファイルを読み込ませて データを流し込むことにしました。たとえば、以下はその中のひとつのクエリ。 INSERT INTO pg_largeobject SEL
Postgresql ビューでdblinkを使用 - アルパカDiary Pro
postgresqlでカレントデータベースから他のデータベースに接続する場合は dblinkというcontrib*1をインストールして実現できるのですが、 そのまま使おうとすると非常に使いづらい…*2 なわけで、よく使うテーブルをあらかじめビューにしておくと良いのでは？ と思い調査してみました。 まずはdblinkのインストール*3 # cd /usr/local/src/postgresql-8???/contrib/dblink # make # make install # psql -U postgres -d データベース名 < dblink.sqlこれだけでOK。 ちなみに、リンク元のデータベースだけにインストールすればいいみたい。 dblinkを使ってみる 単純に使いたいなら以下の方法（もちろん、hostやportも指定可能）。 select * from dblink( '
PostgreSQL on Amazon EC2の可能性
4. 背景 既存のWebサービスをAmazon EC2へ移 行するにあたり、以下の条件をもとに検 証作業を行いました pgpool-IIの運用ノウハウを生かしたい アプリケーション側に接続先DBの自動切り替 え機能がない 6. 構成図(Amazon EC2) PostgreSQLサーバー1号機 Webサーバー1号機 ロードバランサ pgpool-IIサーバー Webサーバー2号機 PostreSQLサーバー2号機 監視サーバー ※注意 各サーバーはAmazon EC2上のUS-WESTリージョンで稼働 pgpool-IIサーバーAMI 各サーバーはグローバルIPとローカルIPの両方が割り当たっています Webサーバー以下の通信はローカルIPを使用して通信します 上記構成はあくまで論理的なものであり、各サーバーがインターネットに接続されています
Can't install pg gem on Windows
I've got 2 Ruby versions: 1.8.7 and 1.9.2 and PostgreSQL 8.3. I cant install pg gem on any of them. Getting this error: C:/Development/Ruby187/bin/ruby.exe extconf.rb checking for pg_config... yes not recorded checking for libpq-fe.h... no Can't find the 'libpq-fe.h header *** extconf.rb failed *** Could not create Makefile due to some reason, probably lack of necessary libraries and/or headers. C
ruby-pg on windows
Windows でも Ruby を使う必要がでてきた。しかも PostgreSQLとセットで。 環境は Windows7 Home (32bit) 。Windows ローカルで動いている PostgreSQL (8.4) に Ruby 1.9.2 からアクセスできればよい。ただ...やり取りするデータ量が多いので libpq が使う必要がある。libpq のラッパーモジュール pg (ruby-pg) があるが、C 拡張なのでインストールは案の定つまずいた。しかし使い慣れない Windows にどうにか入れることができたのでここにメモしておく。 Windows用の Ruby はRubyInstallerのバイナリ（RubyInstaller 1.9.2-p136）を利用。あわせて同じサイトで配布している DevKit も入れる。これに migw32-gcc や make などが入っていて拡
PostgreSQL9.0でStreaming Replication + Hot Standbyを試してみた - Do You PHP はてブロ
2010/09/20に正式リリースされたPostgreSQL9.0ですが、大幅な機能強化がなされてますね。 PostgreSQL 9.0 に関する技術情報 - SRA OSS, Inc. 日本支社 個人的に大きなポイントだと思っている項目がいくつかありますが、その中でも ストリーミングレプリケーション ホットスタンバイ の組み合わせは実運用でもかなり使いたいと思っています。 ストリーミングレプリケーションは、WAL(アーカイブログ)の転送タイミングがより細かくなったことで、レプリケーションしているDBのスタンバイ側の更新遅延が少なくなるというもの。ホットスタンバイは、同じくスタンバイ側で参照系のクエリを受け付けられるようになるというものです。以前試したウォームスタンバイの場合、スタンバイ中はDB接続できませんでしたから、レプリケーションしつつ参照用DBとして活用できるようになりそうです。
エグゼキュータ。ビットマップヒープスキャン（Bitmap Heap Scan） - taediumの日記
たまに実行計画で見かけるBitmap Heap Scan や Bitmap Index Scan が気になり調べてみた。ここの解説がわかりやすい。 【PostgreSQLウォッチ】第17回 新しい実行プラン・タイプによるPostgreSQL 8.1の性能向上 Indexの種類としてビットマップインデックスというものがB-Treeインデックスに並ぶものとしてあるというわけではなく、実行時にビットマップを使うよということ。ビットマップヒープスキャンが行われそうなクエリを投げて実行される処理を確認する。 ドキュメントで触れているのはここかな。 11.5. 複数のインデックスの組み合わせ 他のRDBMSでインデックスマージと呼んでいるものと同じなのかもしれない。 クエリ（explain analyze verboseつき） aidにはインデックスが張られている。aidに対してはorで検索。bidに
SQLを使ってログ解析をしよう | Let's POSTGRES
各項目がカンマ区切りのテキストで1行を構成します。実際には下記のような内容です。 (注)幅の関係で1行のデータを2行に分けて記述しています。 ee1bdfe5b017f8dcddea61b54aa76536,2010-05-13 00:00:03,1,277,DoSearch,sort 安い順 region ハワイ country ハワイ島 ee1bdfe5b017f8dcddea61b54aa76536,2010-05-13 00:00:04,2,115,ShowList,sort 安い順 region ハワイ country ハワイ島 ee1bdfe5b017f8dcddea61b54aa76536,2010-05-13 00:00:06,3,344,DoSearch,date 20100701 sort 安い順 region ハワイ country ハワイ島 ee1bdfe5b017
PostgreSQLでパーティショニング
というような感じになりました。そしてDDL。 create table request( request_id serial8 not null, timestamp timestamp not null default now(), uri text not null default '', user_agent text not null default '', remote_host text not null default '', primary key(request_id) ); create table parameter( parameter_id serial8 not null request_id int8 not null default 0, timestamp timestamp not null default now(), name text not nu
パーティショニング — Let's Postgres
パーティショニングとはデータを複数に分割して格納することです。特にデータサイズが大きい場合には、性能や運用性の向上や、故障の影響を局所化できる利点があります。
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
PostgreSQL fun: cross-database joins
dblink_connect is slow
Re: select from dblink very slow
http://deveiate.org/code/pg/_index.html
http://www.codesmell.org/blog/2009/03/migrate-data-from-postgres-to-mysql/
Vybe Networks Inc.
オープンソース情報データベースシステム(OSS iPedia) のコンテンツについて
CLUSTER