SQLAlchemy + PostgreSQL で Upsert を行う（ユニークキーに重複があるデータのバルクインサート） - luggage baggage
こんにちは。吉田弁二郎です。 タイトルにある Upsert とは、Update or Insert のことです。あるテーブルにデータを insert しようとするとき、ユニーク制約が効いているキーが過去データのものと重複して insert できない場合、update に切り替える処理のことですね。データ量が多くキー重複の懸念がある状況で multiple insert したい場合などに有効な手段の一つです。 私はよく PostgreSQL を使うのですが、Python 経由で操作したい時には psycopg2 とか SQLAlchemy を選ぶことが多いです。特に SQLAlchemy はオブジェクト的にデータベースを操作できるため、web アプリを開発する時に使っています。 今回は、PostgreSQL 9.5 以上で利用可能な upsert 構文 ON CONFLICT ... DO
PostgreSQL の構造とソースツリー（１） — Let's Postgres
PostgreSQL では、ユーザが独自にユーザ定義関数の処理系を定義することができます。 そこで各種言語用のサーバサイドスクリプトがサードパーティーによって提供されています。 主なものとしては、Ruby, Java, PHP などがあります。 それでは、もう少し詳しく PostgreSQL の構造を見てみましょう。 バックエンド側はいくつかのプロセスから構成されています。 postgres (常駐プロセス) バックエンドを管理する常駐プロセスです。 "postmaster" とも呼ばれます。 デフォルトでは postgres は UNIX ドメインソケットと TCP/IP の 5432 番のポートを listen しており、フロントエンドがここに接続するのを待ち受けています (Windows など、一部のプラットフォームでは TCP/IP のみ)。 待ち受けるポート番号は Postgre
PostgreSQLのPL/Pythonを使ってみる
PostgreSQL では手続き型言語(PL=Procedural Language)を使って定義する際に、PL/pgSQL 以外にも Pl/Tcl, PL/Perl, PL/Python などさまざまな言語を使えると知ったので、PL/Python を触ってみた。 最終目標 関数の引数に文字列を渡すと twitter の検索結果を返す関数を作成 環境 以下の環境を前提 OS : Ubuntu 12.04, 64-bit PostgreSQL : 9.1 Python : 2.7 requests : 0.8.2(apt-get では←のバージョンだったので)$ apt-get install python-requests する インストール まずは PL/Python を使えるようにする。 インストール済み PL 言語は createlang コマンドで確認する $ createlang
PostgreSQL の PL/Python を試してみる - Memo
PostgreSQL にはストアドプロシージャ(ファンクション)に Perl や Python といったスクリプト言語で記述できる。 これを使えば Perl/Python で外部のサーバにメッセージを飛ばせないかやってみた。 まずは MacPorts で PostgreSQL8.4 をインストール(9.x を使わなかったのには既存の環境が 8.x だったため)。 $ sudo port install postgresql84 +earthdistance +perl +python $ sudo port install posrgresql84-server $ sudo port load postgresql84-server $ sudo mkdir -p /opt/local/var/db/postgresql84/defaultdb $ sudo chown postgres
目的別ガイド：インストール編 — Let's Postgres
PostgreSQL を始めてインストールする場合に役に立つ記事のまとめとリンク集です。バイナリ・パッケージやソースコードから導入する方法をお知らせします。 データベースサーバのインストール PostgreSQL を導入するには、バイナリ・パッケージまたはソースコードからインストールします。 PostgreSQL 文書: インストール バイナリ・パッケージによる導入 各種プラットホーム向けにバイナリ・パッケージが用意されています。パッケージによっては、OSユーザ postgres を自動的に作成したり、標準的なコマンド構成に手を入れている場合もあるようです。 OS バージョン 記事 導入方法 その他の解説
pg_bulkload
FILTER = [ schema_name. ] function_name [ (argtype, ... ) ] 入力データを変換するユーザ定義関数 (FILTER 関数) を指定します。 argtype は省略可能ですが、関数を一意に特定できない場合はエラーになります。 指定しない場合は、入力データの変換を行いません。 FILTER 関数の作り方は FILTER 関数の作り方に示しています。 FILTER オプションは、「TYPE=FUNCTION」と FILTER の両方を指定した場合はエラーになります。 また、CSV フォーマット固有の設定項目の FORCE_NOT_NULL と FILTER の両方を指定した場合はエラーになります。 CHECK_CONSTRAINTS = YES | NO ロード時に CHECK 制約を検査するかどうかを指定します。 デフォルトは NO です
a_ogawa
http://archives.postgresql.org/pgsql-hackers/2009-06/msg00159.php Postgresqlのmemory managerで、空きブロックリストのインデックスを計算する処理を高速化するパッチ。 現在のコードは、以下のようにループして計算しているが static inline int AllocSetFreeIndex(Size size) { int idx = 0; if (size > 0) { size = (size - 1) >> ALLOC_MINBITS; while (size != 0) { idx++; size >>= 1; } Assert(idx < ALLOCSET_NUM_FREELISTS); } return idx; }これを、x86 CPUのbsrで計算するようにした static inlin
2009-02-15
シンプルなINSERTを行ったときの呼び出しシーケンス。ページにタプルを追加するところまで。 (gdb) bt #0 PageAddItem (page=0xb5835260 "", item=0x84e4d04 "J\002", size=28, offsetNumber=3, overwrite=0 '\0', is_heap=1 '\001') at bufpage.c:249 #1 0x080a2cf8 in RelationPutHeapTuple (relation=0xb561a2f8, buffer=101, tuple=0x84e4cf0) at hio.c:43 #2 0x0809dbb8 in heap_insert (relation=0xb561a2f8, tup=0x84e4cf0, cid=2, use_wal=1 '\001', use_fsm=1 '\00
PostgreSQL: OProfileでプロファイルする方法: Akito's IT技術 メモ
このブログでは，いろいろなIT技術について紹介しています． 現在紹介している内容は，以下のとおりです． Java関連，CentOS，PostgreSQL関連，論文，技術本 << Java: VectorとArrayListの性能比較 | TOP PostgreSQLをOProfileでプロファイルするためには，ソースからコンパイルしてインストールする必要がある． 以下の説明内容は，CentOS 5.5で検証した．けど，たいした内容じゃないので，Linux全般に共通すると思う． 1. まず，yumでPostgreSQLをインストールした場合は，removeしておく． 2. PostgreSQLのウェブサイトからソースコードをダウンロード．現在は8.4.4が最新． 3. そして、適当なディレクトリに解凍． 4. configure時にオプションを指定する． akito # ./configu
zuzara.com � PostgreSQLに巨大データを扱うときのTIPS
1つ目が「indexは後からつける」 create table test ( id integer, title varchar(255) );こんなテーブルにCOPYでインポートするとき、 create index test_idx on test(title);こういったindexを先につけてから実行すると30万行のデータで10分程度。6000万行あると72時間程度経っても終わらず。 indexなしなら10分で6000万行いけました。データが入った後のcreate indexには1～2時間。 動作環境はCPU 2.80GHz、Memory 1GでFedoraCore5にPostgreSQL8.1.4。 2つ目が「テーブルごとにデータをエクスポートするときはpg_dumpではなくてCOPY」 バックアップ用のpg_dumpを使うと簡単ですが、-tでテーブルを指定するとCOPY文にならずに
PostgreSQLの複数バージョンを共存させるためのインストールメモ | システムエンジニアの戯言
PostgreSQLの複数バージョンを共存させるためのインストールメモ RPMパッケージからのインストールだと、インストール先のパスが固定になっているため（たぶん）、複数のバージョンを共存させるには、ソースファイルからインストールする必要があります。 今回、LinuxのCentOS 5.3に、PostgreSQL7.4と8.4をインストールしてみました。以下、インストール手順です。 インストール手順 ☆rootユーザでログイン ●postgresql用のユーザとグループを追加 # groupadd postgres # useradd -g postgres postgres # passwd postgres Changing password for user postgres. New UNIX password: BAD PASSWORD: it is based on a dic
pg_bulkload: プロジェクト ホームページ
pg_bulkload は PostgreSQL 向けの高速データロードユーティリティです。 pgFoundry のページより、ダウンロード、 ドキュメントの入手、バグレポート、メーリングリストの閲覧・購読などが行えます。 Here is an English page. ドキュメント 高速データローダ: pg_bulkload ドキュメント 一定の制約条件の下で大量のデータを高速にロードするためのプログラムです。 オプションツール: pg_timestamp ドキュメント タイムスタンプ文字列のパースのオーバヘッドをスキップするための追加モジュールです。 性能測定結果 COPY と pg_bulkload の比較のため、以下の条件で測定を行いました。 PostgreSQL サーバは、基本的なチューニングを済ませた状態です。 テーブル定義 TPC-C ベンチマークの簡易実装である DBT-
Postgreのautocommit - WASI'S BLOG
最近仕事でPostgreを触っているのだけど、Postgreはデフォルトでオートコミットになっているという事が発覚。 いままでOracleばっかだったから、なんか違和感がある。 ロールバックとかやりたいし、なんとか解除したいものです。 そこでいろいろ調べてみたんだけど、デフォルトの設定を変える方法はなかなか出てこない。 BEGIN とか SET TRANSACTION でトランザクションを開始しないとCOMMIT出来ない雰囲気。 そんなのいやだ〜！ デフォルトってことはどっかで設定があるはず。 やっぱりあった！ psqlで、¥setコマンドで ¥set AUTOCOMMIT off ってやるとoffになった！！ でも毎回設定するのも手間だし。 設定ファイルとか無いのかなぁ。 そうおもって調べてみたら、これもまたありました。 $HOME/.psqlrcファイルを作って、そ
実践テクニックを紹介 徒然PostgreSQL散策
新連載 第1 回 火消し的 PostgreSQL チューニングテクニック 日本 PostgreSQL ユーザ会 理事長 石井 達夫 ISHII Tatsuo ● ishii@postgresql.jp そこで今回の連載では， はじめに 読者のみなさんこんにちは， 『WEB+DB PRESS』で は半年以上のご無沙汰になってしまいました，石井達 夫と申します． 前回本誌でみなさんにお目にかかったのは「さわっ て実感 リレーショナルデータベース設計」という，デ ータベースの基礎からアプリケーション構築まで8 回 に分けてご紹介するという企画でした ． 注1 ¡いきあたりばったり書く ¡おもしろそうなことを思いつくままに書く ¡なぜか今まであまり触れられていない話題をあえて 書く ということを基本コンセプトに設定させていただくこ とにしました．したがって「全6 回の連載計画」も提
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
PythonからPostgreSQLのデータ型(jsonb)を使う - Qiita
Tools & Tips
django-extensions.pptx
ProGains Foundry | Great Supplements, Great Results
WALの設定 | EnterpriseDB
データベースへのデータ投入