SQLAlchemy + PostgreSQL で Upsert を行う（ユニークキーに重複があるデータのバルクインサート） - luggage baggage
こんにちは。吉田弁二郎です。 タイトルにある Upsert とは、Update or Insert のことです。あるテーブルにデータを insert しようとするとき、ユニーク制約が効いているキーが過去データのものと重複して insert できない場合、update に切り替える処理のことですね。データ量が多くキー重複の懸念がある状況で multiple insert したい場合などに有効な手段の一つです。 私はよく PostgreSQL を使うのですが、Python 経由で操作したい時には psycopg2 とか SQLAlchemy を選ぶことが多いです。特に SQLAlchemy はオブジェクト的にデータベースを操作できるため、web アプリを開発する時に使っています。 今回は、PostgreSQL 9.5 以上で利用可能な upsert 構文 ON CONFLICT ... DO
PostgreSQLのPL/Pythonを使ってみる
PostgreSQL では手続き型言語(PL=Procedural Language)を使って定義する際に、PL/pgSQL 以外にも Pl/Tcl, PL/Perl, PL/Python などさまざまな言語を使えると知ったので、PL/Python を触ってみた。 最終目標 関数の引数に文字列を渡すと twitter の検索結果を返す関数を作成 環境 以下の環境を前提 OS : Ubuntu 12.04, 64-bit PostgreSQL : 9.1 Python : 2.7 requests : 0.8.2(apt-get では←のバージョンだったので)$ apt-get install python-requests する インストール まずは PL/Python を使えるようにする。 インストール済み PL 言語は createlang コマンドで確認する $ createlang
PostgreSQL の PL/Python を試してみる - Memo
PostgreSQL にはストアドプロシージャ(ファンクション)に Perl や Python といったスクリプト言語で記述できる。 これを使えば Perl/Python で外部のサーバにメッセージを飛ばせないかやってみた。 まずは MacPorts で PostgreSQL8.4 をインストール(9.x を使わなかったのには既存の環境が 8.x だったため)。 $ sudo port install postgresql84 +earthdistance +perl +python $ sudo port install posrgresql84-server $ sudo port load postgresql84-server $ sudo mkdir -p /opt/local/var/db/postgresql84/defaultdb $ sudo chown postgres
Python PostgreSQL proramming with psycopg2 module
last modified January 29, 2024 In this article we show how to program PostgreSQL databases in Python with psycopg2 module. PostgreSQL is a powerful, open source object-relational database system. It is a multi-user database management system. It runs on multiple platforms including Linux, FreeBSD, Solaris, Microsoft Windows and Mac OS X. PostgreSQL is developed by the PostgreSQL Global Development
メモ用紙 pyPgSQL vs psycopg2 第一回
pyPgSQL vs psycopg2 第一回 pyPgSQLとpsycopg2の処理速度の比較をしてみる。 今回は、それぞれのモジュールを使ってSELECT分を発行し、 データ取得できるまでの時間を測定してみた。 テスト用にデータベースを作成（以下）した。 -- postgres : 8.1.4 database : testDb table : testTable -- testTableのスキーマは以下のとおり。 -- char(1) × 6, integer × 4 -- このtestTableに、60万行のデータを登録した。 （testTableのデータをpg_dumpでダンプしたら、 20MBのファイルが作成された。） その後、以下のコマンドで、sqlを実行し、その処理時間を計測した。 > python >>> # psycopg2 >>> import time >>> pr
はてなグループの終了日を2020年1月31日(金)に決定しました - はてなの告知
はてなグループの終了日を2020年1月31日(金)に決定しました 以下のエントリの通り、今年末を目処にはてなグループを終了予定である旨をお知らせしておりました。 2019年末を目処に、はてなグループの提供を終了する予定です - はてなグループ日記 このたび、正式に終了日を決定いたしましたので、以下の通りご確認ください。 終了日: 2020年1月31日(金) エクスポート希望申請期限:2020年1月31日(金) 終了日以降は、はてなグループの閲覧および投稿は行えません。日記のエクスポートが必要な方は以下の記事にしたがって手続きをしてください。 はてなグループに投稿された日記データのエクスポートについて - はてなグループ日記 ご利用のみなさまにはご迷惑をおかけいたしますが、どうぞよろしくお願いいたします。 2020-06-25 追記 はてなグループ日記のエクスポートデータは2020年2月28
PythonからPostGISを操作するには – 月の杜工房
PostGIS WikiのPostgis and Python のところに、PythonからPostgreSQLに接続する方法が紹介されています。 ここではこの中からpsycopg2を採用します。 initd.orgからpsycopg2のソースコードをダウンロードすることができます。 コンパイルするのは大変そうで、心が折れそうになりますが、ありがたいことに win-psycopg にはpsycopg2のWindows用インストーラが配布されていますので、Windows環境ならこれを使うと良いでしょう。 使い方はドキュメントなどに書かれているのでそれを見ればわかりますが、 大体以下の様に使います。 接続import psycopg2 try: conn = psycopg2.connect("dbname='データベース名' user='ユーザ名' host='ホスト名' password=
メモ用紙 pythonからpostgresへCOPYコマンドを使う
pythonからpostgresへCOPYコマンドを使う方法 大量のデータをデータベースに登録する場合、 Insert文を繰り返すより、 \COPYコマンドを利用して、ファイルからデータを登録した方が速い。 INSERT文： postgres> INSERT INTO table (id, name, comment) VALUES (1, 'test', 'test_line'); postgres> INSERT INTO table (id, name, comment) VALUES (2, 'test2', 'test2_line'); \COPY文： > cat test_file 1 test1 test_line 2 test2 test2_line postgres> \COPY table (id, name, comment) FROM test_file 上述の\C
How to create a new database using SQLAlchemy?
Using SQLAlchemy, an Engine object is created like this: from sqlalchemy import create_engine engine = create_engine("postgresql://localhost/mydb") Accessing engine fails if the database specified in the argument to create_engine (in this case, mydb) does not exist. Is it possible to tell SQLAlchemy to create a new database if the specified database doesn't exist?
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
PythonからPostgreSQLのデータ型(jsonb)を使う - Qiita
django-extensions.pptx
Vybe Networks Inc.