Fastest Way to Load Data Into PostgreSQL Using Python
As glorified data plumbers, we are often tasked with loading data fetched from a remote source into our systems. If we are lucky, the data is serialized as JSON or YAML. When we are less fortunate, we get an Excel spreadsheet or a CSV file which is always broken in some way, can't explain it. Data from large companies or old systems is somehow always encoded in a weird way, and the Sysadmins alway
PythonでMySQLを使うならoratorがすごくおすすめ(ActiveRecord・ORM) | 東京エンジニア
Pythonのpymysqlはクエリー書くのがめっちゃめんどくさい PythonでMySQLにデータを保存するときにpymysqlを利用していました。 追加・変更・削除などできるのですがめっちゃめんどくさいです。 PHPで例えるとmysql_connectを使っているのと同じです。 自動コミットじゃないので自動コミットするように宣言したり実行宣言したりと大変です。 自分でActiveRecordっぽいものを作ってみましたが微妙過ぎる。。 ActiveRecordっぽいことしてくれるものがないか調べたところありました！！ それがorator oratorはオブジェクト関係マッピング(ORM)でActiveRecordのように操作することができます。 oratorなら追加・更新・削除がすっきり書ける oratorはPHPフレームワークのLaravelにインスパイヤされているため Laravel
psycopg2 でよくやる操作まとめ - Qiita
これにより、MySQL などの他のデータソースと同じようにコネクションやカーソルを操作してデータベースを触ることができる。 PostgreSQL サーバに接続する psycopg2 は接続情報を文字列で指定するだけでよしなにパースして接続してくれる。 from os import getenv import psycopg2 from psycopg2.extensions import connection def get_connection() -> connection: return psycopg2.connect(getenv("DATABASE_URL")) 環境変数 DATABASE_URL には postgresql://{username}:{password}@{hostname}:{port}/{database} というフォーマットでデータベースの接続情報を指定
SQLAlchemy + PostgreSQL で Upsert を行う（ユニークキーに重複があるデータのバルクインサート） - luggage baggage
こんにちは。吉田弁二郎です。 タイトルにある Upsert とは、Update or Insert のことです。あるテーブルにデータを insert しようとするとき、ユニーク制約が効いているキーが過去データのものと重複して insert できない場合、update に切り替える処理のことですね。データ量が多くキー重複の懸念がある状況で multiple insert したい場合などに有効な手段の一つです。 私はよく PostgreSQL を使うのですが、Python 経由で操作したい時には psycopg2 とか SQLAlchemy を選ぶことが多いです。特に SQLAlchemy はオブジェクト的にデータベースを操作できるため、web アプリを開発する時に使っています。 今回は、PostgreSQL 9.5 以上で利用可能な upsert 構文 ON CONFLICT ... DO
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
PyCon.DE 2018: Building Your Own Data Science Platform With Python & Docker - Joshua Görner - YouTube
PostgreSQLとPythonとSQL
