How to Execute Raw SQL in SQLAlchemy | AtlassianTry now Products Featured Developers Product Managers IT professionals Business Teams Leadership Teams Featured Developers Product Managers IT professionals Business Teams Leadership Teams
[Python] SQLAlchemyを頑張って高速化 - Qiita
はじめに pythonからMySQLを叩く際，何を使っていますか？SQLAlchemy,Django,peeweeあたりを使っている方が多いのではないでしょうか．私は色々使ってみて結局SQLAlchemyに落ち着いていますが，何千万，何億オーダのデータになると処理が遅く非常にやっかいです． なので今回は（大きなデータにsql使うなとか高速処理にpython使うなという話は一旦置いておいて），SQLAlchemyを使ったデータ処理をいかに高速にするか，何項目かに分けて備忘録を残しておきます． SQLAlchemyを~と書いてありますが，SQLAlchemyを使ってDBにデータをINSERT,SELECTする際のpython高速化TIPSごった煮です．本当は記事を分けたほうが良いのですが，自分で見返す際にまとまっているほうが嬉しいのでこうしました． なお，今回使用するコードは全てgithubに
![[Python] SQLAlchemyを頑張って高速化 - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/6be9cd2919b07c8dc369d70f612aa1e65e31edd6/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Farticle-ogp-background-412672c5f0600ab9a64263b751f1bc81.png%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTk3MiZoPTM3OCZ0eHQ9JTVCUHl0aG9uJTVEJTIwU1FMQWxjaGVteSVFMyU4MiU5MiVFOSVBMCU5MSVFNSVCQyVCNSVFMyU4MSVBMyVFMyU4MSVBNiVFOSVBQiU5OCVFOSU4MCU5RiVFNSU4QyU5NiZ0eHQtYWxpZ249bGVmdCUyQ3RvcCZ0eHQtY29sb3I9JTIzMjEyMTIxJnR4dC1mb250PUhpcmFnaW5vJTIwU2FucyUyMFc2JnR4dC1zaXplPTU2JnM9YmM0MmFhMzk0YTU5MDJiY2M1NTQ4MDczZWE5OWYxMWI%26mark-x%3D142%26mark-y%3D57%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZoPTc2Jnc9NzcwJnR4dD0lNDB5dWtpQiZ0eHQtY29sb3I9JTIzMjEyMTIxJnR4dC1mb250PUhpcmFnaW5vJTIwU2FucyUyMFc2JnR4dC1zaXplPTM2JnR4dC1hbGlnbj1sZWZ0JTJDdG9wJnM9MmUzODc2ZTk3MWM5YTdjNGFlYWUzNWZjMDZhMzcxYjQ%26blend-x%3D142%26blend-y%3D436%26blend-mode%3Dnormal%26txt64%3DaW4g5qCq5byP5Lya56S-44OG44Oz44Kv44O8%26txt-width%3D770%26txt-clip%3Dend%252Cellipsis%26txt-color%3D%2523212121%26txt-font%3DHiragino%2520Sans%2520W6%26txt-size%3D36%26txt-x%3D156%26txt-y%3D536%26s%3D2abf4c1ae15fe8db2e7581a9c7858d7d)
SQLAlchemy同期/非同期の比較 - Qiita
PythonのフレームワークであるFastAPIを触る機会があって、その中で非同期プログラミングの存在を知りました。 非同期プログラミングについて色々調べていくと、DB接続も非同期処理に対応してきていることが分かり、PythonのSQLライブラリで有名なSQLAlchemyもバージョン1.4から非同期処理に対応しているようです。 時代は非同期プログラミングみたいですね。 ただSQLAlchemyの非同期処理の記事がまだ少なく、同期処理から非同期処理に変えるときに、苦労しそうなので、今回はSQLAlchemy同期処理と非同期処理で設定やクエリがどう違うの比較しようと思います。 SQLAlchemyにはcoreとormがありますが、ここではormで書いていきます。 APIにはFastAPI、DBはPostgreSQLを使っていきます。 動作確認用コードは下記リポジトリに置いています。 同期処理
PythonのORM、SQLAlchemyをまとめる（SELECT編）
from sqlalchemy import create_engine, MetaData from sqlalchemy.orm import sessionmaker, declarative_base from databases import Database DATABASE_URL = 'postgresql://postgres:password@db:5432/db_name' engine = create_engine(DATABASE_URL) Session = sessionmaker(autocommit=False, autoflush=False, bind=engine) session = Session() Base = declarative_base() from sqlalchemy import ( Column, DateTime, Int
FastAPI+SQLAlchemyで非同期WebAPI
少し前にSQLAlchemy 1.4がリリースされました。 このSQLAlchemy 1.4には大きな特徴として次の2点があります。 SQLAlchemy ORMでこれまでの記法(1.x Style)に加えて、2.0 Styleと呼ばれる新しい記法に対応 CoreとORMの両方でイベントループを使った非同期処理に対応 今後のロードマップでは、SQLAlchemy 2.0では2.0 Styleのみがサポートされます。 また、イベントループを使った非同期処理もこの数年で一気に広まってきました。 SQLAlchemyが対応したこともこの流れをさらに加速させると思います。 そこで最近よく利用しているFastAPIと組み合わせて、SQLAlchemy 2.0 Styleを使った非同期Web APIのサンプルプロジェクトを用意しました。 コードはrhoboro/async-fastapi-sqlalc
PlaySQLAlchemy: SQLAlchemy入門
PlaySQLAlchemy: SQLAlchemy入門1. SQLAlchemy 入門 for Kobe Python Meetup #13 2017/09/15 Kobe Japan 2. Yasushi Masuda PhD ( @whosaysni ) Tech team, Core IT grp. IT Dept. MonotaRO Co., LTD. Pythonista since 2001 (2.0～) • elaphe (barcode library) • oikami.py （老神.py） • PyCon JP founder 翻訳もろもろ 3. アジェンダ よくある誤解 SQLAlchemyを3行で エンジンの基礎 (+hands-on) SQL式を使う (+hands-on) ORMの基礎 (+hands-on) 4. 参考文献 オンラインドキュメント: http
SQLAlchemy filter()とfilter_by()の違い - Qiita
PythonのO/R Mapperの１つであるSQLAlchemyでDB検索する際にfilter()とfilter_by()の２つの関数があるので違いを説明します。 公式ドキュメントを見れば明白でした。 filter_by(), filter() 結論から言うと、fileter_by()の方がコードが短くなる利点があるようです。 filter():{モデル}.{変数名}でテーブルのカラムの値を検索条件に追加可能 filter_by(): モデルなしで、{変数名}だけでカラムの値を検索条件に追加可能 コードで見るとわかりやすいので明記すると # filter()を使う場合の記述例 session.query(MyClass).\ filter(MyClass.name == 'some name', MyClass.id > 5) # filter_by()を使う場合の記述例 session
【Python】お、手軽！FlaskフレームワークのORM拡張でDBマイグレーションを実装してみた - Qiita
はじめに 先日、社内のオンライン開発合宿というイベント向けに、アプリケーションを作る一環として、 （コロナ禍もあってオンライン...） REST APIの作成は完了したので、 今度はFlaskにおけるDBマイグレーションの実装とSeeding（テストデータのINSERT処理）を 実装・検証したので、共有したいと思います。 DBマイグレーションとは ソフトウェア工学において、スキーママイグレーション（データベースマイグレーション、データベースチェンジマネジメント）とは、リレーショナルデータベースのスキーマに対する増分的、可逆的な変更とバージョン管理の管理を指す。スキーママイグレーションは、データベースのスキーマを更新したり、新しいバージョンや古いバージョンに戻したりする必要がある場合に、データベースに対して実行されます。 参照元：wikipedia ※DeepL翻訳 ふむふむ、データベースの
Pythonのmigrationツールのalembicを動かしてみた - Qiita
root@9a7582105665:/usr/src# pip install alembic psycopg2-binary Collecting alembic Downloading alembic-1.4.2.tar.gz (1.1 MB) |████████████████████████████████| 1.1 MB 7.8 MB/s Installing build dependencies ... done Getting requirements to build wheel ... done Preparing wheel metadata ... done Collecting psycopg2-binary Downloading psycopg2_binary-2.8.5-cp38-cp38-manylinux1_x86_64.whl (3.0 MB) |███
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
SQLAlchemyでのテーブル定義 - Qiita