SQLAlchemyの OperationalError: MySQL Connection not available エラー - Life is Really Short, Have Your Life!!
Python3.4 && mysql-connector-python2.0.2で起きたこのエラー。 表題の通り、コネクションプールをしているオブジェクトが利用できないと申される。接続は死んでないっぽいのが謎。活きているのに死んでいるみたいな、そんな感じのエラー。MySQL Server has gone awayではないメッセージが返ってきているのが気になる。SQLAlchemyでは活きている(Valid)なコネクションを利用しようとしたら死んでいた可能性もあるから、mysqlのwait_timeout、interactive_timeout系の時間を長くして、flask-sqlalchemyのSQLALCHEMY_POOL_RECYCLEの時間をタイムアウトより小さくしたんだけど、1日おいてもまだこのエラーが消えなかった。 MySQLのコネクション自体は活きているのにSQLAlchem
Engineering
Engineering Building the platform where people around the world come to search, save and shop Our Engineering team is at the core of bringing our platform to life for Pinners worldwide. Working collaboratively and cross-functionally with teams across the company, our engineers tackle growth-driving challenges to build an inspired and inclusive platform for all. Natasha Magliui Engineering Manager,
mysqlclient が Django の推奨ドライバになりました - methaneのブログ
MySQL-Python (MySQLdb) のメンテナンスが停滞したことで fork して後方互換性を保ったままメンテナンスをしている mysqlclient ですが、 Django の recommend になりました。 Databases | Django documentation | Django もともと推奨になっていた MySQLdb が Python 3 をサポートしないままメンテナンスが停滞していることが問題になり、対立候補が MySQL Connector/Python と mysqlclient でした。 Oracle 公式の安心感（僕個人が片手間にやってるよりは圧倒的に開発リソースを避けるはず）も捨てがたいのですが、クエリ結果のカラム数×行数（＝MySQLパケット数）が多い時に Pure Python の MySQL Connector/Python と libmy
Tornado-MySQL をリリースしました - methaneのブログ
PyMySQL をベースに Tornado をサポートした Tornado-MySQL をリリースしました。 Github: https://github.com/PyMySQL/Tornado-MySQL PyPI: Tornado-MySQL 0.2 : Python Package Index 単に IO 部分を Tornado に置き換えるだけでなく、簡単なコネクションプールも作りました。 通常のリクエスト−レスポンス型のWebアプリケーションとは異なり、 WebSocket などの長時間実行するプログラムだと、1リクエスト1トランザクションという使い方は合わなくなります。 そこで、Go の sql.DB の様に、基本的には autocommit を利用する前提でプール自体にクエリを実行するメソッドを付け、トランザクションが必要なときだけプールから取り出したコネクションを保持するト
mysqlclient-python を簡易的に非同期I/Oに対応させた - methaneのブログ
libmysqlclient を利用した Python の MySQL ドライバである libmysqlclient-python を、 gevent, meinheld など非同期I/O + 軽量スレッド環境で使いやすいようにしました。 libmysqlclient の API について libmysqlclient は基本的に同期IOのことしか考えられていません。 ですが、クエリを投げてそのステータスを返す mysql_real_query() に限り、代替手段として mysql_send_query() でクエリを送信してから、ステータスを待つ mysql_read_query_result() を呼ぶという事ができます。 また、 MYSQL 型の net.fd というメンバから fd を取得することができます。 これらを組み合わせて、 mysql_send_query() でクエリ
[MySQL][Python]8000万レコードをInsertする | Momentum
概要 ・とある物件で8000万弱のレコードを新規のDBに効率的にぶち込む方法を考える必要に ・MySQL(Amazon RDS) + Python(mysql.connector)を想定 ・mysql.connector + pythonについては拙文ながら(http://nekopuni.holy.jp/?p=927)に書いております。 ・コミットの位置には気をつけよう + Multiple Insert最強ねというお話。 方法その1 まずは最初にやった方法。1レコードごとにInsertしてコミットしていく方法。 今までDB関連でやったコードはレコード量も大したことなかったので以下の方法でも特に問題なかった。 具体的な環境としてはテキストデータ(csv)を読み込み、それをDBにInsertしていくというもの。 csvの中身は日付(DATE)とデータ値(VALUE)がカンマ区切りになってい
MySQL-python の Python 3 対応 - methaneのブログ
去年10月に Python 3 の MySQL ドライバ事情 という記事で次のように書いていました。 多分デファクトスタンダードな MySQLドライバなのですが、現状リリースされている 1.2.4 では Python 3 対応ができていません。 Fork の MySQL-for-Python3 が推奨されます。 最近 MySQL-python の方に Python 3 対応の準備的な Pull Request (古い構文を Python 2/3 両対応の構文に置き換える) がちらほらあり、やっぱり中途半端にメンテされてない Fork より本家に対応してもらわないとなぁということで、エイヤで Python 3 対応してしまって 少し大きめの Pull Request を投げました。 しかし、長年の実績がある本家といえども、個人プロジェクトで、１年に数回しかコミットされてない現状です。 一応、
Pythonで作られた便利なコマンドラインツール MySQL Utilities
MySQL Utilitiesならではの注意点 MySQL Utilitiesは従来のコマンドラインツール群とは違い、以下のような記述で接続先を指定します。 これは、従来のコマンドラインツール群が主に1つのMySQLサーバーを対象として動作するものなのに対して、MySQL Utilitiesは2つ以上のMySQLサーバーを対象として動作するものが多いため、このような記法になっています。 [MySQL Utilitiesの記法] --server=ユーザ名:パスワード@ホスト名:ポート番号 [MySQL コマンドラインツール群の記法] --user=ユーザ名 --password=パスワード --host=ホスト名 --port=ポート番号 なおWindows環境ではローカルホストとしてlocalhostと127.0.0.1のどちらを指定しても同じですが、LinuxやUNIXではホスト名に対
PyMySQL のコントリビュート始めました - methaneのブログ
MyKaze を作ってみたり、 http://www.techempower.com/benchmarks/ で PyPy を使ってみたりして、 PyMySQL の重要さを強く感じました。 libmysqlclient は non blocking IO との相性が悪いし、 MySQLdb は Python/C API をガッツリ使ってるので CPython でのパフォーマンスはいいものの逆に PyPy でのパフォーマンスは期待できません。 今後 Tornado, Tulip などと PyPy を組み合わせた高性能なサーバーを書くときには Pure Python の PyMySQL のほうが、 I/O 部分のカスタマイズや PyPy との相性で嬉しいです。 ちょうど時を同じくして、 PyMySQL のメンテナが交代し、停滞していた PyMySQL の開発が再開しました。 そこで I/O 部
舞風作った - methaneのブログ
暗い雰囲気は苦手です。 https://github.com/methane/MyKaze Tornado で MySQL 使うの、まぁ ワーカースレッドでやれる んだけど、 なんかかっこ悪いよね。せっかくだから Tornado の仕組みで通信したいよね。 ってことで、 PyMySQL の中の socket を Tornado の IOStream に置き換えて、同期型APIを greenlet で回避する MyKaze 作りました。 アイデアは全然オリジナルじゃなくて、 gevent もこれベースだし、 MongoDB は Motor っていう greenlet で PyMongo を Tornado ようにラップしてたりします。 接続はブロックするままです(逆に言えば ioloop 回してコールバックの中に入らなくても先に接続できる)し、 タイムアウトも未実装の Proof of Co
Gearman UDFを試してみる(2) - スコトプリゴニエフスク通信
前エントリの続き。 SQLAlchemyを使ってテーブル・トリガーを定義前々エントリで紹介した資料と全く同じテーブルとトリガーをSQLAlchemyを使って定義する。 # -*- coding: utf-8 -*- # models.py from sqlalchemy import * from sqlalchemy.orm import scoped_session, sessionmaker from sqlalchemy.ext.declarative import declarative_base engine = create_engine('mysql://scott:tiger@127.0.0.1/test?charset=utf8&use_unicode=0') Session = scoped_session(sessionmaker(bind=engine)) Bas
ウノウラボ Unoh Labs: PHPで暗号化・復号化あれこれ
GT Nitro: Car Game Drag Raceは、典型的なカーゲームではありません。これはスピード、パワー、スキル全開のカーレースゲームです。ブレーキは忘れて、これはドラッグレース、ベイビー！古典的なクラシックから未来的なビーストまで、最もクールで速い車とカーレースできます。スティックシフトをマスターし、ニトロを賢く使って競争を打ち破る必要があります。このカーレースゲームはそのリアルな物理学と素晴らしいグラフィックスであなたの心を爆発させます。これまでプレイしたことのないようなものです。 GT Nitroは、リフレックスとタイミングを試すカーレースゲームです。正しい瞬間にギアをシフトし、ガスを思い切り踏む必要があります。また、大物たちと競いつつ、車のチューニングとアップグレードも行わなければなりません。世界中で最高のドライバーと車とカーレースに挑むことになり、ドラッグレースの王冠
「外部キーを張らない」設計への雑感 - スコトプリゴニエフスク通信
僕はOracleでRDBMSとかSQLを勉強した人間なので、絶対に外部キーを張り、可能であればチェック制約もかけて、絶対に不正なデータは入れさせたくないと思う人間なのだが、LAMPサーバーを並べてスケールさせるっていう今時のサイトでは、外部キーを張らない設計の方が主流らしい。・・・本当！？確かに、アプリケーションやORMで頑張れば、外部キーを張るメリットが消え、外部キーを張るデメリットだけが残り、そしてMySQLはRDBMSではなく、SQLをサポートする単なるストレージになるだろうが・・・ちなみにSQLAlchemyならばテーブル定義から外部キーを消しても、mapperの定義で明示的に示してやれば、いままで通りのコードが動くはず。以下は「飼い主(Owner)と犬(Dog)の間に一対多の関係がある」という場合の例。 # -*- coding: utf-8 -*- from sqlalchem
HowFriendFeedUsesMySqlToStoreSchemaLessData - FriendFeed では MySQL を使いどのようにスキーマレスのデータを保存しているのか
HowFriendFeedUsesMySqlToStoreSchemaLessData - FriendFeed では MySQL を使いどのようにスキーマレスのデータを保存しているのか 目次 この記事について FriendFeed? では MySQL を使いどのようにスキーマレスのデータを保存しているのか 背景 概観 詳細 一貫性と原子性 性能 FriendFeed? では MySQL を使いどのようにスキーマレスのデータを保存しているのか この記事について "How FriendFeed? uses MySQL to store schema-less data" の日本語訳です http://bret.appspot.com/entry/how-friendfeed-uses-mysql CC 2.5 でライセンスされています: http://creativecommons.org/
オープンソースERP「ERP5」の仏Nexediが日本上陸，GRUBの奥地秀則氏が日本法人社長に
オープンソースERP（統合業務パッケージ）「ERP5」を開発したフランスNexediは2008年6月25日，日本法人Nexediを設立したと発表した。オープンソースERP開発企業として初めて日本法人を設立した。代表取締役社長には，Nexedi本社の最高技術責任者（CTO）を務めてきた奥地秀則氏が就任した。 ERP5は人事管理，会計管理，生産管理，顧客管理(CRM)，コンテンツ管理(CMS)，オンライン取引 (販売，購買）モジュールからなるWebベースのERPで，フランスの水着メーカーCoramy，ドイツの偵察衛星TerraSAR-Xの撮影画像を提供しているInfoterra，フランスの水道局，中央銀行，病院，セネガル共和国，Sevran市役所で導入されている（関連記事「ついに実稼働が始まったオープンソースERP」）。日本のユーザーでも，すでに1年以上にわたって利用されているという。 ERP
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GitHub - julien-duponchelle/python-mysql-replication: Pure Python Implementation of MySQL replication protocol build on top of PyMYSQL
GitHub - nakagami/CyMySQL: CyMySQL: Python MySQL Client powered by Cython
GitHub - emre/lurker: a tiny wrapper for mySQLDB
PyMySQL/PyMySQL · GitHub
2009-05-01 - スコトプリゴニエフスク通信