DjangoからMySQLにCOMMITしたデータが別のトランザクションから見えない - orangain flavor
はじめに Djangoを使ったアプリケーションで、2つのバッチ処理用プロセスA、Bを同時に立ち上げたときに、Aのトランザクションでsave & commitした値をBでは読み取れないという問題に直面しました。 問題の箇所のソースコードはこのような感じです。 実行順 プロセスA プロセスB 1 with commit_on_success(): p = Post(id=1) p.save() 2 # saveしたデータが見える Post.objects.get(id=1) 3 with commit_on_success(): p = Post(id=2) p.save() 4 # saveしたデータが見えず例外発生 Post.objects.get(id=2) Djangoではデフォルトで自動コミットが有効なので、Aでコミットした値をBで読み取れるはずと思っていたのですが、これは間違いでし
MySQLのスローログ関連のパラメーターが評価される順番
別のエントリー書いてたら、前に誰かに聞かれたなと思ったのでメモ。 スローログが出力されるかどうかの判定は、 1. スローログが有効化されていること 2. log_slow_admin_statements = 0 で除外されるステートメントではないこと 3. (long_query_time以上の時間がかかっている) OR (log_queries_not_using_indexes にマッチする) クエリーであること 4. クエリーのExaminedが min_examined_row_limit 以上であること 5. log_queries_not_using_indexesにマッチしていることが決まっている場合、log_throttle_queries_not_using_indexes で設定された以上の時間が経っているかどうか 意外と4. が知られてなくて、どんなに時間がかかって
MariaDB で ORDER BY してから GROUP BY - チェルシー ヨーグルトスカッチ
まえがき 「MySQL で ORDER BY してから GROUP BY するっぽいことをする - はてダ」のようなことをやりたい。 検証環境に MariaDB が入っていたためタイトルには MariaDB と書いたが、 MySQL でもたぶん同じである。 MariaDB [(none)]> select version(); +---------------------+ | version() | +---------------------+ | 10.0.16-MariaDB-log | +---------------------+ 本題 さて、 MariaDB [test]> SELECT * FROM hoge; +------+------+------+ | id | gid | time | +------+------+------+ | 1 | 1 | 1 | |
MySQL 5.6のインストール後にチューニングすべき項目 | Yakst
MySQLコミュニティマネージャのMorgan Tocker氏による、MySQL 5.6をインストールした後にデフォルト値から変更した方がよいパラメータの解説。 数々のデフォルト値の改善によって、過去のバージョンと比べてMySQL 5.6では設定しなくてはならない値がかなり減った。とは言え、変更すべきものについてここで書いておきたい。 InnoDBの設定 innodb_buffer_pool_size - デフォルトは128M。これは、メモリにロードされるデータとインデックスのためにInnoDBがどのくらいメモリを使うかを指定するものなので、設定すべき重要な値だ。MySQLの専用サーバなら、搭載されているメモリの50%から80%が推奨される設定値だ。例えば、64GBのRAMを搭載しているサーバなら、バッファプールは50GB程度にすべきだろう。 innodb_log_file_size -
master、slaveの切り替え
前回、HAProxyによるフェイルオーバーを行ったので、 続けて今回は自動でmaster,slaveの切り替えを行いたいところですが、 その前に手動での切り替えを行いたいと思います(｀・ω・´)ｼｬｷｰﾝ 今回の構成ははmaster１台(server-idは10)、 slave２台構成(slave1はserver-idが20,slave2はserver-idが30)のレプリケーションを行っている環境で、 slaveをmasterに変更し、masterをslaveに変更してみたいと思います( ´∀｀)bｸﾞｯ! その前に注意点として、次の点があるそうです。 MySQLドキュメントから一部抜粋 http://dev.mysql.com/doc/refman/5.1/ja/replication-solutions-switch.html スレーブを --log-bin はあるけれども --lo
Zabbix標準の「Template App MySQL」テンプレートを使う - めもおきば
Zabbixだと標準でTemplate_App_MySQLというテンプレートが入っているのですが、残念ながらzabbix-agentd側に対応するUserParametersが設定されていないと使えません。 TMTOWTDI(正解はひとつじゃない)というPerlの標語のとおり、自分のやり方でUserParametersを設定すれば良いのですが、取っ掛かりとして自分のやり方を紹介します。 MySQLに接続できるようにする（MySQLユーザの準備） Debian/Ubuntuでは、管理系のツールで共通に使える「debian-sys-maint」というMySQLユーザが用意されているのでそれを使います。このユーザの情報は、/etc/mysql/debian.cnf にrootだけが読める状態で用意されています。 RedHat/CentOSではそういうのは無いので、自分でユーザを作るかrootユー
SSHトンネリングで別NWのMySQLサーバに接続する | 株式会社イーライセンスシステムズ
この記事では、以下の図のように外部公開されていないMySQLサーバに、SSHサーバを踏み台としてアクセスする方法を説明します。 ただ、外部に公開されていないMySQLサーバは、そもそも外部から接続する必要がないためにそのような仕様となっているはずなので、それを加味した上で、本当に必要な設定かどうかは吟味してください。 なお、本文中にSSHの公開鍵認証を利用する部分がありますが、公開鍵の作成方法についてはこの記事では触れませんので、SSHでの公開鍵認証を参照してください。 SSHポートフォワード(トンネリング)とは SSHポートフォワードとは、SSHサーバ経由でさらに別のサーバに接続する処理を簡略するためのSSHクライアントの機能です。 これを設定すると、localhostの任意のポートにアクセスすると、任意のサーバ(今回の場合、MySQLサーバ)に直接アクセスしているような感覚で接続するこ
MySQL :: MySQL 8.0 リファレンスマニュアル :: 17 レプリケーション
スケールアウトソリューション - 複数のレプリカに負荷を分散して、パフォーマンスを向上させます。 この環境では、すべての書込みおよび更新がソースサーバーで実行される必要があります。 ただし、1 つまたは複数のレプリカで読み取りが行われる場合があります。 このモデルでは、(ソースが更新専用であるため) 書込みのパフォーマンスを向上させる一方で、レプリカの数の増加に伴って読取り速度を大幅に向上させることができます。 データセキュリティ - レプリカはレプリケーションプロセスを一時停止できるため、対応するソースデータを破損させることなくレプリカでバックアップサービスを実行できます。 アナリティクス - ライブデータはソースで作成できますが、情報の分析はソースのパフォーマンスに影響を与えることなくレプリカで実行できます。 長距離データ分散 - レプリケーションを使用すると、ソースに永続的にアクセス
mysql2-cs-bind released! - たごもりすメモ
前に RubyでMySQLに繋ぐためのruby-mysqlとmysql2 - tagomorisのメモ置き場 というエントリで書いたとおり、いまおそらく最もよく使われそうな mysql2 という ruby用のmysqlドライバにはprepared statementを扱うためのAPIがない。MySQLではprepared statementを使っても使わなくても速度に影響は無いらしい(後のtweet参照)し、O/R Mapperを経由しての使用がメインだから不要、という判断なのだろう。 (p19)MySQLの場合: PreparedStatementプール機能の利用有無は、性能にまったく影響しません・パラメータのバインド機構の利用有無は、性能にまったく影響しません / Microsoft PowerPoint - URL 2012-04-18 11:49:15 via Hatena しかし
メールサーバ構築のまとめ（複数のバーチャルドメイン+Postfix+MySQL+Dovecot+procmail+Clam AntiVirus+spamassassin+postfixadmin） | perlとMysqlと鯖管メモ他ぁ
HOMEサーバ管理インストールメモメールサーバ構築のまとめ（複数のバーチャルドメイン+Postfix+MySQL+Dovecot+procmail+Clam AntiVirus+spamassassin+postfixadmin） メールサーバ構築のまとめ（複数のバーチャルドメイン+Postfix+MySQL+Dovecot+procmail+Clam AntiVirus+spamassassin+postfixadmin） 2011.01.06 postfix インストールメモ postfix, postfixadmin, procmail, メールサーバ 2013/02/23追記 dovecot2にアップグレードしたエントリーはこちら 2013/02/22追記 TLS対応。エントリーはこちら 2013/01/15追記 wpの設定を変えたこともあり見難いので随時記事を添削します。 201
MySQL レプリケーションのセットアップ手順 - わくわく技術ランド
想定していること † MySQL5.0 MySQLがすでに稼動中。レプリケーションの設定はしていない 今回MySQLをもう一台増やして2台構成とし、master、slaveの構成にする ※今回と状況が異なる場合は、MySQLのリファレンスマニュアルを読むといいです。 ↑ 1. レプリケーション用ユーザを作成する † レプリケーション用ユーザを作成する 作成するユーザーはスレーブがマスタのバイナリ ログを読み込むときに接続するユーザーとなる。 既存のユーザーでもレプリケーションは可能だが、ユーザ名とパスワードが master.info ファイル内にテキストで保存されるため、安全のためレプリケーションプロセスにだけ権限があるユーザを作成する 設定例(マスタのほうに設定) 192.168.23.0/24 内のネットワークで許可 ユーザー名：repl パスワード：slavepass mysql >
MySQL レプリケーションの設定 - とみぞーノート
1.2 レプリケーションの動作レプリケーションでは最初にDBの内容を同期させた後、Masterサーバーで実行された更新系のクエリ(UPDATEとか)をSlaveに渡してSlaveでも同じクエリを実行していくことで、DBを同期させている(図1)。 Master側で実行された更新系クエリはバイナリログに蓄えられており、Slave側が接続してきたら、前回の接続からの変更分をSlave側に送信する。Slave側は受け取ったクエリを一旦リレーログに蓄えて順次クエリを実行してDBを同期させていく。リプリケーション動作にはBinlogDump,I/O,SQLの3つのスレッドが連携して動作する。 2.設定手順 (Master-Slave構成) 2.1 Master側の設定の確認Master側ではバイナリログを採取しておく必要があるので、Master側のmy.cnfにlog-binの設定が入っていることを確
OpenSSHでトンネリング | 変なヤバいもんログ
Posted on 2007年10月11日 Posted by ちゅう コメントする Posted in Development Tags: Linux, Mac, tool, Windows 外部から見えないサーバへつなぐ必要があって、SSHのトンネリングというのをやってみた。 Mac,Linuxの場合 鯖1 (example.com) でSSHサーバが動いてて、グローバルIPアドレスを持たないが鯖1と同じネットワークにいる鯖2(192.168.1.10) につなぎたい、という場合 SSHトンネリングすると鯖2に直接接続つないでいるかのように扱うことが出来ます。 今、手元から 鯖2 の MySQL サーバにつなぎぐ場合の例です。MySQLのポートはデフォルトの 3306 とし、鯖1から接続が可能な状況とします。 以下のようにすると、自分のマシンの 19000番ポートが SSHトンネルを経
MySQLレプリケーションを安全に利用するための10のテクニック
MySQLのレプリケーションは非常に簡単に使える割には応用の幅が広いので非常に人気のある機能の一つである。レプリケーションの応用分野は例えば、 バックアップ 参照系の負荷分散 HA（高可用性） ディザスタリカバリ（サイト間レプリケーション） BI（レポーティングetc） という風にとても多くのバリエーションがある。このブログを読んで頂いている皆さんの中にもレプリケーションを使っている方は多いのではないだろうか。ご覧の通りMySQLのレプリケーション機能はミッションクリティカル分野でも利用されているが、レプリケーションの使い方が適切でないとシステムの安定稼働に支障を来してしまってDBAやシステム管理者の肉体的、精神的負担が増大してしまう。逆にレプリケーションを堅牢に運用することが出来ればマクラを高くして眠れるというものだ。レプリケーションはMySQLの代表的な機能であるので、レプリケーション
mysqlのcollateを使って大文字-小文字や全角-半角を無視した検索 - end0tknr's kipple - web写経開発
mysqlでは、collate = utf8_unicode_ciを指定すると、大文字-小文字だけでなく、全角-半角を同一視できるそうですが、実際にどの文字が同一視されるのかを試してみました。 collateとは http://tetlist.info/2009/01/mysql ↑このエントリでも分かりやすく紹介されていますが、collate(照合順序)とは、文字を比較(一致/不一致や表示順)する際のルールです。 utf8_unicode_ciで大文字-小文字だけでなく、全角-半角を同一視 mysqlのデフォルトcollateであるutf8_general_ciでは、大文字-小文字を同一視しますが、utf8_unicode_ciでは、さらに半角-全角も同一視します。 ※ci とは Case Insensitive の略称のようです tableやcolumn自体にcollateを設定する
mysqlコマンドをより便利に安全にするための小粒なTIPS集｜サイバーエージェント 公式エンジニアブログ
初めまして。2010年の3月に入社した oinume です。新年1月からウィルス性胃腸炎に罹りながらもなんとかこのエントリーを書いています。今回は、mysqlコマンドに関する自分が今まで学んだ＆教えてもらった細かい実践的なTIPSを紹介します。小粒ですが何かの役に立てば幸いです。 edit (¥e)コマンド mysqlプロンプトにいながら任意のエディタでSQLが編集できちゃいます。具体的には、mysqlコマンドでプロンプト待ちの状態で mysql> edit のように edit または ¥e と入力すると、環境変数EDITORで設定してあるエディタが立ち上がりSQLが編集可能になります。編集が終わったらエディタを終了して ; とやればSQLが実行されます。viなどターミナルで動くエディタに慣れている人は長いSQLを編集する時に重宝する機能でしょう。この技は前職の同僚に教えてもらって、以降便
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
红河噶仙装饰工程有限公司
GitHub - tagomoris/mysql2-cs-bind: 'mysql2' extension to add pseudo prepared statement
Postfix
はてなブログ | 無料ブログを作成しよう