docker composeでMySQLのデータ領域をローカルにマウントする
この記事は12/1のDocker2 Advent Calendar, 12/3のHamee Advent Calendarの記事です。 こんにちは。 docker composeめちゃくちゃ便利ですよね。 Chef, Vagrant, Puppet, Ansible, Fabric…とプロビジョニングツールとか仮想化ツールを色々触ってきましたが、 それらよりずば抜けて扱いやすいと思っているツールです。 で、ローカルで開発している時に困るのが、 MySQLをはじめDBにデータを持ってもコンテナを破棄するとデータがすっ飛ぶ 問題です。 軽量なアプリの場合ならDB破棄してシード流して、、、という構成でもイケるかも知れませんが、多くの場合オーバーヘッドが大きすぎてまともに開発できなくなると思います。 Docker for Macを使用している場合はこの問題は難なく解消できるのですが、 docker
GoとMySQLを用いたジョブキューシステムを作るときに考えたこと - ゆううきブログ
【追記】2023年3月21日 YAPC::Kyoto 2023で、ジョブキューシステムFireworqの設計と運用実績も含めて発表されました。id:tarao ++ 【加筆修正】 2020年2月16日 執筆時から6年も経過していますが、たまたまこの記事を振り返る機会があったので、日本語がおかしいところを一部修正したり、一緒に取り組んだ方々の名前が書かれていなかったところを修正しました。 【追記】2017年12年24日 このエントリのジョブキュー実装がFireworqという名でOSSとして公開されました。id:tarao ++ github.com この記事ははてなエンジニアアドベントカレンダー2014の4日目です。 前回は Mackerelで採用している技術一覧とその紹介 - Hatena Developer Blog でした。 社内の開発合宿で、 id:taraoさん、id:hakobe
DockerでアプリケーションとMySQLをコンテナ化してRedmineを構築する - hidemium's blog
Dockerの公式リポジトリにsameersbn/redmineというRedmineのイメージがあったので試してみました。 このイメージの面白いところは、アプリケーションだけでなくデータベースもコンテナにし、さらにデータファイルをコンテナから分離してるところです。 構成 Ubuntu 12.04: Docker 0.10.0、Redmine 2.5.1、MySQL 5.6 ※上記のサーバはVMware ESXi 5.1上で動作しています。 インストール MySQL まずは、以下のコマンドでMySQLのイメージをダウンロードします。 $ sudo docker pull sameersbn/mysql:latest次にMySQLのデータディレクトリをホスト側で保存するため、ホスト側でディレクトリを作成します。 $ sudo mkdir -p /opt/mysql/datadocker run
[MySQL][Python]8000万レコードをInsertする | Momentum
概要 ・とある物件で8000万弱のレコードを新規のDBに効率的にぶち込む方法を考える必要に ・MySQL(Amazon RDS) + Python(mysql.connector)を想定 ・mysql.connector + pythonについては拙文ながら(http://nekopuni.holy.jp/?p=927)に書いております。 ・コミットの位置には気をつけよう + Multiple Insert最強ねというお話。 方法その1 まずは最初にやった方法。1レコードごとにInsertしてコミットしていく方法。 今までDB関連でやったコードはレコード量も大したことなかったので以下の方法でも特に問題なかった。 具体的な環境としてはテキストデータ(csv)を読み込み、それをDBにInsertしていくというもの。 csvの中身は日付(DATE)とデータ値(VALUE)がカンマ区切りになってい
InnoDB main threadことはじめ - Chobie's Blog
みなさんこんにちは！12月の2週目が始まり年末にかけて仕事もプライベートも色々な準備に追われる時期ですね。 今日は以前書いたRanking Storageの続きの話をしたいところなのですが、諸事情でまだまだいいとこまで行っていないので今日はInnoDBのmain threadについて書いてみたいと思います。そんなにMySQLに詳しくないので間違っている部分があれば@chobi_eまで突っ込んでいただければ嬉しいです。 InnoDBのアーキテクチャ概要 InnoDBではパフォーマンスを向上させるための様々な努力がされているのですが、代表的なものといえばBuffer Poolですね。 僕の理解の範囲だと（正確じゃないでしょうが）きっとこんな感じでInnoDBは構成されているはず。 さて、InnoDBのキモとも言えるBuffer Poolですがどのように動作しているかざっくり説明するとこんな感じ
CentOS6.xに最新版のMySQL5.6とmroongaを最速でRPMインストールする方法 - Y-Ken Studio
CentOS-6.xの環境に MySQL-5.6.12 と フルテキスト検索ストレージエンジンであるmroongaの最新版を入れる方法を紹介します。 以下それぞれ、ステップを追って紹介します。 オラクル公式の MySQL-5.6 バイナリを yum (rpm)で入れる MySQL-5.6.12 対応の mroonga-3.05 を yum (rpm)で入れる 更新履歴 2013/10/23 補足トピック"最新のMySQLおよびmroongaでのビルド方法"を追加しました 2013/06/29 mysql-mroonga-3.05リリースに合わせてリポジトリと記事の更新をしました 2013/05/29 mysql-mroonga-3.04リリースに合わせてリポジトリと記事の更新をしました 最新のMySQLおよびmroongaでのビルド方法 RPMパッケージのビルド方法を解説した記事を、gih
mroongaってなんじゃ？ (mroongaでmysql全文検索)
mysqlで全文検索といえばTritonnが有名でした。現在ではmysqlで全文検索をするときにmroongaというプロダクトが有望なようです。 Tritonnとの違いは以下のサイトが詳しいです。 「全文検索エンジンgroongaを囲む夕べ #1」参加メモ 簡単にいうと、 Tritonn：Sennaという全文検索エンジンをMySQL用に組み込んだものです。MyISAMを前提に組み込まれていることもあり、更新が遅く、また更新時の検索が重くなるなど、ベストなパフォーマンスが得られにくかったようです。 mroonga：groongaという全文検索エンジンをMySQL用にストレージエンジンにしたものです。MyISAMに依存しないため更新時の参照に影響を与えず、更新も速いようです。 では、さっそく導入してみます。 環境はEC2上のCentOS-6.4.1（suz-lab AMI）です。 groong
MongoDBとMySQLでのスキーマデザインの違い | Yakst
MySQL Performance Blogの翻訳。MySQLのようなリレーショナルデータベースと、ドキュメント志向データベースMongoDBでのスキーマデザインの違いについて。 2013/08/01 by Stephane Combaudon リレーショナルデータベースに慣れている人がMongoDBのようなNoSQLのソリューションを使うのは、面白いチャレンジになるだろう。そのうちのひとつが、スキーマのデザインだ。リレーショナルな世界では、正規化がいいとっかかりだが、新しくMongoDBのアプリケーションを作るときには、データ保存についてどうデザインすべきだろうか？ 簡単な例を挙げて、MySQL(というかあらゆるリレーショナルデータベース)でデータ構造をどう作るか、そしてMongoDBではどうかを見てみよう。個人情報(名前)とその人のパスポートの詳細(国籍と有効期限)を保存したい、という
MySQL 5.6のインストール後にチューニングすべき項目 | Yakst
MySQLコミュニティマネージャのMorgan Tocker氏による、MySQL 5.6をインストールした後にデフォルト値から変更した方がよいパラメータの解説。 数々のデフォルト値の改善によって、過去のバージョンと比べてMySQL 5.6では設定しなくてはならない値がかなり減った。とは言え、変更すべきものについてここで書いておきたい。 InnoDBの設定 innodb_buffer_pool_size - デフォルトは128M。これは、メモリにロードされるデータとインデックスのためにInnoDBがどのくらいメモリを使うかを指定するものなので、設定すべき重要な値だ。MySQLの専用サーバなら、搭載されているメモリの50%から80%が推奨される設定値だ。例えば、64GBのRAMを搭載しているサーバなら、バッファプールは50GB程度にすべきだろう。 innodb_log_file_size -
MySQL 5.7のマルチソースレプリケーション | Yakst
MySQL Performance Blogの翻訳。MySQL 5.7開発版と合わせてアナウンスされた、マルチソースレプリケーション。マルチマスタとの違いと、マルチソース環境の概要を、実際の設定や動きを交えながら解説する。 October 2, 2013 By Miguel Angel Nieto 最近Oracleは、この記事を書いている時点でバージョン5.7.2の最新MySQL開発版に対して、数々の新機能をアナウンスした。これらの多くは、新しいリリースが非常に素晴らしいものになるであろうことを予感させるパフォーマンスやレプリケーション関係の機能だ。 この記事で、新しいマルチソースレプリケーションの機能をどう動かすかの簡単な手順と、テストのためにどう設定すべきかを説明しようと思う。これは開発版なので、すぐに本番環境で使えるものではないことをあらかじめ指摘しておこう。いずれにしても、開発環境
#Nginx + #golang (FastCGI)+ #MySQL を使ったWebアプリケーションを書くための準備
はじめに下記の記事をみたら分かりやすいかもしれませんが、英語なので、実際にやった方法も交えてメモしておこうと思います。（似てるところもありますが、翻訳ではありません。） Writing a Go (“golang”) Web App with nginx, FastCGI, MySQL, JSON 前提として、Go言語でWebサーバーをつくって動かすと言うと２種類の方法があります。 １つは、Go言語の“net/http”パッケージというのがありますので、これを使ってGo自体でWebサーバーを作ってしまうことができます。 もう1つは、ApacheやNginxなどのWebサーバー上で、CGI(正確にはFastCGI)としてGo言語を動かす方法です。これはNginx+PHP-FPMのようなもに近いイメージだと思います。 Nginxを使うか使わないかは、こちらのStackoverflowをみると、
DjangoからMySQLにCOMMITしたデータが別のトランザクションから見えない - orangain flavor
はじめに Djangoを使ったアプリケーションで、2つのバッチ処理用プロセスA、Bを同時に立ち上げたときに、Aのトランザクションでsave & commitした値をBでは読み取れないという問題に直面しました。 問題の箇所のソースコードはこのような感じです。 実行順 プロセスA プロセスB 1 with commit_on_success(): p = Post(id=1) p.save() 2 # saveしたデータが見える Post.objects.get(id=1) 3 with commit_on_success(): p = Post(id=2) p.save() 4 # saveしたデータが見えず例外発生 Post.objects.get(id=2) Djangoではデフォルトで自動コミットが有効なので、Aでコミットした値をBで読み取れるはずと思っていたのですが、これは間違いでし
MySQL5.6で今までのVerでは問題無かったSQL文がエラーになった場合の対処法 - oranie's blog
追記：記事の文中で5.6のsql_modeデフォルト値について若干実際の挙動と異なる表記をしていました。rpmでinstallすると/usr/my.cnfというのがひょっこりいて、この中に [mysqld] sql_mode=NO_ENGINE_SUBSTITUTION,STRICT_TRANS_TABLES という記述があり、これを/etc/my.cnfと合わせて設定している様です。で、デフォルト値については5.6.6以降はデフォルト値が「The default SQL mode in MySQL 5.6.6 and later is NO_ENGINE_SUBSTITUTION;」でそれ以前のデフォルト値は「MySQL 5.6.5 and earlier, it was empty (no modes set)」となっているようですね。 詳しくは http://yoku0825.blo
クソクエリを燻り出す - Studio3104::BLOG.new
非効率なクエリが投げられてMySQLサーバが悲鳴をあげることがあります。 DBAは、そんなときに「こんなクソクエリ投げてんじゃねーよ(ノ｀Д´)ノ彡┻━┻」と言えるようにダメクエリを探し出せるようにしておく必要があります。 スロークエリログ スロークエリログを出力するようにする my.cnfにこのように書いておくと、実行に指定時間以上を要したクエリが指定ファイルに出力されるようになります。 ※MySQL5.0以前のバージョンは書き方が異なるので注意 この例では、「実行に0.5秒以上かかったクエリを/var/log/mysql/slow.logに吐く」ようになります。 [mysqld] slow_query_log=1 slow_query_log_file=/var/log/mysql/slow.log long_query_time=0.5 漢(オトコ)のコンピュータ道: MySQL 5
解析まで10分！最強のMySQLチューニングツール「Jet Profiler」 - Lancers開発ブログ
こんにちは、keiです。 今回は、MySQLのチューニングに大活躍な「Jet Profiler」というツールをご紹介します。 Jet Profilerとは Jet Profilerは、MySQL向けのクエリアナライザです。 クエリチューニングは、DBパフォーマンスチューニングの中でも重要な作業の1つですが、 Jet Profilerを使えば、その作業をGUIで直感的に行うことができます。 フリーウェアの形態で提供されており、機能限定版であれば無料で利用することができます。 購入する場合は、$499となります。 詳細情報、ダウンロードは公式ページからどうぞ。 http://www.jetprofiler.com/ja/ Jet Profilerの魅力 その1 導入のしやすさ 通常のWindowマシンに、普通のアプリケーションをインストールする感覚でインストールが可能です。 イン
うるう秒のあとにMySQLなどのCPU使用率が高騰する件について - SH2の日記
2012年7月1日のうるう秒のあとに、MySQLやJavaなどのCPU使用率が高騰する事象が報告されています。 CPU %user %nice %system %iowait %steal %idle 08時30分01秒 all 0.02 0.00 0.02 0.04 0.00 99.91 08時40分01秒 all 0.02 0.00 0.02 0.08 0.00 99.88 08時50分01秒 all 0.02 0.00 0.02 0.03 0.00 99.92 09時00分01秒 all 0.11 0.00 0.13 0.04 0.00 99.72 09時10分01秒 all 23.02 0.00 29.09 0.11 0.00 47.78 09時20分01秒 all 23.11 0.00 29.08 0.06 0.00 47.75 09時30分01秒 all 22.85 0.00
UbuntuにRedmineをインストール
UbuntuにRedmineをインストール Ubuntu10.4でRedmine1.0.1（まとめ直し版） - hogehoge foobar Blog Style5 http://d.hatena.ne.jp/mrgoofy33/20100905/1283641882 上記をよめば、以下読む必要なし。たぶん。 VirtualBox等の仮想環境上でテストする Ubuntu10.10をインストールして、アップデートと、ゲストアドオンをインストールしただけの環境を使用 ruby, gemはapt-getする railsは、apt-getしない。手動で sudo gem install する 1. MySQLのインストール インストール $ sudo apt-get install mysql-server 文字コードをutf-8に設定 $ sudo nano /etc/mysql/my.cnf
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
SQLの観点から「Oracle Database」「PostgreSQL」 「MySQL」の特徴を整理しよう！
MySQL 容量確保のためのデータ削除方式 | Ore no homepage
Home
