さくらインターネット研究所さんの「MariaDB Galera Clusterを試す」という記事を読んで居ても立ってもいられなくなり、さっそく AWS で構築してみました。 上記の記事によれば 簡単にまとめると次のようになります。 Galera Replicationが複数のRDBMをレプリケーションするwsrep APIを提供し、同期をとります 完全同期型であるため、すべてのノードがアクティブかつマスターとなります クラスターノードのどれに対してもリード/ライトが可能です ノードの追加/削除は自動で行えます クライアント接続は通常のMySQLとなんら変わりなく使えます via. MariaDB Galera Clusterを試す (1) « さくらインターネット研究所 おー!スレーブ/マスター形式のレプリケーションよりも、断然使いやすそうやんか! ってわけで AWS の ELB 配下に複
最近のphpMyAdminはインライン編集ができる 2013-02-20 MySQLを使ってて何かと便利なphpMyAdmin。ウェブサーバー上で動作するDB管理ツールとしてはデファクトスタンダートといえるツールです。 いつものようにphpMyAdminから何気なくテーブルの内容を表示させて、値をコピーしようとしたときのこと。 これの1行目のname列をコピーしようとしてダブルクリックすると... なんと、入力モードに移行するじゃないですか。 試しに編集してみると... ななんと保存された!何これ!!! しかもですね、DATETIME形式の場合はカレンダーが表示されます。 何このリッチさ。 ちなみにバージョン3.4台のphpMyAdminではできませんでした。バージョン3.5以降に入っているpmahommeテーマから導入されたのかな…? コメント / トラックバック コメントは受け付けてい
カテゴリー DX (2) 一般 (59) 研究会 (6) 働き方 (4) 技術 (352) Edge AI (2) Edge Computing (13) Erlang (1) FIWARE (2) Fog Computing (10) Infiniband (31) Internet of Things (32) Key Value Store (17) Linux (3) Linux KVM (10) Machine Learning (5) RealTime Web (14) SRE (3) Webサービス (42) インフラ (8) コンテナ (4) ストレージ (93) データセンター (7) データベース (47) データ流通 (6) テレプレゼンス (2) ネットワーク (215) 仮想化 (111) 災害コミュニケーション (26) 空間情報 (30) 量子コンピューティン
自己紹介 名前: 山田直行(Naoyuki YAMADA) 屋号: 霧敷スタジオ(Kirishiki Studios) ハンドルネーム: hanputu Github Twitter Blog Blog(old) Note Facebook LinkedIn SlideShare SpeakerDeck YOUTRUST 勤務先/取引先(2024年1月時点) 株式会社ナイルワークス(正社員) ドローン事業部 シニアエンジニア 株式会社サイバーエージェント(業務委託) AILab 経済学社会実装チーム 他 業務委託 1社 興味・スキル バックエンド寄りのウェブアプリケーションエンジニア。 小さなエンジニアリングチームでの立ち上げから長期の運用まで、ウェブサービスの開発過程全般に興味・スキルがあります。 AWSを中心にクラウド環境の構築・運用の経験が多く、運用の自動化(GitHub Actio
ずいぶん前から作って動かしてはいるのですが、GrowthForecastの他にもうひとつのグラフ作成ツールを公開しています。 https://github.com/kazeburo/HRForecast デイリーで更新される数値のビジュアライズに使う事が出来ます。GrowthForecastにはない過去データの登録もできます。 モリスさんのスライドでも少し登場しています。弊社では主にHiveでの集計の書き出し先として使っています http://www.slideshare.net/tagomoris/log-analysis-with-hadoop-in-livedoor-2013 画面はこんな感じ 他のページにembedするHTMLの発行やCSVでダウンロードをサポートしています データの登録APIについて データの登録は、GrowthForecastと同じようにURIに対してPOSTリ
1 Oracle Database MySQL ( ) Oracle OpenWorld Unconference presented by JPOUG 2012/04/06 2 • DB Oracle MySQL – RDBMS – Oracle MySQL 8 2 • Twitter @sh2nd • id:sh2 • 3 • Oracle Database MySQL • Oracle Database MySQL … • MySQL Oracle Database … 4 MySQL 5 MySQL • 2001/01 MySQL 3.23 RHEL 2.1/3 • 2003/03 MySQL 4.0 UNION • 2004/10 MySQL 4.1 4.1.12 Windows Shift_JIS (Microsoft Code Page 932) RHEL 4 • 2005/
https://github.com/rackerhacker/MySQLTuner-perl MySQLTunerはMySQLのチューニングを診断してくれるアプリケーションです。 基本的なパフォーマンスチューニングのヒントをわかりやすく表示してくれます。 MySQLのチューニング設定に不安な方や、はじめてMySQLをさわる方は試してみると良いでしょう。 ライセンスはGNU GPLで無料で使えます。 検証環境 CentOS 6.3(64bit) MySQL 5.5.28 MySQL 5.5をインストール MySQL 5.5をインストールします。 # wget http://rpms.famillecollet.com/enterprise/remi-release-6.rpm # wget http://ftp.jaist.ac.jp/pub/Linux/Fedora/epel/6/x86
VPC上のEC2(CentOS 6.0)でDRBD(8.3)とHeartbeat(3.0)とMySQL(5.5)の記事で自動フェイルオーバーするMySQLができたので、次は、それに合わせて接続先を変更する仕組みを考えます。 EC2はVPCの場合でも、仮想IPアドレスを利用することができないので、まず、hostsファイルを変更したり、内部DNSをたて、DNSレコードを変更したりして、自動フェイルオーバーに合わせた接続変更(接続ホスト名のIPアドレスを変更)を行う方法を考えると思います。 ただ、上記の方法ではミドルウェアのインストールや設定のみでは完結せず、多少の仕組みの作り込みが必要になってしまうはずです。 今回は、MySQLに接続するサーバには必ずHAProxyをインストールし、アプリケーションはlocalhostのMySQL(HAProxy)に接続し、フェイルオーバーに伴う接続先変更はH
そこそこ大きいDBデータが欲しいと言われたら あなたはどうしますか? 今回はMySQLのWikipediaデータを使ってmysqlに突っ込んでみましょう。 xml2sqlのインストール wikipediaで提供しているXMLフォーマットのデータをmysqlやpostgresqlにインポートできるxml2sqlというツールが用意されているので、これを利用します。 http://meta.wikimedia.org/wiki/Xml2sql yum install expat-devel wget http://ftp.tietew.jp/pub/wikipedia/xml2sql-0.5.tar.gz tar zxvf xml2sql-0.5.tar.gz cd xml2sql-0.5 ./configure make cp xml2sql $HOME/bin/ wikipediaの全てのデ
MySQLにてBOOLEAN型のフィールドを作りたいと思ったのですが、Googleで調べると「MySQLのBOOLEAN型は実質tinyint(1)と同じ」といったことが書いてありました。 また、MySQLで厳密なBOOLEAN型を表現したければ、「ENUM(‘TRUE’, ‘FALSE’)」を使った方がいいとも書いてありました。 個人的にはSQL文に「WHERE flag IS TRUE」と書いてSELECTできれば問題ないので、そういった挙動ができるのか確認しました。 実験した環境のMySQLバージョンは5.1.41です。 データはどのように格納されるのか? 以下のようにテーブルを作り、テストデータを流し込みました。 CREATE TABLE boolean_test ( `id` INT NOT NULL AUTO_INCREMENT, `flag` BOOLEAN, PRIMARY
DBサーバでとある日を境にswapが発生していることに気がつきました。 サーバはメモリ32GB搭載していて、そのうちの24GBをinnodb_buffer_pool_sizeに割り当てています。 他のthread毎のメモリ設定値を見てもおかしそうな点はなかったのでググってみました。 MySQL と NUMA アーキテクチャと Swap Insanity MySQL InnoDBストレージエンジンのチューニング(後編) なるほど…。 それぞれのCPUがローカルでメモリを管理しているので、 2CPU積んでいるサーバだと、AというCPUで実行されているスレッドが、BというCPUが確保しているメモリ領域にアクセスするには、AのCPUを経由しないといけないわけですね。 このメモリアクセスが不均一になる方式をNUMAアーキテクチャというみたいです。 NUMAアーキテクチャのメモリ管理が、ノードという単
For your convenience, a short phrase book, starting with explanation of process states where MySQL is mostly working to look up data from tables: “Sending data” – reading data from tables (or looking it up) “Copying to tmp table” – reading data from tables (or looking it up) “Copying to tmp table on disk” – query needs a rewrite “statistics” – looking up data from tables “Sorting result” – reading
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog こんにちは、DBMSチームの三谷です。 ヤフーでは多くのサービスでMySQLを利用しています。MySQLはヤフーを支える重要な技術の1つです。 私のチームではヤフーのさまざまなサービスのデータベースを集約して管理・運用しています。 集約することでコストの削減やノウハウの蓄積といった効果を生み出しています。 今回はこの集約環境の冗長化方法についてご紹介します。 集約環境の構成 集約環境ではマスターの冗長化にレプリケーションを利用せず、エンタープライズ向けの共有ストレージを利用したアクティブ・パッシブ型のHA構成を採用しています。 データファイルを共有ストレージに置き、どのマスターサーバーからでも同じデータに対してアクセスできるように
VPC上でInternal ELBが提供され、slave群をInternal ELB配下に置くことで、slaveサーバの冗長化が出来るようになりました。 そこで、ELB配下に配置した際のパフォーマンスの劣化と注意点を見つけるためにパフォーマンス測定をしてみました。 色々 DB: とあるデータ件数の多いDB コネクション数: 100,200,300,400,500,600,700,800 試行回数: 1クライアントにつき 100回 クエリはランダムに発行 ELB配下には2台配置 結果 スループット(qps) スループットが上がっているのは、キャッシュヒット率が上がっているため connection DIRECT ELB 100 1897.5 1703.5 200 2075.1 1696.3 300 2286.79 1897.37 400 3098.5 2033.93 500 3255.8 2
MySQLで整合性のあるバックアップを取得するのに、 "FLUSH TABLES WITH READ LOCK"でテーブルロック バックアップ処理(mysqldumpやスナップショット) "UNLOCK TABLES"でロック解除 みたいなスクリプトを実行していたが、"FLUSH TABLES WITH READ LOCK"って必ず数ミリ秒みたいなレベルでロックできるのかなと疑問に思った。 結構時間のかかるクエリが処理されていたりすると、すぐにロックできないんではないかと思った。 ちょっと調べてみると、やはりすぐにロックされない可能性もあるようだ。*1 FLUSH TABLES WITH READ LOCKの速度について ということで、"FLUSH TABLES WITH READ LOCK"後に、以下のような確認処理を追加した。 "SHOW PROCESSLIST"を実行して、"FLUS
Many third parties create rich applications to facilitate database management, database development and database administration. Here are ten outstanding graphical user interface (GUI) tools for MySQL. Why use a GUI tool? Most relational databases, with the notable exception of MS Access, are comprised of two distinct components: the back-end, where the data is warehoused, and the front-end, a use
MySQL Connector/J driver has built-in feature for load balancing. If you have a cluster of read/write MySQL servers. Putting loadbalance: in the JDBC URL will ensure both read and write operations are distributed across servers. jdbc:mysql:loadbalance://master1,master2,master3…/database?loadBalanceBlacklistTimeout=5000&loadBalanceConnectionGroup=cgroup&loadBalanceEnableJMX=true&autoReconnect=true&
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く