LINEのMySQL運用について
1. LINEのMySQL運用についてKentaro Kitagawa, IT service center - database department - db1 team DB Tech Showcase 2018 2018/09/20 2. l 北川 健太郎 / Kentaro Kitagawa l LINE株式会社 l IT Service Center - Database dept.- DB1 Team l データベースエンジニア l MySQL / Oracle Database / Redis l MySQL道普請: http://gihyo.jp/dev/serial/01/mysql-road-construction-news Introduction @keny_lala
YAPC::Kansai で RDBアンチパターン その2 について話してベストトーカー賞を取ってきた #yapcjapan - そーだいなるらくがき帳
YAPC::Kansaiでトークしてきました。 yapcjapan.org RDBアンチパターンの話してきました。 去年、PHPカンファレンスでRDBアンチパターンの話をして盛り上がったのでそれの第二弾です。 b.hatena.ne.jp speakerdeck.com 僕が伝えたい事はたったひとつ。 このブログを読んだらすぐ自分たちのサービスのバックアップとリストア手段確認してください！ お兄さんとの約束だぞ！！ このトーク応募したらGitLab.comが大事故起こしたり、S3が落ちたり世の中では大変そうでした。 www.publickey1.jp ヒューマンエラーとかあるんですよほんと。 僕もいっぱい見てきたし、やったし（ぉぃ なので本当にもうこれだけは絶対確認してほしいって思います。 実際に「バックアップ無いDBをバグで飛ばしたんですけどどうすればいいですか？」とか相談来ます。 ほん
MySQLのバックアップと"FLUSH TABLES WITH READ LOCK"について - jitsu102's blog
MySQLで整合性のあるバックアップを取得するのに、 "FLUSH TABLES WITH READ LOCK"でテーブルロック バックアップ処理(mysqldumpやスナップショット) "UNLOCK TABLES"でロック解除 みたいなスクリプトを実行していたが、"FLUSH TABLES WITH READ LOCK"って必ず数ミリ秒みたいなレベルでロックできるのかなと疑問に思った。 結構時間のかかるクエリが処理されていたりすると、すぐにロックできないんではないかと思った。 ちょっと調べてみると、やはりすぐにロックされない可能性もあるようだ。*1 FLUSH TABLES WITH READ LOCKの速度について ということで、"FLUSH TABLES WITH READ LOCK"後に、以下のような確認処理を追加した。 "SHOW PROCESSLIST"を実行して、"FLUS
MySQLバックアップ頂上決戦！！ LVMスナップショット vs InnoDB Hot Backup
スナップショットを使えばとある瞬間のディスクやファイルシステムのデータをいつでも後から参照することができる。しかもスナップショットの作成は一瞬だ。スナップショット機能を活用すれば最強のオンラインバックアップソリューションが出来るだろう。 しかし、スナップショットでバックアップを取るなんて危険な操作じゃないのか？！と不安に思われる方もいらっしゃるかも知れない。MySQL Serverが稼働中にいきなりデータだけをとってくるのだから、そのような疑問を持たれるのは頷ける。しかし仕組みさえ分かればスナップショットによるバックアップは怖くないということが分かるはずだ。そこで、まずはスナップショットによるバックアップの仕組みについて説明する。スナップショットを取る際の要件は次の通りである。 全てのデータを単一のボリュームに置くこと。つまり、一回のスナップショット操作でバックアップが取れることだ。 ディ
10分で分かるバックアップとレプリケーション
5. レプリケーション • データを他ノードにオンライン複製 • ⽬目的: 可⽤用性向上 Master-slave 型 Master 1 台，slave 1 台以上 Master 平等型 全ての複製が同等 今回こちらは考えない Replica Slave Slave Replica Repica 5 6. レプリケーションの分類 • 同期 – Slave ストレージにも 書いてから write IO 完了了 • ⾮非同期 – Master ストレージに 書いたら write IO 完了了 6 1 2 5 3’ 2’ 4 Master 3 Slave 4 1 3 2 2’ 4’ 3’ • 準同期 – ⾊色々な意味で使われるので注意 6
なぜ？“磁気テープ”が復活 - NHK 特集まるごと
データ保存の専門家 「いま、磁気テープが非常に脚光を浴びている。 復活したといってもいい状態だと思う。」 阿部 「そう、われわれの時代は、カセットテープですよ、青春の思い出と共に。 なかなか処分できないんですよ、かさばっていても。」 鈴木 「そういう方、多いと思うんですよね。 使いやすさの面でも、記録できる情報量の面でも、ＣＤやＤＶＤにとって代わられた磁気テープなんですが、日本のメーカーが性能を飛躍的に高めた結果、今、再び記録媒体として、復活のきざしを見せています。 新しい磁気テープは、１本でＤＶＤ５００枚分という、大量のデータを記録できるようになっているんです。」 阿部 「なぜ今、磁気テープが注目を集めるのか、取材しました。」
[MySQL] MySQLバックアップシェルスクリプト – (っ´∀｀)っ ゃー | 一撃
皆さんこんにちは。今年も半分＼(^o^)／ｵﾜﾀと嘆くよりも、21世紀の1/8が終わったというスケールの大きさでいろいろと誤魔化している (っ´∀｀)っ ゃー でございます。いかがお過ごしでしょうか。 MySQLのバックアップは常にとっておきたいですよね。シェルスクリプトに書いてしまってcronでまわせば、わざわざコンソールやブラウザ(phpMyAdmin)でカタカタポチポチしなくて済みます。今回作成したMySQLのバックアップシェルスクリプトは、ワンライナーではありませんがワンライナーの応用を使っているので、一応シェル芸のひとつとしてご紹介したいと思います。 まずはいきなりソースを見てみましょう。 #!/bin/bash LANG=C ID=<全DBにアクセスできるID rootとか> PASSWD=<パスワード> DSTDIR=${HOME}/src/sql [ ! -d ${DSTD
![[MySQL] MySQLバックアップシェルスクリプト – (っ´∀｀)っ ゃー | 一撃](https://cdn-ak-scissors.b.st-hatena.com/image/square/0111dc9d1916dee72f2abb68e85a8178e6d72666/height=288;version=1;width=512/https%3A%2F%2Fnullpopopo.blogcube.info%2Fwp-content%2Fuploads%2F2013%2F08%2Fnullpopopo.jpg)
Mysql casial01
5. backup tool • mysqldump • ibbackup & innobackup • xtrabackup & innobackupex • Mydumper • LVMスナップショット 6. mysqldump • MySQL本体に標準インストールされてます。 • 論理バックアップ（SQL分のdump）です。 • InnoDBのHotbackupが可能です。 • データ量につられてバッアップの時間が長く なります。（リストアも大変） 7. mysqldump使い方 （MyISAMの場合） # time mysqldump -uroot -p$password --lock-all-tables --master-data=2 hoge 2>./error.log |gzip > hoge_YYYYmmdd_HHMMSS.sql.gz • --lock-all-tabl
Redisでログの書き込みがblockを引き起こす - 酒日記 はてな支店
「RedisかわいいよRedis」(by typester)……というほど自分は Redis 期でもないのですが、最近 Redis を使ったサービスの面倒を見ていて時々レスポンスが悪化する現象に出会ったので調べました。 前提 使用しているのは Redis 2.4.16 です。 redis.conf に "save [t] [n]" を定義すると、最後に save をしてから [t]秒間に [n]個以上の key が更新された場合に background で save (=bgsave) が実行されます。 save 60 10000これだと、60秒間に 10,000 keys です。 bgsave では redisは自分自身のプロセスを fork() し、子プロセス側は自分のメモリに乗っている内容をファイルにすべて書き出します。 この仕組みによって、1プロセス 1スレッドで動作している re
Percona XtraBackupの抽出と圧縮の並列処理 | 外道父の匠
久々にXtraBackupの話題です。 以前に紹介した基本手順では、tarアーカイブをgzip圧縮していました。 実はこれよりもっと速い方法がありまして、データサイズが大きくなると必須になってくるのではないかと思います。その、計測内容と結果について紹介していきたいと思います。 リンク 本件に関係ありそうなドキュメントのリンクになります。 The xtrabackup Option Reference Streaming and Compressing Backups The xbstream Binary Accelerating with –parallel copy and –compress-threads Making a Compressed Backup (qpress) 本家ブログのベンチマークもあります。 Compression for InnoDB backup – My
PaperBack
Olly, the author of OllyDbg, presents his new open source joke: PAPERBACK v1.10 Updated by Michael Mohr Download PaperBack v1.10 Download sources v1.10 PaperBack version 1.00 does not implement AES encryption properly. Specifically: a) The key used for (en|de)cryption in version 1.00 provides at most an effective key strength of less than 50 bits (and likely far less, perhaps on the order of 15-2
Offsite Backup for Databases | Dumper
MySQL | PostgreSQL | MongoDB | Redis Works with AWS, Linode, DigitalOcean, Rackspace, Heroku and more. Automatic daily backup to Amazon S3. Review your backup strategy Replication and RAID aren't a backup. What happens if your database is wiped by a developer by mistake, or taken hostage by an attacker? You have a virtual machine snapshot, but what happens when a wrong instance was dropped? What a
Simple Automated Backups for MongoDB Replica Sets « Michael Conigliaro
There are a bunch of different methods you can use to back up your MongoDB data, but if you want to avoid downtime and/or potential performance degradation, the most common advice seems to be that you should simply do all your backups on a slave. This makes sense, since most of your queries will be hitting the primary server anyway. Unfortunately, picking a slave isn’t so simple when dealing with
MongoDB Administration
This is a write up of Mathias Stearn's talk at the MongoUK conference, covering useful things for administrators to know when running MongoDB in production. You can find Mathias on Twitter: @mathias_mongo. Starting the server Start the server like this: $ mongod --dbpath /path/to/data Stop it with Ctrl-C or with kill (but don't use kill -9, which doesn't give the server a chance to shut down clean
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
snailinaturtleneck.com - snailinaturtleneck リソースおよび情報