Scaling Datastores at Slack with Vitess - Slack Engineering
Rafael Chacón Staff Software Engineer, Infrastructure From the very beginning of Slack, MySQL was used as the storage engine for all our data. Slack operated MySQL servers in an active-active configuration. This is the story of how we changed our data storage architecture from the active-active clusters over to Vitess — a horizontal scaling system for MySQL. Vitess is the present and future of Dat
MySQLのmetricに関する話 | GREE Engineering
こんにちわ。せじまです。さいきん、ジム用に左右独立型スポーツモデルのBluetoothイヤホン買ったのですが、あまりの快適さに、ジムに通うモチベーションが５割増しになりました。 はじめに innodb_thread_concurrency について書こうかと思ったんですが、まずはその前に MySQL の metric の話から入ったほうが良いかなぁと思ったので、今回は metric の話を書こうと思います。はじめにお断りしておきますが長くなります。 弊社では７年以上前から、 MySQLのサーバ一台あたり（OS側のも含めると）200-300 以上の metric を だいたい15秒間隔で記録しています。最近はSSDなども使ってますが、むかしはHDDにmetricを保存していました。例えばMySQLのサーバ一台分のmetric表示した画面をキャプチャすると、次のような感じになります。 ※画像は
MySQL :: MySQL 8.0 リファレンスマニュアル :: 15.14 InnoDB の起動オプションおよびシステム変数
true または false であるシステム変数は、サーバー起動時に変数の名前を指定することで有効にすることができ、--skip- プリフィクスを使用することで無効にすることができます。 たとえば、InnoDB 適応ハッシュインデックスを有効または無効にするには、コマンドラインで --innodb-adaptive-hash-index または --skip-innodb-adaptive-hash-index を使用するか、オプションファイルで innodb_adaptive_hash_index または skip_innodb_adaptive_hash_index を使用します。 数値が指定されるシステム変数は、コマンド行で --var_name=value として指定するか、オプションファイルで var_name=value として指定できます。 多くのシステム変数は、実行時に変更
InnoDB だけじゃない！MyRocks (MySQL + RocksDB) ストレージエンジンを試してみた - GMOインターネットグループ グループ研究開発本部
2017.10.11 InnoDB だけじゃない！MyRocks (MySQL + RocksDB) ストレージエンジンを試してみた こんにちは。次世代システム研究室のデータベース・NoSQL・Hadoop 関連を担当している M.K. です。 最近はHadoopネタの記事が多かったのですが、今回は久しぶりに RDB、みんなお馴染み MySQL のネタについて書きます。 ここのところ、セミナーなどで非常に気になっていた MyRocks ストレージエンジンを試してみることにしました。 MySQL 界隈では知らぬものはいない松信さんが、Facebook 社で今取り組んでいるストレージエンジンで、MySQL に NoSQL の RocksDB を組み込んだものです。 そもそも MySQL のストレージエンジンとは何ぞやですが、 ストレージエンジンは、さまざまなテーブル型に対する SQL 操作を処
MySQL :: MySQL InnoDB Cluster GA is Available Now!
The MySQL Development Team is happy to announce the first GA release of InnoDB Cluster–our integrated, native, full stack HA solution for MySQL. You can see highlights of the changes and improvements made since the RC release here, and you can download the GA packages from our MySQL APT (Ubuntu, Debian) and YUM (Redhat, OEL, Fedora) repositories or from dev.mysql.com. InnoDB Cluster consists of th
Streaming databases in realtime with MySQL, Debezium, and Kafka
Change data capture has been around for a while, but some recent developments in technology have given it new life. Notably, using Kafka as a backbone to stream your database data in realtime has become increasingly common. If you’re wondering why you might want to stream database changes into Kafka, I highly suggest reading The Hardest Part About Microservices: Your Data. At WePay, we wanted to i
Moving persistent data out of Redis
EngineeringMoving persistent data out of RedisHistorically, we have used Redis in two ways at GitHub: We used it as an LRU cache to conveniently store the results of expensive computations over data originally persisted in… Historically, we have used Redis in two ways at GitHub: We used it as an LRU cache to conveniently store the results of expensive computations over data originally persisted in
Dockerizing MySQL at Uber Engineering
You’re seeing information for Japan . To see local features and services for another location, select a different city. Show more Uber Engineering’s Schemaless storage system powers some of the biggest services at Uber, such as Mezzanine. Schemaless is a scalable and highly available datastore on top of MySQL¹ clusters. Managing these clusters was fairly easy when we had 16 clusters. These days, w
Context aware MySQL pools via HAProxy
EngineeringContext aware MySQL pools via HAProxyAt GitHub we use MySQL as our main datastore. While repository data lies in git, metadata is stored in MySQL. This includes Issues, Pull Requests, Comments etc. We also auth… At GitHub we use MySQL as our main datastore. While repository data lies in git, metadata is stored in MySQL. This includes Issues, Pull Requests, Comments etc. We also auth aga
gh-ost: GitHub's online schema migration tool for MySQL
Engineeringgh-ost: GitHub’s online schema migration tool for MySQLToday we are announcing the open source release of gh-ost: GitHub's triggerless online schema migration tool for MySQL. gh-ost has been developed at GitHub in recent months to answer a… Today we are announcing the open source release of gh-ost: GitHub’s triggerless online schema migration tool for MySQL. gh-ost has been developed at
On Uber’s Choice of Databases
TranslationsA Japanese translation of this article is available here. A Chinese translation of this article is available here. A few days ago Uber published the article “Why Uber Engineering Switched from Postgres to MySQL”. I didn’t read the article right away because my inner nerd told me to do some home improvements instead. While doing so my mailbox was filling up with questions like “Is Postg
Netflix Billing Migration to AWS — Part II
This is a continuation in the series on Netflix Billing migration to the Cloud. An overview of the migration project was published earlier here: This post details the technical journey for the Billing applications and datastores as they were moved from the Data Center to AWS Cloud. As you might have read in earlier Netflix Cloud Migration blogs, all of Netflix streaming infrastructure is now compl
【AWS】CloudWatchでの監視項目まとめ - Qiita
どうも、iron千葉(((( ;°Д°))))です。 AWSでは、手っ取り早く監視ができるCloudWatchというマネージドサービスがあります。 オンプレの場合、可用性・ディスク容量等を考慮して監視サーバを導入する必要がります。 これに比べ、AWSで監視を行う場合、例えばEC2を作ったらメトリックス（CPU使用率など）が自動で取得されます。 AWSで監視を行うには、 SNSのトピックを作る CloudWatchより、メトリックスを選択し閾値を設定する のみで、とてもスマートに監視を開始できます。そして、閾値を超えた場合メールが飛んできます オンプレでの苦労はなんだったのか！ ただし、制限事項もあります。 CloudWatchのデータは２週間保存。それ以前のデータは破棄されるのでご注意ください。それ以前のデータが欲しい場合は、こちらを参照して取得する必要があります。 また、デフォルトで取得
誰も教えてくれなかったMySQLの障害解析方法 - Qiita
それほどDBに詳しくないアプリエンジニアが何かトラブった時にすぐさま行動して問題把握できるようになる情報を列挙しておきます。 開発時、障害時の対処療法やちょっとした定期監視方法などを対象にしています。 抜本的な対策などはインフラエンジニアさんにお任せしたほうがいいと思います。 DBはいろんな意味でこわいんでできれば触りたくないです＞＜ 事前確認 MySQLサーバーのシステム設定値を確認しておく 以下のようにサーバーのシステム設定値を確認できます。 mysql> SHOW GLOBAL VARIABLES; # ワイルドカード(%)を用いた絞り込み mysql> SHOW GLOBAL VARIABLES LIKE 'performance_schema%'
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
FGOなど大規模ゲームの課題から学ぶゲームサーバ・インフラ勉強会まとめ
MHA for MySQLとDeNAのオープンソースの話
GitHub - openark/orchestrator: MySQL replication topology management and HA
Agildata.com
「MySQLアーキテクチャ図解講座」 by Mikiya Okuno (@nippondanji)
mysql/packets.go at master · go-sql-driver/mysql