5,500超のMySQLインスタンスを少人数で運用するには - LINEのDB運用効率化・自動化の取り組み 大きなサービスであれば、それを支えるデータベースの規模もまた大きくなるでしょう。LINE社のデータベースの規模は、2021年11月時点でMySQLのインスタンス数5,500超。巨大なデータベースの運用を効率化、自動化するための工夫やノウハウをLINE社のDBAに聞きました。 日本国内だけで、8900万人以上という膨大なMAUを抱えるコミュニケーションアプリ「LINE」をはじめ、多くの大規模サービスを運営するLINE株式会社（以下、LINE）が取り扱うデータ量は膨大です。使用するデータベースの規模は、なんと、2021年11月時点でMySQLのインスタンス数5,500超。これほど多くのインスタンスを管理しているにも関わらず、同社でMySQLの運用に携わるDBA（Database Admi

サイボウズの Kubernetes 基盤を開発している Neco プロジェクトの ymmt です。 サイボウズ製品のほとんどはデータベースとして MySQL を採用しています。 現在 400 を越える MySQL のインスタンスを運用しており、これら全てを新しい Kubernetes 基盤に移行していく予定です。 Kubernetes 上でアプリケーションやミドルウェアの運用を自動化するソフトウェアのことをオペレーターと言います。 大量の MySQL インスタンスを Kubernetes 基盤に移行するにはオペレーターが必須であると考え、技術顧問の @yoku0825 さんの監修の下で MOCO というソフトウェアを開発しオープンソースライセンスで公開しました。 本記事では Kubernetes 上の MySQL オペレーターの状況と、開発した MOCO の機能を詳細に解説いたします。 M

最近は、会社などの組織において仕事の指示をする場合に、単に上司が命令をするだけでは組織は動かないと言われています。部下に仕事をしてもらうには－－そう、まさにこの「してもらう」の気持ちこそが本質なのですが－－「命令」ではなく「依頼」の形を取ることで、お互いに気持ちよく仕事をすることができ、より良いチームとなるのです。 この世の中の流れは近年、ソフトウェアの世界にも強く適用されるようになってきました。ソフトウェアに於いても、常に、より中立的な立場での対応が求められてきています。 MySQﾚも例外ではなく、最近の修正ではレプリケーションの master-slave を source-replica と呼ぶように変更したり、blacklist を blocklist に変更したりなどの話題を目にした方も多いと思います。 これら一連のポリティカリーにコレクトな対応に今回新たに加わったのが、冒頭で紹介

ぬいぐるみが好きな方のDBAです。さて今日は4/1 、色々新しいものに巡り合う春ですね。そんな中、日本MySQLユーザ会副代表の sakaik さんが面白いMySQﾚ（まいえすきゅーれ、と読むんでしょ...

夜のオラクルで行う開発者向けコミュニティ「Oracle Code Night」ではオラクル技術に限定せず、幅広いテーマを取り扱い、開発者同士の情報共有やミートアップの場になっている。2019年2月からはMySQLをテーマとした「MySQL Technology Cafe」が始まり、12月には6回目が開催された。どんな雰囲気なのか。 MySQL Technology Cafeで新しい人を呼び込みたい MySQLとコミュニティは切っても切り離せない。参加者の多くが会社やビジネスとは関係なく自主的に活動し、コミュニティだけではなくプロダクトも支えている。 「こんな機能が必要だ」と思えば自発的に作る（言い出しっぺの法則）。便利なツールを見つけたら、みんなと共有する。受けいれる側の寛容性も大きい。誰かが「やってみたい」と提案すれば、「どうぞどうぞ」と快諾して背中を押す。日本MySQLユーザ会（MyN

TL;DR この記事に書いた事 二分探索木のお話(前提知識) MySQLのInnoDBで利用されているB+木インデックスの構造と特性 (前提知識) MySQLのClusteredIndex,SecondaryIndexについて(前提知識) カーディナリティについて(前提知識) 実際の負荷対策 検出編 スロークエリ 検出編 その他のクエリ割り出しいろいろ クエリ・インデックスの最適化 explainの使い方と詳細 ケース別実践 単純にインデックスがあたっていないケース カーディナリティが低いインデックスが使われているケース 部分的にしかインデックス/複合インデックスがあたっていないケース 複合インデックスの順序誤りでインデックスが適用できていないケース 複合インデックスの最初がrange検索のケース ソートにインデックスが適用できていないケース ソートにインデックスが適用できていないケース（

お知らせ connpassではさらなる価値のあるデータを提供するため、イベントサーチAPIの提供方法の見直しを決定しました。2024年5月23日(木)より 「企業・法人」「コミュニティ及び個人」向けの2プランを提供開始いたします。ご利用にあたっては利用申請及び審査がございます。詳細はヘルプページをご確認ください。 1月 17 DevelopersNight 01 : ゆるく学ぶMySQL スピンアウト第一回！GMOで一番MySQLが好きな男(@yoku0825)のシャベリ場。

この記事は「MySQL Advent Calendar 2019 21日目」です。 これまた大遅刻となってしまって申し訳ございませんでした;(´◦ω◦｀): これも言い訳はダメだぞ自分！ さて、今年中にどうしても書き残して置きたかった内容があったのですが、ありがたくも「Adovent Calenderに書いていいよ！」というお話しをいただいたので…書かせていただきます。 題して「MySQL InnoDB Cluster 反省会」。 何もMySQLを知らない人間が、いきなり MySQL InnoDB Cluster Group Replication を導入した、そんなお話です。 前提 InnoDB Clusterを採用した理由 採用する前にやったこと 反省会（マネジメントチックな話） MySQLはコミュニティのものである 複数バージョン間レプリケーションがサポートポリシー変更 反省会（技術

GMOメディアでは様々な BtoCの自社サービスの運営を行っています。 基本的には社内のエンジニアとデザイナーといったクリエイターが0からサービスを作り上げたり、そのサービスの改善活動をおこなってたりしているのですが、自社サービスの開発・保守運営の他にも柔軟な働き方を行っているパートナーもいるのでご紹介したいと思います。 今回ご紹介するのは、社内外でMySQLに関する活動を行っている弊社DBA（Database Administrator）の@yoku0825こと田中翼さんです。これまでも様々な活動を行っていましたが、最近はグループ会社のGMOペパボ株式会社（以下ペパボ）さんや、今回新たにサイボウズ株式会社（以下サイボウズ）さんといった企業に対しても活動を行うことになりました。そんな活動について掘り下げた内容をお伝えしたいと思います。（聞き手：サービス開発部部長 別府） 別府： 田中翼さん

こんにちは。コネクト支援チームの風穴（かざあな）です。 この度サイボウズでは、GMOメディア株式会社とコンサルティング業務委託契約を締結させていただき、MySQLエキスパートのyoku0825さんに、いろいろと相談に乗って頂けることになりました。 MySQLについて検索したことがあるエンジニアなら、yoku0825さんのブログ「日々の覚書」のお世話になったことがない人はいないでしょう。それぐらいポピュラーなブログで、日本語で読めるMySQLの技術情報を長年発信し続けているのがyoku0825さんです。 yoku0825さん ということで、Garoonプログラマの杉山くんと一緒に、yoku0825さんにお話を伺ってみました。 yoku0825さんのお仕事 ──（風穴）：普段、どんなお仕事をされてるのですか？ yoku0825さん（以下、敬称略）：GMOメディアという、BtoC向けのWebサー

サイボウズ株式会社（本社：東京都中央区、社長：青野 慶久、以下サイボウズ）は、GMOメディア株式会社（本社：東京都渋谷区、社長：森 輝幸、GMOメディア）とコンサルティング業務委託契約書を締結し、同社の田中 翼氏（以下yoku0825氏）に参加いただくことを発表いたします。 yoku0825氏のプロフィール 田中 翼氏 2012年よりGMOメディア株式会社に勤務。 日本人として3人目のMySQL分野のOracle ACE。 2015年には "default_password_lifetime" の件でMySQL 5.7 Community Contributor Awardに選出された。 「会社の垣根を越え、技術をアウトプットすることで、より技術力を磨くとともに、活動を通じてインターネットがより豊かに楽しく、関わる全ての人達の笑顔につなげる」というGMOメディアの試験的な取り組みの一環でサ

こんにちは、@hrysd です。 EC事業部で、事業部のパートナーをメインとしこれから半年ほどをかけて @yoku0825 さんにMySQL講座を開催していただくことになりました！ この記事ではそこに至る経緯、第一回目の様子を簡単にお伝えしたいと思います。 講座開催の目的 開催のきっかけ、目的を社内の文章から抜粋して紹介します。 カラーミーショップを中心として、GMOメディアの@yoku0825さんにMySQLコンサルティングの取り組みをはじめて半年がたちました。先日、この半年のふりかえりを行い、次のステップとして、(EC事業部)エンジニアのSQL(MySQL)力の底上げに時間を使いたいという提案をしました。 半年やってみてわかってきたことは、MySQLサーバのパフォーマンス改善にはクエリの改善というのが大きな影響をあたえることができるが、その改善自体は単純なインデックスの追加で解決できる

こんにちは！ 2019年新卒入社！プチDBAを目指してOJT中の高橋です！ 弊社のOJT制度についてはこちら！ 「*」はワイルドカード というのは言わずもがなですが、 それはMySQLにおいても同じで、きちんと期待する動作をしてくれます。 mysql8017> GRANT SELECT ON *.* TO hoge@'%'; を実行すると、 全てのスキーマの全てのテーブルに権限を付与するという解釈ができるので、 直感的でわかりやすいです。 そして権限を取るときも、 mysql8017> REVOKE SELECT ON *.* FROM hoge@'%'; という感じで実行できます。 ここで疑問 mysql8017> SHOW GRANTS FOR hoge@'%'; +----------------------------------------------+ | Grants for

LINE株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。 LINEヤフー Tech Blog はじめに こんにちは、データベース室の小田です。 今回はLINEマンガのデータベースをシャーディングした作業について、サーバエンジニア編とデータベースエンジニア編に分けてご紹介したいと思います。 本エントリでは、シャーディングに至った経緯、データベースエンジニア側で検討したことについて書いていこうと思います。 シャーディングに至った経緯 サービスを引継ぐ 前段として少し昔の話をします。私がLINEマンガの担当データベースエンジニアとなったのは、2018年2月中旬のことでした。 LINEマンガのサービス開始が、2013年4月9日だということですので、ちょうど5周年を迎える直前ですね。前任者からは、いいタイミングだからということで

※勢いで書いて、まとめようとしてなかったので読みにくいと思います。(伝えたいことはタイトルの一行) 今年は参加できたOracle Code。 https://www.oracle.co.jp/events/code/2019/ 毎年この時期なんやかんやあったんだけど、今年は時間取れたし、聞きたい話も盛りだくさんだったので。 場所 シェラトン都ホテル 家から近いので自転車で行っちゃいました。(良かったのかな？) あの辺、何もないので自転車があって本当に助かった。 (お昼食べずに行ったから、20分の休憩時間で何か食べようと思ったときコンビニが近くにないのでセッションを無駄にしかねない) 以下セッションについての感想等 Oracle ACEが語る MySQL 8 資料はこちら Oracle ACE から見た、MySQL 8の便利な新機能、ハマりどころを紹介します！ ・降順インデックスによるSQL

呼ばれたきがしたので soudai.hatenablog.com なお、InnoDB限定のお話ですよ。MyISAMを（システムテーブル以外で）使ったことない若輩者なので。 ちょっと余裕がないこともあり、思いつく最小限のことだけ書きます。追加で思いついたら後ほど＆温かいフォロー（というマサカリ？）歓迎。 checkpointに影響がある値 innodb_log_file_size Redoログのファイルサイズです。 生MySQLのデフォルトは「50331648 Byte（48MB）」、RDSのデフォルトは「134217728 Byte（128MB）」。大きなバッチ処理がなければ間に合うかも知れないですが、広げたほうがよいでしょう。 適切な値の範囲は、1M バイトから 1/バッファープールの N 番目のサイズまでです。ここで、N はグループ内のログファイルの数です。 https://dev.m

MySQL 8.0.14でSELECT COUNT(*)が加速する！- 「innodb_parallel_read_threads」検証その１ - なからなLife MySQL 8.0.14でSELECT COUNT(*)が加速しない！- 「innodb_parallel_read_threads」検証その２ - なからなLife の続きです。 まさかの、ネガティブ情報が続いてしまった。。。 パーティショニングの話をするつもりだったのですが いろいろなパーティションを試しながら計測しつつ、そもそもパーティション前の数字ももう一度計測しておこう、と思ったら、今まで加速してたパターンで加速しないケースにぶつかってしまいました。 パラレル化の恩恵が出た（昨日までの）状態；PKのINT AUTO_INCREMENT欠番がそこそこある＋ALTER TABLE ENGINE INNODBしてない。 パ

セミナー概要 2019-01-24（木）16:00 - 18:30 データベースのHAの話から、MySQL5.7から使用可能なマルチマスター型HAのMySQL InnoDB Clusterについての説明、および実運用での話をLOCONDO.jpの杉山さんから聞く。 資料については別途公開予定 イベント紹介 https://osslabo.doorkeeper.jp/events/85105 Amazonで約1時間のDB障害が発生し、100億円以上の機会損失が発生 備えあれば憂いなし！だが従来の冗長構成ではダウンタイムが発生？！ 技術者不足や人件費がかけられないという問題も MySQLユーザーに最適な答えとは 低コストで実現できる「MySQL InnoDB Cluster」解説 知ったこと(基本的にはMySQL InnoDB Clusterの話) 要件的なこと 構成可能台数は最大9(奇数にす