LINEマンガのデータベースをシャーディングしました (データベースエンジニア編)
LINE株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。 LINEヤフー Tech Blog はじめに こんにちは、データベース室の小田です。 今回はLINEマンガのデータベースをシャーディングした作業について、サーバエンジニア編とデータベースエンジニア編に分けてご紹介したいと思います。 本エントリでは、シャーディングに至った経緯、データベースエンジニア側で検討したことについて書いていこうと思います。 シャーディングに至った経緯 サービスを引継ぐ 前段として少し昔の話をします。私がLINEマンガの担当データベースエンジニアとなったのは、2018年2月中旬のことでした。 LINEマンガのサービス開始が、2013年4月9日だということですので、ちょうど5周年を迎える直前ですね。前任者からは、いいタイミングだからということで
MySQL データベースに大量のテーブルを置いたらパフォーマンスが落ちた話 | バシャログ。
仮面ライダーエグゼイドのあの仮面ライダー離れしたまなざしにはあと何週間で慣れるだろうか、とぼんやり考えている kagata です。 さて、今回は最近遭遇したデータベースの障害についてのお話です。 事例 こんな構成のデータベースサーバがありました。 ストレージタイプ「汎用（SSD）」の Amazon RDS MySQL 5.6系 ストレージエンジンは InnoDB File-Per-Table モードが有効 あるとき、このサーバのパフォーマンスが急に落ちるということがありました。システムに大きな変更は入れていないはずなのに、スロークエリが急に増えてしまいました。 サーバの状態を確認したところ、下のような警告を出力しているのが見つかりました。 DB Instance * has a large number of tables and has the parameter innodbfilep
tree-tips: MySQLの外部キーとデッドロック | MySQL
外部キーでデッドロックを起こすサンプルコード。 drop table if exists child; create table child (id int, pid int, primary key (id, pid))engine=innodb; drop table if exists parent; create table parent (id int, count int, primary key (id))engine=innodb; insert into parent values (1, 0); alter table child add foreign key (id) references parent (id); トランザクションA ------------------------------------- begin; insert into child val
モンストのサーバー負荷との戦い 〜あけおめ2018編〜 / bcu_30_server_9
スマホアプリ「モンスターストライク」のサーバー負荷は、年末年始に1年のピークを迎えます。2018年元旦のサーバー負荷に立ち向かうために実施した対策の一例として、データベースサーバー（MySQL）を安全に水平分割した事例を紹介します。見積もりから計画、実施に至るまでを時系列で振り返ります。
mysqlでiPhone絵文字対応したときのメモ - とりあえずphpとか
はじめに phpからmysqlへiphoneの絵文字を含む文字列を登録しようとすると絵文字以降の文字列が登録されない。という現象が起きました。 はじめは、iphone絵文字がmysqlのutf8におさまりきらない文字コードを使ってるとのことだったので登録前に以下のような関数を使う事で無理矢理対応していました /** * iPhone絵文字を削除する関数 */ function filterIosEmoji($string) { return preg_replace('/[\xF0-\xF7][\x80-\xBF][\x80-\xBF][\x80-\xBF]/','',$string); }しかしちょっと強引だったので対応したときのメモです やったこと googleで検索するとたくさん出てきました。僕の場合は以下の対応で無事解決しました。 ちなみにこの対応でiphoneで登録した絵文字をa
innodb_file_per_tableが有効な時にディスク容量を開放するには | Yakst
MySQL Performance Blogの翻訳。innodb_file_per_tableが有効になっている時、データを削除してもデータファイルのサイズは小さくならない。これを小さくする方法とは。 September 25, 2013 By Nilnandan Joshi innodb_file_per_tableがOFFの時には、全てのデータはibdataファイルに保存される。テーブルをドロップしたりデータを消したりしたとき、使用されていないディスク領域を解放するには、ダンプしてからリストアするしかない。 innodb_file_per_tableがONの時には、各テーブルのデータとインデックスはそれぞれの表領域ファイルに保存される。しかし、共有の表領域であるibdata1も容量が増えてしまう。これがなぜ起きて、どうやって解決するかはこちらの記事(日本語訳)を見て欲しい。 上に挙げた
運用視点なMyISAMとInnoDBと。 – LexTech
MySQL5.5からトランザクション処理ができるInnoDBがデフォルトストレージとなりましたし、とりあえずInnoDBにしとこうという風潮から、ストレージがInnoDBであることも多いのですが、実は蓋を開けて見るとまだまだMyISAMで動いているサービスがたくさんあります。今回は運用面から見た両者の違いをみてみたいと思います。 同じMySQLですが、InnoDBの運用とMyISAMの運用は注意するポイントが違います。 ロック方式 一番大きい違いはロック方式の違いでしょうか。InnoDBは行ロック方式(*1)、MyISAMはテーブルロック方式です。データをINSERTやUPDATEする時はセマフォ制御のためロックされますが、その時の挙動が違います。 たとえばUPDATEのクエリを投げると、MyISAMの場合は対象テーブル全体がロックされ、その後のクエリが”詰まり”ます。なので重いクエリを発
SELECT構文：JOINを使ってテーブルを結合する - 第3章 SQL構文 - [SMART]
JOINは複数のテーブルを連結させるために用意されたキーワードです。単純にテーブルを連結させる以外にも、LEFT JOIN ONやUSINGなどの便利なキーワードがあるので、いろいろ試してみましょう。 リレーションによる関係付け テーブルの作成とデータの挿入 ここでは、購入履歴テーブル（テーブル名=purchase）、商品テーブル（テーブル名=goods）、顧客テーブル（テーブル名=customer）を作成し、それを使って説明していきます。CREATE TABLEとINSERTを使って、テーブルの作成とデータの挿入をしておきましょう。 テーブルを作成する際の手順は、CREATE TABLEに続き、作成するテーブル名を指定します。次に、カッコ内にフィールドの定義を列挙していきます。フィールドの定義はフィールド名とデータ型、それに制約などを必要なだけ宣言します。 CREATE TABLE構文
![SELECT構文：JOINを使ってテーブルを結合する - 第3章 SQL構文 - [SMART]](https://cdn-ak-scissors.b.st-hatena.com/image/square/efeb6493234f33406d242c048873a805fca99c63/height=288;version=1;width=512/https%3A%2F%2Frfs.jp%2Fwp-content%2Fthemes%2Fsmart%2Fogpimage.png)
MySQL のNULL ではまったことあれこれ - LukeSilvia’s diary
MySQL に限らず、SQL のNULL の仕様には何回か「えっ」と驚くことがあったのでメモしておこうと思います。5.1 版の日本語マニュアルがなかったものについては、4.1 のマニュアルを参照しました。 そもそもNULL は何を意味するか NULL は未定義または、不明を意味する。「電話番号を持たない」ということを表現する場合は、NULL ではなく、空の文字列を使う。 NULL 値というものを SQL 初心者はよく混乱します。SQL 初心者は、多くの場合、NULL が空文字 "" と同じであると考えてしまいます。これは違います。たとえば、以下のステートメントは完全に別のものです。 mysql> INSERT INTO my_table (phone) VALUES (NULL); mysql> INSERT INTO my_table (phone) VALUES (""); どちらのス
yum updateでPHPを5.3から5.4にアップデート | iconDecotter-Log
ちょっと前にしました。 CentOS6はそのままだと5.3をインストールするようです。少なくともさくらVPSで何も考えずにやると5.3.1が入りました。 さすがにそれはどうかと思い、今後のことも考えると5.4系にアップデートしておいた方が良いと判断し、思い切ってやってみることにしました。 インストール時もyumで入れたので、アップデートもyumで。 互換性の確認 PHP: PHP 5.3.x から PHP 5.4.x への移行 – Manual まずはここで現在のコード・php.iniの設定に問題ないかを確認します。 結果的に言うと、コーディングにおいては参照渡しの変更で1箇所引っかかった所がありましたが、それ以外は基本問題ありませんでした。 他、MySQLの設定で大事な変更があることを知りました。 MySQLもCentOS6のデフォルトだと5.1なのですが、yumでPHP5.4にアップデ
websec-room.com - websec room リソースおよび情報
This webpage was generated by the domain owner using Sedo Domain Parking. Disclaimer: Sedo maintains no relationship with third party advertisers. Reference to any specific service or trade mark is not controlled by Sedo nor does it constitute or imply its association, endorsement or recommendation.
テーブルスペース肥大化の対処方法(ibdata*)
前回テーブルスペースについて調べてみた後に、 運用中のサーバーの設定をやファイルを確認してみたら・・・innodb_file_per_tableが使われていない！！！:(；ﾞﾟ'ωﾟ'): という事なので、早速設定の方を試してみましたﾜｯｼｮｲヽ(ﾟ∀ﾟ)メ(ﾟ∀ﾟ)メ(ﾟ∀ﾟ)ノﾜｯｼｮｲ ■手順１．現状のibdata1のサイズの確認をしてみる # ls -alt /var/lib/mysql/|grep ib -rw-rw---- 1 mysql mysql 277899902976 11月 10 16:16 2012 ibdata1 -rw-rw---- 1 mysql mysql 5242880 4月 16 15:06 2012 ib_logfile0 -rw-rw---- 1 mysql mysql 5242880 4月 6 12:05 2012 ib_logfile1 2778
MySQLのカラム型（有効範囲と必要記憶容量）｜MySQL｜PHP & JavaScript Room
-3.402823466E+38～-1.175494351E-38、 0、 1.175494351E-38～ 3.402823466E+38
今さらだけどMySQLのパーティショニング機能を試してみた - (ﾟ∀ﾟ)o彡 sasata299's blog
2013年03月21日18:11 MySQL 今さらだけどMySQLのパーティショニング機能を試してみた 最近は花粉が飛んでて辛い季節ですがみなさまいかがお過ごしでしょうか。でももうちょっと我慢すればサクラの季節ですよ〜。花見良いですよね、飲みたいだけですが。 ・・さて、今回はちょっと必要になったので、MySQLのパーティショニング機能なるものを試してみました。存在は知ってたけど、実際に試してみたことは無かった…。 パーティショニングとは？ これはどういうものかと言うと、MySQL5.1から使えるようになった機能で、ひとつのテーブルのデータを条件によって複数の領域（パーティション）に振り分けて管理することができる、というものです。例えば日別にデータを別々のパーティションに振り分けたり。 パーティショニングするとデータの削除が高速だったり（通常は削除ってものすっごい遅いけど、特定のパーティシ
高速処理化！MySQLのパーティショニング機能を使ってみよう | 株式会社LIG(リグ)｜DX支援・システム開発・Web制作
みなさん、最近人生のパーティショニングしてますか？ こんにちは、勝利です。 今回はMySQLのパーティショニングについて紹介させていただきます。 MySQLのパーティショニングとは？ MySQL5.1ぐらいから使えるようになった、1つのテーブルを分割する機能。 テーブルを分割するので、格納できる根本的な容量の拡張や、やり方(Plunning)によっては高速処理を実現できます。 分割した際のデータ振り分け方法としては大体以下のような形があります。 RANGE ・・・ パーティションごとに範囲を指定して振り分ける LIST ・・・ パーティションごとに格納する値で振り分ける HASH ・・・ 1つのカラムの値を式の結果で振り分ける KEY ・・・ １つ以上のカラムの値をMD5関数等で評価して分割する 使用するメリットとしては下記2点のようなことが考えられます。 メリット１ [高速化が見込める]
MySQL - InnoDB データファイル ibdata1 の最適化！
mk-mode.com Linux, Debian, IT, Server, PG, Ruby, Rails, Python, C++, Fortran, PC, MariaDB, math, GIS, etc... MySQL のストレージエンジン InnoDB は、デフォルトでは ibdata1 というファイルにデータを保存・蓄積しています。 そして、この ibdata1 ファイルは、データ領域が不足すると自動で拡張されるようになっています。（設定により初期サイズと拡張サイズは異なる） ibdata1 ファイルのサイズは、データを削除しても縮小されることはないので、ファイルサイズはメンテナンスしないと日々拡大していきます。 以下、最適化についての記録です。 0. 前提条件 対象の MySQL サーバのバージョンは 5.6.11 （インストールは「こちら」の方法で行なっている） 対象のデ
Mysqlでログ系テーブルを運用するときやっておきたいこと - 主夫ときどきプログラマ
SNSやソーシャルゲーム、アドネットワークなどのシステムではいろいろなログ情報をDBに保存することもあると思います。 そのさい、日々増えつづけるデータやパフォーマンスをどの様にさばいていくかが重要になってきます。 今回はログ系のデータをMysqlでどのように運用していくか、をテーマにいくつかのノウハウをまとめました。 ログ系テーブルの特徴 ログ系のデータとは、つまり何かのアクションの履歴データのことです。 一般的にはこのような形になるかと思います。 CREATE TABLE `t_logs` ( `id` bigint(20) unsigned NOT NULL, `user_id` int(10) unsigned NOT NULL DEFAULT '0', `event_id` int(10) unsigned NOT NULL DEFAULT '0', `created` datet
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
yoku0825
Maruta
MySQL 容量確保のためのデータ削除方式 | Ore no homepage