データベースエンジニアのスキルアップ 専門書輪読会とMySQLモブプロの取り組み
こんにちは。LINEヤフー株式会社でデータベースエンジニアをしている、松浦、中園、大塚、曽根、笠井です。 データベースはLINEヤフーのさまざまなサービスを支える重要なソフトウエアですが、その安定的な運用やトラブルシューティングには、データベースに関する専門的な知識が必要です。 一方で、データベース部門に配属される新卒のエンジニアは、全員が学生時代にデータベースを専門的に勉強しているわけではありません。このような新卒エンジニアは、データベース部門へ配属後、OJTや実際のデータベースの運用業務に携わりながら、データベースに関する専門知識を深めていきます。 今回のブログ記事では、データベースエンジニアとしての専門性を高めるために、部門内で実施している専門書の輪読会、そして、MySQLを題材としたデータベースカーネルのモブプログラミング（以下、モブプロ）の取り組みについてご紹介します。 1. 輪
「開発者向けの MySQL 入門」という勉強会をしました - しなしな記録
今、自分が所属している会社では、いわゆるフルサイクルなアプリケーションエンジニアがほとんどで、SRE のような、システムを運用改善することを専門にするメンバーは居ません。一方でそれなりにプロダクトの数は多く、各種ミドルウェアの運用で困っているのを見かけることがあります。 色々な人が似た問題に悩むのはもったいないので、「MySQL を運用したことがある人からすると、こういう考え方をする」という風な目線で勉強会を行いました。せっかくなので社内の情報を抜いたうえで公開します（同じようなことを色々な場所で言っていて、その都度作り直しているから……というのもあります）。 speakerdeck.com ちなみに DB のどこで悩むかはだいぶ業界ドメインに左右されると思っています（それはそう）。ゲーム業界なんかは、激しくスパイクするワークロードな上にミスったときの機会損失が激しいので、シャーディングを
Apache ShardingSphere でシャーディングしてみた
IoTや機械学習ブームもあり、データベースのデータ量は年々増えていき、最近ではTB/PBクラスのサイズになることも珍しいことではありません。 MySQLのレプリケーションクラスタでは、書き込みが許可されるのはマスターノードのみであり、高負荷なWrite処理がスケールできないという点が長年の課題としてあります。 このような場合、複数のマスタにデータを水平分割する(シャーディング)ということを思いつくかと思います。 これまでにも、この課題をミドルウェアで解決しようといくつかの製品がリリースされてきました。一例としては以下があります。 MySQL Fabric Spider Storage Engine また、MySQLフォークの製品として、シャーディングをネイティブに実装している製品もいくつかあります。 Vitess TiDB 今回は、このシャーディングに焦点を当て、MySQLにも利用可能なミ
MySQLでプライマリキーをUUIDにする前に知っておいて欲しいこと | Raccoon Tech Blog [株式会社ラクーンホールディングス 技術戦略部ブログ]
株式会社ラクーンホールディングスのエンジニア/デザイナーから技術情報をはじめ、世の中のためになることや社内のことなどを発信してます。 bashパフォーマンスMySQLInnoDBDB設計インデックス こんにちは、羽山です。 今回は MySQL のプライマリキーに UUID を採用する場合に起きるパフォーマンスの問題を仕組みから解説します。 MySQL(InnoDB) & UUID のパフォーマンスについては各所でさんざん議論・検証されていますが、論理的に解説した記事が少なかったり一部には誤解を招くようなものもあるため、しっかりと理由から理解するための情報として役立つことができればと思っています。 UUID と比較される古き良き昇順/降順のプライマリキーはというと、 MySQL の InnoDB において良いパフォーマンスを出すために縁の下の力持ちのような働きをしてくれているケースが実は少な
![MySQLでプライマリキーをUUIDにする前に知っておいて欲しいこと | Raccoon Tech Blog [株式会社ラクーンホールディングス 技術戦略部ブログ]](https://cdn-ak-scissors.b.st-hatena.com/image/square/5e9d48c3c6f38c2d5f71897d98efcb251289d1f9/height=288;version=1;width=512/https%3A%2F%2Ftechblog.raccoon.ne.jp%2Fwp-content%2Fuploads%2F2021%2F07%2Fboard-755792_800.jpg)
LINEのMySQL運用について 修正版
Dapr × Kubernetes ではじめるポータブルなマイクロサービス（CloudNative Days Tokyo 2020講演資料）
tcpdumpでMySQLサーバに流れてくるクエリをみる - ゆううきメモ
社内のMySQLマスターのtcpdumpの様子。マスタ切り替えした後に切り替え先でクエリが流れているかをみる。単に3306ポートのパケットを流すだけでもよいが、接続確立に失敗しているがパケットは流れてくるという状況もあるので、SQL文が流れているかまでみるのがよい。 tcpdump -tttt -l -i eth0 -A -n -s 0 dst port 3306 | grep -iE "select|update|delete|insert" -tttt は人間に読みやすい形式のタイムスタンプを付与する -l は line buffered。パケット数の大きい環境で負荷を軽くする -A はアスキー表示 -n はIPアドレスの逆引きをしない。DNSリゾルバに負荷をかけないため -s 0 は出力をtruncateせずに全部だす -iはネットワークインタフェースを指定。複数のインタフェースがつ
MySQL 5.7のマルチソースレプリケーションを活用する - 無停止でシャーディングを解消 - 猫でもわかるWebプログラミングと副業
はじめに この記事は ドワンゴ Advent Calendar 2017 - Qiita の15日目の記事です。 昨日の記事は ytanaka さんの Goadを使った負荷試験とパフォーマンス分析手法について - Qiita でした。 自己紹介 ドワンゴでニコニコ動画の開発をしています。 *1 去年もアドベントカレンダー書いてました→ LGTM画像を驚くほど簡単に作れるWebサービスをScalaで作る - Qiita DBすき yoshikyoto (Yoshiyuki Sakamoto) · GitHub うたかた/ヨシキ (@yoshiki_utakata) | Twitter 背景 昔々あるところに、以下のような構成のサーバーがありました Webサーバー（アプリケーションサーバー）とDBサーバーからなる。 DBに入っているデータはユーザーIDでシャーディングされている。*2 どのデー
2017年のLINEのマイクロサービスを支えるSpring
- Spring is used extensively at LINE, including for hundreds of applications supporting services like LINE's sticker shop. - The sticker shop uses Spring Boot 1.5.8 and Spring MVC with asynchronous HTTP/2 Thrift/REST services. It utilizes technologies like Redis, MySQL, Mongo, and Elasticsearch for storage. - Useful Spring features at LINE include the cache abstraction, AOP for logging and instrum
PostgreSQLとMySQL、使うならどっち？ データベース専門家が8つの視点で徹底比較！｜ハイクラス転職・求人情報サイト AMBI（アンビ）
PostgreSQLとMySQL、使うならどっち？ データベース専門家が8つの視点で徹底比較！ オープンソースのデータベースとしてよく比較されるPostgreSQLとMySQL。どんな長所・短所があるのでしょう？ それぞれの専門家による対談で明らかにします。 エンジニアとして働いていると必ず直面する悩み。それは、「どのリレーショナル・データベース（以下、RDB）を選ぶのが最善なのか？」です。 RDBごとに長所と短所は異なっています。そのため自社サービスにマッチしないRDBを選んでしまうと、それがボトルネックとなり開発・運用にトラブルが生じるケースは少なくありません。 なかでもよく比較検討されるのが、PostgreSQLとMySQL。ともにオープンソースRDBのデファクトスタンダードであり、高い性能と数多くの機能を持っています。 では、両者は具体的にどのような長所・短所があるのでしょうか。そ
Docker時代にMySQLのserver-idを自動で振りたい
やってることはつまり昔から語られているアレです。 MySQLのserver-idの振り方 - blog.nomadscafe.jp 本番環境に突っ込むときはセットアップスクリプトがよしなにやってくれるようにしてあるんですが、DockerだとCMDでセットアップスクリプトを毎回流すの…？ とかなってもんにょりしたのでmysqld_safeにパッチを書きました。結構前ですが。 Docker_image_for_MySQL_Fabric_aware/mysqld_safe.patch at master · yoku0825/Docker_image_for_MySQL_Fabric_aware [mysqld_safe]セクションにauto-server-idを渡すと、IPアドレスの3バイト目と4バイト目からserver-idを計算してmysqldに渡してくれます。report-hostをくっ
MySQLのトランザクション制御がキモい話 - なからなLife
MySQL Casual Advent Calendar 2016 - Qiitaの5日目の記事です。 AdventCalendar自体初参加でドキドキ。 トランザクションの開始は、BEGINしたときじゃない！ MySQLでは、BEGIN（START TRANSACTION。長いので、以下、特筆すべき場合以外は「BEGIN」で）を宣言しても、内部的にはまだトランザクションを開始してません。 SQLを投げたタイミングで、トランザクション開始になります。 このとき、更新のない、FOR UPDATEもないSELECT文でも、トランザクションが開始されます。 なにそれきもい。 「AutoCommit=ON/OFF」による違い AutoCommit=ONのとき トランザクションはSQLを発行するたびにBEGIN/COMMITで完了し、ロールバックできません。 複数SQLを束ねて１つのトランザクション
第31回 MySQLのオプションファイル my.cnfの豆知識［その1］ | gihyo.jp
MySQLのオプションファイル オプションファイルとはその名の通りMySQL関連プログラムに渡すオプションを列挙したもので、Linuxプラットフォームでは/etc/my.cnfが有名です。Windowsプラットフォームではmy.iniというファイル名も利用されますが、今回はCentOS 6.6のyum版MySQL 5.6の構成を例に説明します（"yum版"の意図するところについては、第10回 yum, rpmインストールにおけるMySQL 5.6とMySQL 5.7の違いを参照ください）。 デフォルトでオプションファイルが読み込まれる順番 リファレンスマニュアルにも記載がありますが、デフォルトで読み込まれるオプションファイルは複数存在し、「読み込まれる順番」があります。 同じオプションを複数のオプションファイルで指定した場合は「後から読み込まれたファイル」の設定が優先されます（番号の
mysqldとmysqld_safeの関係 – OpenGroove
mysqldとmysqld_safeの関係について。 mysqld_safeはMySQLを安全に起動するためのプログラム、くらいの認識はあったのだが、 では具体的に何がどう安全なの？．．．と、なると答えに詰まるので、改めて書いておく。 MySQLのインスタンスはmysqldを直接起動するのではなく、mysqld_safeを経由して 起動させることが推奨されている。 mysqld_safeはひと言で言うとmysqldを監視しているデーモンである。 # /etc/init.d/mysql startを実行した時というのは、mysqldがダイレクトに起動 しているのではなく、mysqld_safe内で起動している。 つまり、mysqld_safeが内部でmysqldを実行しているのである。 しつこいが起動の流れを改めて書くと、以下のようになるわけだ。 # /etc/init.d/mysql st
Docker のコンテナで Apache と MySQL を動かしてみた - blog @arfyasu
前回 前回は、Docker の環境を作りました。 arfyasu.hatenablog.com 今回は、CentOS6 のコンテナに Apache と MySQL 5.7 をインストールして動かしてみます。 環境 OSX Ysemite 10.10.5 VirtualBox 5.0.4 Docker Machine 0.4.1 Docker 1.8.1 事前作業 Docker 環境 MySQLのインストール brew install mysql コンテナ起動 前回作成したコンテナを起動します。 $ docker ps -a CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES 7951e2c1f199 centos:6 "/bin/bash" 1 days ago Exited (137) 1 days ago boring_jones
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
MySQLアンチパターン
MySQLやSSDとかの話 その後
MySQLのココにギョッとした！ - オラクルエンジニアがMySQLを触って感じたこと
MySQL Workbench をモデリングツールとして使ってみた
Dockerコンテナ内に入らずにMySQL公式コンテナの中にSQL等を実行するメモ - Qiita
MySQLで文字化けしたときの対処法 - Qiita
