こんにちは、分析基盤を担当しながらインフラも面倒見ている鍵本です。 本日は Cloud SQL に private IP を付与して失敗 した話をします。 背景 必ず事前にやっておくべきこと 実際に確認した事例 対処方法 まとめ 最後に 背景 Zealsは、LINEおよびFacebook Messenger上で動作するチャットボットサービスで、WebのForm体験をチャット上で完結させることができます。この Zeals のアーキテクチャは『進化し続ける「Zeals」サービスを支えるアーキテクチャについて』でご紹介しているとおりで、データベースサーバとして Cloud SQL を利用しております。 tech.zeals.co.jp 具体的には、アプリケーションからは Cloud SQL Proxy を通して接続しています。Zeals がサービスとして成長するにあたり、アプリケーションが動いて
1. はじめに こんにちは、morioka12 です。 本稿では、CTFtime のイベントに記載されている2022年に開催された CTF のイベントで、Cloud に関する問題をピックアップして攻撃手法やセキュリティ視点での特徴について紹介します。 また、昨年の2021年版は以下で紹介していますので、良ければこちらもご覧ください。 昨年のブログでは、各サービスにセキュリティ的な視点で紹介しましたが、今回は説明が重複するため、各問題に焦点を当てて大まかに紹介します。 scgajge12.hatenablog.com 1. はじめに 1.1 調査対象 2. Cloud 環境におけるセキュリティ視点 2.1 脆弱性攻撃によるクレデンシャルの取得 Amazon EC2 AWS Lambda 2.2 設定不備やハードコーディングによるクレデンシャルの取得 Amazon S3 Amazon RDS
MySQLでInnoDBのデータベースをダンプする際、 mysqldump -uhogehoge -p -h database-host > dump.sql シンプルに書くとこんな感じのコマンドになります。ですがこのままですとREAD LOCKがかかり、 点について解説します。検証したMySQLバージョンは5.7.26、データベースはInnoDBを使用。 mysqldump実行時、暗黙で--lock-tablesオプションが有効になっている--lock-tablesオプションはdump中のテーブルにREAD LOCKをかける仕様になっています。LOCKには2種類あり、今回解説しているREAD LOCK以外にもWRITE LOCKがあります。 READ LOCKの挙動READ LOCKを取得したセッション：
MySQL 5.7を使っているシステムで週単位で徐々にメモリ使用量が増え続けているという現象に遭遇したのでこれなんでだろうと思って調べてみたメモ MySQLのメモリ管理 dev.mysql.com MySQLがどのようにメモリを使用しているかの話。innodb_buffer_pool_sizeにデータ載せて色々やるよという感じ。innodb_buffer_pool_sizeだけ気にしておけばよいかと思いきやkey_buffer_size、 tokudb_cache_size、 query_cache_size、 table_cache、 table_open_cacheについても考える必要があるらしい。innodb_buffer_poolとは別のところでメモリの確保/開放が行われる領域がある。ちなみにinnodb_buffer_pool_sizeは起動時に領域を確保するとのことなのでVSZ
[Announcement] (DEPRECATED) Amazon Relational Database Service (RDS) for MySQL 5.6 End-of-Life date is August 3, 2021
[Announcement] (DEPRECATED) Amazon Relational Database Service (RDS) for MySQL 5.6 End-of-Life date is August 3, 2021 This is an outdated announcement. Please refer to the latest RDS for MySQL 5.6 end-of-life timeline here: https://forums.aws.amazon.com/ann.jspa?annID=8790 NOTE: This notice does not apply to Amazon Aurora clusters. Amazon RDS is starting the end of life (EOL) process for MySQL maj
![[Announcement] (DEPRECATED) Amazon Relational Database Service (RDS) for MySQL 5.6 End-of-Life date is August 3, 2021](https://cdn-ak-scissors.b.st-hatena.com/image/square/c4f530e16dfb308a48108c71972db725de90d0d5/height=288;version=1;width=512/https%3A%2F%2Fa0.awsstatic.com%2Flibra-css%2Fimages%2Flogos%2Faws_logo_smile_1200x630.png){kind=logo}
Opens in a new windowOpens an external siteOpens an external site in a new window In early September 2021, we retired our last Shopify database virtual machine (VM) that was running Percona Server 5.7.21, marking the complete cutover to 5.7.32. In this post, I’ll share how the Database Platform team performed the most recent MySQL upgrade at Shopify. I’ll talk about some of the roadblocks we encou
「日中文化交流」と書いてオタ活動と読む : 中国オタク「日本の男性向けラノベで『ヒロイン無し』を売りにする作品はあるの？日本のネット小説を見てもあまり無いように感じるんだけど……」 日銀が大規模緩和解除へ、19日決定 長短金利操作も撤廃 - 日本経済新聞 『クリミア・ハン国 歴史・国家・社会』まえがきに代えて｜Pençdiraht [その36]放課後ひみつクラブ - 福島鉄平 | 少年ジャンプ＋ [拷問224]姫様“拷問”の時間です - 春原ロビンソン/ひらけい | 少年ジャンプ＋ https://www.mizuho-rt.co.jp/company/brand/pdf/kaiketsu.pdf 「どんなに売れてもバイトは辞めない」——芸人・みなみかわさんの“芸能界にしがみつかない”仕事論 | タイミーラボ - スキマで働く、世界が広がる。 「万博運営側は説明責任を」 プリツカー賞の山本
sqldef
What is it? sqldef is a CLI tool, webasm library, and nodejs tool/library for diffing SQL schema. You can use it to manage migration of PostgreSQL and MySQL databases, using regular SQL DDL. Demo You can generate DDLs to update the DB schema: Current schema CREATE TABLE user ( id BIGINT UNSIGNED NOT NULL AUTO_INCREMENT PRIMARY KEY, name VARCHAR(128) DEFAULT 'konsumer' ) Engine=InnoDB DEFAULT CHARS
今回はsysbench 1.0を使ってMySQLの負荷テストする方法を紹介したいと思います。 第26回 SysBenchを使ってMySQLの負荷テストをする でsysbenchについてはすでに紹介していますので、sysbenchの概要などはこちらの記事をご参照ください。以前の記事ではsysbenchのバージョンは0.4.12であり、最新のsysbenchはオプションやコマンドなどが若干異なっています。そのため、以前の記事のアップデート版として最新のsysbenchで負荷テストする方法を紹介します。 インストール方法 各OSごとのインストール方法はInstalling from Binary Packagesをご参照ください。今回はCentOS7にsysbenchをインストールしてみます。 # curl -s https://packagecloud.io/install/repositor
登録不要・インストールなし、ブラウザ上から手軽に使えるDB Playgroundサービスの「DB Fiddle」が便利だったので紹介する。 www.db-fiddle.com DB Fiddle - SQL Database Playground 時折、SQLの仕様について確認したりクエリを他者へ共有したいことがある。 そのためにデータベースを起動させたりするのも面倒なので、ブラウザ上からパパっとクエリ書いて済ませられる「DB Fiddle」というWebサービスが便利。有料プランもあるが、基本的には無料で使える。 登録不要、アプリのインストールもなしでブラウザ上から使え、スキーマとクエリを書いてその場で実行できる。 保存すれば共有URLが発行されるので他者への共有も簡単。 共有URL: https://www.db-fiddle.com/f/aU9qwQsGaaKZMLq82EyhH6/0
Microsoft SQL ServerMySQLOracle DatabasePostgreSQL主要RDBMS製品の比較 2022.09.22 渡部 亮太 主要RDBMS製品の比較 – 同時実行制御, トランザクション分離レベル Oracle ACE Proの渡部です。 主要なRDBMS製品を比較します。 大枠を整理することが最大の目的です。細かい例外事項や拡張機能は適宜記載を割愛しています。 2022年9月時点の最新バージョンをベースに記載していますが、記載内容にバージョン依存は少ないはずです。 時間ができた時に随時追記予定です。 もし誤りを見つけた場合は、優しく教えていただけると嬉しいです。→ https://twitter.com/wrcsus4 or ryota.watabe at cosol dot jp 「主要RDBMS製品の比較」ページ一覧 アーキテクチャ, スキーマ,
InnoDBとは MySQLのデータベースエンジンの一つ。他のデータベースエンジンにはMyISAMがある。MyISAMのロックがテーブル単位なのに対して、InnoDBのロックはレコード単位。レコードの操作を行う際にテーブル全体をロックするとテーブルの他のレコードも変更できなくなるが、行単位のロックであれば同時に複数のレコードを変更できるため、効率が良い。他にもトランザクションにも違いがあるようなので、別途まとめる。 InnoDBのファイルフォーマット AntelopeとBarracudaがある。デフォルトはAntelopeだが、推奨はBarracudaとなっている。 何も考えずにデータベースを作成するとファイルフォーマットはAntelopeになってしまう。4バイト文字をデータベースに保存しようとしてエンコーディングをutf8mb4にすると、Index column size too lar
Ubuntu 18.04 に Redmine 4.0.1 をインストール投稿者: zaturendo 投稿日: 2019年4月30日2019年4月30日 Ubuntu 18.04 で運用しているサーバーに、プロジェクト管理ツール、Redmine をインストールしたのでその覚書です。 「RubyとRuby on RailsをRbenvでインストール(システムワイド編) 」の続きになります。 この記事を書いてずいぶん寝かしてしまっていたので、以下の記述は Redmine 4.0.1 に関するインストールになります1。 なお、いつものことですが、この記事はあくまでも個人の備忘録ですので、参考にされる場合は自己責任でお願いします。 これまで、Redmine 3.2 を利用していたのですが、サーバー移行するのでバージョンアップしてみました。 記事は、原則として新規にインストールすることを前提として書
MySQL Query Performance Troubleshooting: Resource-Based Approach
When I speak about MySQL performance troubleshooting (or frankly any other database), I tend to speak about four primary resources which typically end up being a bottleneck and limiting system performance: CPU, Memory, Disk, and Network. It would be great if when seeing what resource is a bottleneck, we could also easily see what queries contribute the most to its usage and optimize or eliminate t
初めに この記事は、MySQL Advent Calendar 2021のカレンダー | Advent Calendar 2021 - Qiitaのエントリーです。 ↓2021年12月12日は、@tmtms さんの記事です。 ruby-mysql - tmtms のメモ 目次 初めに 目次 とある日 良い設計とは？ 悪い設計の定義 今回使用するテーブル 各テーブルのデータ 各テーブルデータ件数 テーブル合体編 設計 データ挿入 集約結果 hello_worldsテーブル設計 hello_worldsテーブルデータ hello_worldsテーブル件数 データ検索編 東京都の Population（人口） を取得する 日本の Region（地域） と Population（人口） を取得する 街の数が多い上位10件 まとめ 〆 とある日 「良いクエリは正しい知識と設計に宿る」という言葉を皆さ
DISTINCTとは DISTINCTとは、SELECT文の実行結果の重複レコード(データ行)を1つにまとめるための便利な構文です。 例えば、従業員テーブルに「姓、名」の項目があるとして、同姓同名が複数行ある場合にDISTINCTを使うと次のように1レコードになります。 そんなDISTINCTの使い方を次項で解説していきます！ DISTINCTの使い方 DISTINCTの構文はSELECT文の後に追加して、次のように記述します。 従業員テーブルの「姓(last_name)」を検索する例について、DISTINCTを使わない場合と使う場合の2つを比較したサンプルコードを確認してみましょう。 サンプルデータの作成： CREATE TABLE sample1_employees ( no int NOT NULL, -- 従業員番号 last_name varchar(255), -- 名 fir
Techouse社内勉強会の内容を紹介します(2) データベース<分離性編> - Techouse Developers Blog
Techouseの「エンジニア基礎勉強会」とは Techouse では「基礎勉強会」と称して2週間に1回、わたしが OS・ネットワーク・データベース・ハードウェア・セキュリティ・システムアーキテクチャなどをお話する勉強会を開催しています。 今回お試し的に、勉強会の内容を公開してみます。 データベース(1) ACID データベース(2) 分離性 今回は前回「データベース<ACID編>」の続きです。 ご笑覧くださいますと幸いです。 データベース(2) トランザクション <中編: 分離性> 前回で扱った「銀行口座」の例をそのまま使っていきます。 BEGIN; DROP TABLE IF EXISTS accounts; CREATE TABLE accounts ( id serial PRIMARY KEY, name varchar NOT NULL, balance decimal NOT
MySQL（InnoDB）をデフォルトのトランザクション分離レベルのRepeatable-Readで運用していると、ワークロードによってはデッドロックが頻繁に発生して頭を悩ますことがあると思います。解決策としては、デッドロックを引き起こしている原因のSQLがどのような行ロックを取得したか確認して、デッドロックが起こらないようにSQLを修正します。 このほか、行ロックの待機が大量に発生して高負荷になり、サービスに影響が出てしまうこともあると思います。 今回は、そういったときに便利な「InnoDBの行ロック状態を確認する方法」を紹介したいと思います。実行環境にはMySQL 8.0.23を使用しています。 MySQL 8.0での調査方法 まずは、MySQL 8.0から追加されたperformance_schemaのテーブルを使って、あるSQLがどのような行ロックを取得しているか確認する方法を紹介
この記事は個人ブログと同じ内容です zenn.dev はじめに 業務でデッドロックが発生し、原因がわからずに時間を費やしてしまいました。そこで、今回はその原因と解決方法について調査した結果を備忘録としてまとめたいと思います。 状況 実際のテーブルやアプリケーションコードを直接お見せするわけにはいかないので、簡易テーブルを用意して、SQLにて当時の状況を再現してみたいと思います。 テーブル内容 CREATE TABLE users ( id INTEGER PRIMARY KEY AUTO_INCREMENT, name VARCHAR(255) ); CREATE TABLE rooms ( id INTEGER PRIMARY KEY AUTO_INCREMENT ); CREATE TABLE entries ( id INTEGER PRIMARY KEY AUTO_INCREMEN
パッケージソフトの開発会社や、業務系システムの開発会社にいた頃はデータベースといえばSQL ServerやOracleでした。 独立してからはオープンソース化の流れとライセンスの都合上でPostgreSQLを触る機会が多くなりましたが、MySQLを本格的に触り始めたのはわりと最近になります。MariaDBで興味を持ったのがきっかけですね。 Webサイトで使うデータベースを決めたら、まずメンテナンス用のスクリプトを組むのですが、はて、MySQLの場合はvacuumコマンド※がないのかな、と不思議に思いました。 PostgreSQLもバージョンアップによってvacuumしなくて良くなった！と聞いたときには、え、そんなバカな、と思いつつも一応調べてみるとauto vacuumできるようになったというだけでしたし。 MySQLのInnoDBは追記型データベースではないと言ってもメンテナンスコマンド
こんにちは。スタメンの河井です。 RubyKaigi Takeout 2020 が楽しみですね。 Ruby 3.0 から型定義 & 型検査ができるようになると言われていますが、今の段階でもそれに関連した gem は公開されています。 今回は型のある Rails 開発を体験してみようということで、RBS・rbs_rails・Steep の3つの gem を紹介しようと思います。 RBS とは RBS とは、 Ruby プログラムの構造を記述するための言語です。 Ruby のソースコード（.rb ファイル）とは別にファイル（.rbs）を用意して型定義を記述していきます。 たとえば # message.rbs class Message def reply: (from: User | Bot, string: String) -> Message end という定義では Message クラス
はてなで Mackerel を開発している id:wtatsuru です。 この記事は Mackerel Advent Calendar 2022 の25日目の記事です。前日は id:tukaelu の Mackerelのカスタムダッシュボードにアラートの一覧を表示する でした。こういうちょっとしたハックで解決する手法、私は大好きです。 本記事では、Mackerel を使って Amazon RDS を監視する際にどのメトリックが使われているのか、その背景と共に紹介しています。 AWSインテグレーションと Amazon RDS の紹介 よく使われるメトリックたち CPU利用率 メモリ利用量 ストレージの空き状況 データベースへの接続数 レプリカの遅延 クエリの処理時間 デッドロックの発生 まとめ AWSインテグレーションと Amazon RDS の紹介 AWSインテグレーションを用いると、A
MySQLの歴史が面白い - Qiita
まえがき MySQLの歴史をまとめました。 若干関係ない話題も書いてるかもしれませんが読んでいただけると幸いです。 （初投稿なので温かい目でみてください。。。） TL;DR (1995年) Michael WideniusらによってMySQLが開発される。 (2001年) 開発会社MySQL ABのCEOがMårten Gustaf Mickosに変わり、MySQLがオープンソース化される。 (2008年) MySQLがサンマイクロシステムズによって買収される。 (2009年) Michael Widenius「こんなバグまみれのバージョン(5.1)リリースするなら抜けます」 「生みの親」Michael WideniusがサンマイクロシステムズのMySQL開発チームを脱退。 →Michael Wideniusが独立した会社でMariaDBをリリース。 （ちなみに「My」はWidenius氏
I am starting this new year the same way I ended the last: taking antibiotics because my biological daughter brought home a nasty sinus bug from Carnegie Mellon’s preschool. This was after my first wife betrayed me and gave me COVID. Nevertheless, it is time for my annual screed on last year’s major database happenings and trends since a lot has happened. My goal is to keep my trenchant opinions f
はじめに こんにちは。食べログシステム本部 技術部 マイクロサービス化チームの栗山です。 マイクロサービス化チームのミッションは「巨大なモノリシックサービスにおける開発の辛さを解消し、少人数のチームが自律的に意思決定しながら開発するためのシステム基盤を作る」です。2021年の Advent Calendar ではチームの成果として、食べログのレストラン検索インデックス同期システムを Change Data Capture (CDC) プロダクトの Debezium により改善した事例と、1 メッセージング基盤を Apache Kafka にリプレイスした事例を紹介しました。2 マイクロサービス化チームが提供するシステム基盤には例えば分散トレーシングのように特定の課題に特化したものもありますが、中には様々な課題に応用できる基礎技術的なものもあります。Change Data Capture (
主キー制約とインデックスの話 - Qiita
この記事は アイスタイル Advent Calendar 2022 2日目の記事です。 アイスタイルでDBAを担当している@suzukitoです。 今年のアドベントカレンダーは、主キー制約とインデックスの話にする事にしました。 過去の記事でDB関連のやつはこちらです。良かったら読んでみて下さい。 発端 アイスタイルのメインDBMSはSQL Serverなのですが、現在、DBMSの異機種移行に取り組んでいます。移行先は、MySQL互換の分散RDBMS TiDBです。 異機種移行なので、まずは、テーブル定義をSQL ServerからMySQLへ変換しなくてはなりません。 スキーマ変換自体はツールを使うのでそれほど難しくはありません。 面倒なのは、インデックスの統廃合です。 データベースは参照負荷分散を行っているため、1つのライターノードと、複数のリーダーノードに分かれているのですが、リーダーノ
Amazon Web Services ブログ Amazon Aurora MySQL3におけるバイナリログの最適化 本記事は、2024年5月17日に公開された Binary logging optimizations in Amazon Aurora MySQL version 3 を翻訳したものです。 MySQLのバイナリログ(binlog)は、MySQLサーバ上のデータベースの変更を”イベント”と呼ばれる論理フォーマットでキャプチャするために使用されます。これらのデータベース変更には、DCL(CREATE USERやGRANTなど)、DDL(CREATE TABLE、ALTER TABLEなど)、DML(INSERT、UPDATE、DELETEなど)が含まれます。そのような変更がMySQLでコミットされると、サーバは 2-phase commit(2PC)を用いてトランザクションのバ
MySQLエラー調査: Table definition has changed, please retry transaction - shallowな暮らし
はじめに こんにちは、id:shallow1729です。小ネタですが、先日”ERROR 1412 (HY000): Table definition has changed, please retry transaction”というエラーに出会ったのでそれの調査をします。MySQL8.0.31をベースにします。 エラーの意味 まずエラーメッセージで調べると以下の公式ドキュメントが出てきました。 https://dev.mysql.com/doc/refman/8.0/en/innodb-consistent-read.html Consistent read does not work over ALTER TABLE operations that make a temporary copy of the original table and delete the original ta
実務でDBのメモリ設定を確認することがあったので、手順を残しておきます。 メモリの設定方法はカバーしていないので、設定が目的の場合は参考記事を参照してください。 ざっくり言うと MySQLのメモリ設定はクエリを流して調べることができる 一般的な環境の場合はINNODB_BUFFER_POOL_SIZEの値を確認する MySQLのメモリに関する設定は色々種類があって、使っているバージョンや内部エンジンによっても確認する項目が変わるから注意が必要 前提条件 MySQLのストレージエンジンがInnoDBであること（確認方法は後述します） MySQL全体で使用されるメモリの確認が目的であること 確認手順 【手順1】ストレージエンジンの種類を確認する MySQLは使用しているストレージエンジンによってメモリの使い方や確認項目が変わってきます。 今回は代表的なInnoDBを対象としているため、下記クエ
ざっくりいうとfujiwara組は本戦でいうと2位と3位の間くらいでした、いやー予選さえ突破できていればな〜〜。それにしても今年は1〜3位が全部学生というのはすごいですね! 学生枠じゃなくて社会人枠作ったらというジョークもでるくらいの結果でしたが、お題的にもみんな知ってるISUCONということで参加者によってドメイン知識の偏りがなかった結果学生がいかんなく伸びてきたというところなのかなぁと思っています。 ということで、ここからはfujiwara組のやったことの話とかを書いていきます。 始まるまで 並列チームは運営チームより「ミライノタワーに来ますか?」と聞かれまして、「はい! 行きます!」と答えた我々は新宿で参加することにしました。私は鎌倉住まいなので湘南新宿ラインで新宿にいくにあたって9時までに行くには7時半すぎの電車に乗る必要があるので仕事いくよりもよほど早起きが必要でしたが、ISUC
Amazon Aurora MySQL v1（5.6 互換）→ v3（8.0 互換）移行を計画する（2）調査の進め方と参考資料
これは Amazon Aurora MySQL v1（5.6 互換）→ v3（8.0 互換）移行を計画する（1）はじめに の続きです。 調査をどう進めるか？ 大雑把に分けると、 テスト環境などを先に作って動作確認し、動かなくなった（または変な動きをする）箇所だけ原因調査して改修する 事前に資料や事例などを収集し、問題になりそうな箇所の「あたり」を付けてから実物での調査に入る の 2 通りの進め方があると思いますが、MySQL 5.7 以前から MySQL 8.0 への移行ではそれ以前の 5.x 間の移行よりも注意すべき点が多く、またそのまま移行しただけでは動かなくなる可能性が低くないので、小規模な利用かつ稼働率や性能などの要件が緩い環境でなければ、事前の情報収集をお勧めします。 参考資料① MySQL 5.7 以前→ 8.0 移行体験記など 探してもかなり少ないと思います。 当たり前かもし
先日は、MySQLユーザ会会 2020年7月に参加しました。 今回はWebや雑誌で連載の著者の方々が、執筆に至った経緯や、執筆時に心がけていることを語る回でした。 @kk2170 さんが「過去の自分に向けて書く」とおっしゃっていたのが、（そういう視点は自分の中になかったので）すごく響きました。 mysql.connpass.com -- 一刻も早くレプリケーション遅延を取り戻したい！そんな場合に使える小技を紹介します。 レプリケーションを止めずに有効化・無効化できるのみを取り上げています。 元に戻すのにレプリケーションを止める必要性のある方法だと、またそこでレプリケーション遅延が発生しますからね… CPU の governor を performance に変更する LinuxにはCPUクロックの調整機能があり、CPU governor が ondemand 設定の場合、負荷に応じて、CP
PingCAPが国内最大級のNewSQLデータベースカンファレンス「TiDB User Day」を開催、事例を中心にTiDBの運用ノウハウを幅広く紹介
PingCAPが国内最大級のNewSQLデータベースカンファレンス「TiDB User Day」を開催、事例を中心にTiDBの運用ノウハウを幅広く紹介 2023年7月7日、PingCAP主催の国内最大級となるNewSQLデータベースカンファレンス「TiDB User Day」がハイブリッドで開催されました。 このカンファレンスでは、まずPingCAP米国本社より共同創業者兼CTOのEd Huang氏とMySQLのInnoDB元開発者でHeatWaveの開発リードを担っていたシニアアーキテクトのSunny Bains氏が来日し、「TiDBとMySQLと未来」というタイトルでTiDBの最新情報について講演後、LINEやSBペイメントサービスなど6社から事例を紹介するという形で進められました。最後は「ゲーム業界のデータベースを覗いてみよう」というパネルディスカッションで終了しました。 事例紹介1
全文検索 MySQL FULLTEXTインデックスからElasticsearchへ切り替えた話 - Leverages Tech Blog
はじめに こんにちは、レバレジーズ フリーランスHub開発チームです。 現在、弊社が運営するフリーランスHub というサービスでは検索エンジンとしてElasticsearchを採用しています。 この記事では、エンジニアがサービスの成長速度と工数を考慮した上で、Elasticsearchを採用するに至った背景や理由、そして、MySQLからElasticsearchへ移行した結果どれくらいパフォーマンスが改善したか、などを紹介していきたいと思います。 サービス紹介 フリーランスHub は全国のフリーランスエージェントの保有案件から、10万件以上の案件をまとめて掲載しているエンジニア・クリエイター向けのフリーランス求人・案件メディアです。 2021年4月にリリースした新規事業で、サイト内でフリーランスエージェントの案件を集約して掲載しており、フリーランスを検討される方が案件に一括で閲覧・応募する
これは 自作DBMS Advent Calendar 2020 - Adventar 1日目の記事です。 初日からギリギリで大丈夫なんですかねぇ(主催者)。 先日こういう記事を書きました。 Rustで古典的なDisk-Oriented DBMSを実装した話 - Write and Run その中で、 このあたりで固定長のページをノードとした B+Tree に、可変長のデータを入れようとすると途端に実装が面倒になることに気が付きます。 と書いたのですが、具体的にどう面倒になるのかについてはなにも説明しませんでした。 今回は固定長のページに可変長のタプルを入れるとなにがどう面倒なのかという話を解説します。 テーブルヒープにおける可変長タプル まず、B+Tree ではなく単純なテーブルヒープを考えます。 PostgreSQL のテーブルデータなどがそういう実装ですね。 これは CMU の例の講義
Introducing Pebble: A RocksDB-inspired key-value store written in Go
Introducing Pebble: A RocksDB-inspired key-value store written in Go Since its inception, CockroachDB has relied on RocksDB as its key-value storage engine. The choice of RocksDB has served us well. RocksDB is battle tested, highly performant, and comes with a rich feature set. We’re big fans of RocksDB and we frequently sing its praises when asked why we didn’t choose another storage engine. Toda
DBを運用していると「DB全体で何MB利用しているのだろう？」「各テーブルごとに何MB利用しているのだろう？」といったことを確認する必要がでてきます。ここでは、容量を確認する方法について紹介します。 SELECT table_schema, floor(SUM(data_length + index_length) / 1024 / 1024) AS ALL_MB, floor(SUM((data_length) / 1024 / 1024)) AS DATA_MB, floor(SUM((index_length) / 1024 / 1024)) AS INDEX_MB FROM information_schema.tables GROUP BY table_schema ORDER BY sum(data_length + index_length) DESC; mysql> SEL
EC事業部でシニアエンジニアリングリードをしているkenchanです。この記事はEC事業部ブログリレーの4日目の記事で、3日目はakatsuuraによるRuby のコードリーディング会に参加して1年経ちましたでした。 カラーミーショップの開発チームでは、2020年末にデータベースドキュメンテーションツールとしてtblsを導入しました。本記事では、tblsの機能や導入の狙いから、実際の移行のプロセスをふりかえり、最後に今後やっていきたいことについて紹介します。データベースドキュメントの継続的なメンテナンスに課題を感じている方の参考になれば幸いです。 tblsとは何か k1LoW/tblsは、ホスティング事業部の@k1LoWが開発、メンテナンスをしているデータベースのドキュメンテーションツールです。tblsを使うことで、MySQLやPostgreSQLなどのRDBMSはもちろん、BigQuer
MySQL 8.4 First Peek
MySQL 8.4 has now been officially released, and this is a quick review of what is in the release notes. This is momentous as it is designated a Long-Term Support (LTS) release. Various 8.0 releases introduced material changes that impacted speed and stability, causing hair-pulling and swearing among those affected. Please note this is a first peek at the release notes, and comments in italics are
2020年6月18日紙版発売 2020年6月18日電子版発売 B5判／176ページ 定価1,342円（本体1,220円＋税10%） ただいま弊社在庫はございません。 Amazon 楽天ブックス ヨドバシ.com Fujisan（定期購読のみ） 電子版 Gihyo Digital Publishing Amazon Kindle 第1特集 一から学ぶログ分析 事業を成長させる分析基盤を作るには 顧客の行動や好みを的確にとらえ，サービス改善につなげたい̶そのひとつの手段として，Webサイトやゲームで日々蓄積されるユーザーの操作記録（ログ）が注目されています。リリース後の分析のために，サービスの開発段階からログや分析基盤について考慮されることもあるでしょう。 その一方で現場では，「せっかく分析基盤を作ったのに，使いにくい，利用されない」という悩みも尽きないようです。きちんと使われ成果を生み出す分
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Cloud SQL で private IP を付与する際に気をつけたいこと - Zeals TECH BLOG
CTF Cloud 問題の攻撃手法まとめ(2022年版) - blog of morioka12
【MySQL】single-transactionとskip-lock-tablesを指定してmysqldumpしよう
MySQLで使用しているメモリが徐々に増え続けているので調べたメモ - 地方エンジニアの学習日記
Upgrading MySQL at Shopify
2024/03/19(火)の出来事 - My Bookmark
第163回 sysbench 1.0を使ってMySQLの負荷テストをする | gihyo.jp
ブラウザ上から使えるDB Playgroundの「DB Fiddle」が便利 - モヒカンメモ
主要RDBMS製品の比較 – 同時実行制御, トランザクション分離レベル | コーソルDatabaseエンジニアのBlog
MySQLのファイルフォーマットをAntelopeからBarracudaに変更する
Ubuntu 18.04 に Redmine 4.0.1 をインストール | 雑廉堂の雑記帳
今日は、RDBの良くない設計にするとどうなるのかの日。 - 今日はなにの日。
【SQL入門】DISTINCTで重複行をまとめる方法をわかりやすく解説 | 侍エンジニアブログ
第145回 InnoDBの行ロック状態を確認する［その1］ | gihyo.jp
【MySQL(InnoDB)】ギャップロックによるデッドロックの調査 - ROXX開発者ブログ
MySQLの全テーブルを最適化(OPTIMIZE TABLE)する
rbs_rails & steep で型のある Rails 開発を体験しよう - stmn tech blog
Mackerel で RDS を監視するときによく使われるメトリック - Mackerel ブログ #mackerelio
Databases in 2023: A Year in Review | OtterTune
Debezium Usecases in Tabelog - Tabelog Tech Blog
Amazon Aurora MySQL3におけるバイナリログの最適化 | Amazon Web Services
「MySQLに割り当てられているメモリ量を確認して」と言われたときに見る記事
ISUCON10決勝に並行チームとしてfujiwara組で参加してきました
MySQLを止めずにレプリケーションをブーストする小技 - mita2 database life
B+Treeのページレイアウトと可変長タプル - Write and Run
MySQL | DB容量、テーブル容量の確認方法 - わくわくBank
tblsを導入してDBドキュメントを継続的にメンテナンスする - Pepabo Tech Portal
Software Design 2020年7月号