このたびエックスサーバー株式会社は、 分散型SNSのオープンソースソフトウェア(OSS) 「Misskey」の開発を支援することとなりました。 開発環境の提供や開発資金の援助を通じて、「Misskey」の開発・運営をサポートし、 弊社運営のVPSサービス『Xserver VPS』のインフラサービスとしての、利便性の向上へも取り組んでまいります。 ---------------------------------------------------------------------- ■開発支援の目的 エックスサーバー株式会社は、日本のインターネットの未来を支えることを理念に掲げ、 国内シェアNo.1（※1）のレンタルサーバーサービス『エックスサーバー』をはじめとした、 インターネットサービスを展開してまいりました。 「Misskey」は、「X（旧Twitter）」に替わるSNSとして昨今
ゲーム業界のデータベース事情。大量のシャーディングで複雑化する負荷分散、メンテナンスで止めないとスケールアップ・ダウンができないなどの課題。解決方法は？［PR］
ゲーム業界のデータベース事情。大量のシャーディングで複雑化する負荷分散、メンテナンスで止めないとスケールアップ・ダウンができないなどの課題。解決方法は？［PR］ 日常的に多数の同時アクセスが発生し、大量のデータが蓄積されるオンラインゲームのバックエンドは、データベースにとってもっとも過酷な環境の1つだといえます。 このバックエンドデータベースとしてよく使われているのがMySQLデータベースです。しかしその使われ方は一般的なMySQLとは異なり、データベースを細かく分割して多数のサーバに負荷を分散するシャーディングと呼ばれる仕組みを構築するなど、複雑なシステム構築と運用が行われているのが現実です。 そこで急速に注目度を高めているのが、MySQL互換でありつつ分散データベースの機能を備え、シンプルなクラスタ構成で高い負荷に耐える、いわゆる「NewSQL」と呼ばれる分野の代表的なデータベースの1
詳解 システム・パフォーマンス 第2版
本書は、エンタープライズとクラウド環境を対象としたオペレーティングシステムとアプリケーションのパフォーマンス分析と向上について解説します。 主にLinuxベースのオペレーティングシステムに含まれるツールとその使用例を通じてシステムパフォーマンスを引き出す手法を説明します。システム評価のためのベンチマーク、キャパシティプランニング、ボトルネックの解消について解説しスケーラビリティを制限する要因を発見、分析し、解決する方法を学びます。 第2版では、perf、Ftrace、BPFの解説が加わり、Linuxとクラウドコンピューティングについての説明が充実しました。 システムのパフォーマンスを向上させ、コストを削減し、レイテンシの外れ値を減らすための方法を学ぶ本書はエンジニア必携の一冊です。 まえがき 1章 イントロダクション 1.1 システムパフォーマンス 1.2 職種 1.3 作業 1.4 分析
次世代データベース TiDB の検証とその評価 [DeNA インフラ SRE] | BLOG - DeNA Engineering
※こちらは先日実施された DeNA インフラエンジニア / SRE MEETUP で話した内容を Blog 記事化したものです！ こんにちは！IT基盤部の熊谷です。IT基盤部にて大規模ゲームのインフラを見ている 新卒２年目のインフラエンジニアです。この記事では “DeNA でのデータベース運用とそのツラミ” と、“TiDB導入への検証・検討” をご紹介させていただきます。 データベースの最適解 DeNA のデータベース構成は最適解を求めて改良を積み重ねてきました。最初期の構成、(便宜上、第１世代と呼びます) では VM Instance 上に MySQL を構築し管理する MySQL on EC2 構成。続く第２世代では、マネージドサービスを駆使した Aurora MySQL 構成。この２世代の中で生じた “ツラミ” を解消する次の世代、言わば 第３世代に該当する新しいデータベース構成を現
![次世代データベース TiDB の検証とその評価 [DeNA インフラ SRE] | BLOG - DeNA Engineering](https://cdn-ak-scissors.b.st-hatena.com/image/square/a7a9ef2e383cbfc8885ee9e5572b0b143267e771/height=288;version=1;width=512/https%3A%2F%2Fengineering.dena.com%2Fblog%2F2022%2F01%2Finfra-meetup-tidb%2Fcover.png)
Aurora MySQL のバックアップは本当にそれでいいのだろうか？ | CyberAgent Developers Blog
技術本部 サービスリライアビリティグループ（SRG）の長谷川 @rarirureluis です。 #SRG（Service Reliability Group）は、主に弊社メディアサービスのインフラ周りを横断的にサポートしており、既存サービスの改善や新規立ち上げ、OSS貢献などを行っているグループです。 また Amazon Aurora MySQL（以下：Aurora MySQL）の話です。何でこんなに Aurora MySQL に関する記事ばっか書いてるのか僕も分かりません。 前回の Aurora MySQL のアップグレード方法のベストプラクティスはこちらです。 RDS Graviton2 に少ないリスクで切り替える方法を考えてみる【アップグレード編】 | CyberAgent Developers Blog 今回はバックアップについてです。 そのクラスター、間違ったクエリ流したときに
MySQL is certainly a powerful open source database management system, but even the most robust engine struggles when queries take an eternity to execute. For DBAs and developers, improving MySQL query performance is an ongoing goal. Efficient query performance is crucial for ensuring the smooth operation and optimal user experience of applications powered by MySQL databases. When businesses rely h
AWS Aurora MySQLには、高性能を期待できる Parallel Query という機能があります。 実際、良いモノっぽいのですが、非常に情報が少ないので私めがいつものように掘り下げて、お役に立てればという徳を積む行為であります。 目次 Parallel Query とは リンク集 速度比較 費用の仕組み 設定による有効・無効 有効にできない条件 Parallel判定されるクエリ 結合クエリ innodb_buffer_pool_size との関係 その他 実践では Parallel Query とは 詳しくは下記リンクを見たほうがいいのですが、頑張って要約してみます。 通常のDB処理は、データを可能な限りメモリ上に置いておいて処理しようとしますが、オンメモリじゃないデータはストレージから取得する必要があり、データ取得後はDB本体における１スレッドがクエリ処理を行います。 Aur
新サービス Aurora Serverless v2 の検証とその評価 [DeNA インフラ SRE] | BLOG - DeNA Engineering
2022.06.16 技術記事 新サービス Aurora Serverless v2 の検証とその評価 [DeNA インフラ SRE] by Keijun Kumagai #infrastructure #aurora #aws #database #technical-verification #game-infrastructure #infra-quality こんにちは！IT基盤部の k-jun です。IT基盤部にて大規模ゲームのインフラを見ているインフラエンジニアです。この記事では、2022/04/21 に GA となった AWS の新サービス Aurora Serverless v2 に対して行った技術検証とその調査結果をご紹介させて頂きます。 Aurora Serverless v2 とは Aurora Serverless v2 は Amazon Aurora のオンデマン
![新サービス Aurora Serverless v2 の検証とその評価 [DeNA インフラ SRE] | BLOG - DeNA Engineering](https://cdn-ak-scissors.b.st-hatena.com/image/square/edc2033bd2be270f3538bbd3e3b9bd2d546575d4/height=288;version=1;width=512/https%3A%2F%2Fengineering.dena.com%2Fblog%2F2022%2F06%2Faurora-serverless-v2%2Fcover.png)
一般公開された Amazon Aurora Serverless v2 を東京リージョンで試してみた | DevelopersIO
動作確認 初期ACU 作成直後のAmazon Aurora Serverless v2 のACU値を、CloudWatchのメトリック「ServerlessDatabaseCapacity」で確認しました。 インスタンスの作成直後のACUの値は32でした。 無負荷状態では、最小ACUの指定値(今回は8)まで段階的に低下していました。 INNODB_BUFFER_POOL_SIZE CLIを利用し、ACU値「8」で稼働中のDBの状態を確認しました。 $ DBHOST='aurora-ss-v2.cluster-xxxxxxx.ap-northeast-1.rds.amazonaws.com' $ echo 'SELECT @@GLOBAL.INNODB_BUFFER_POOL_SIZE/1024/1024' | mysql -h ${DBHOST} -P 3306 -u admin -p @
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog みなさん、こんにちは！ ヤフーでデータベースエンジニアをしている松浦です。 以前、不揮発性メモリに最適化したMySQLのストレージエンジン開発についてのブログ記事を執筆いたしました。 今回のブログ記事は、その続報です。不揮発性メモリ上のデータベースにおける、高可用性構成やその監視・運用に関わる研究開発成果をご紹介します。 前回記事の振り返り さて、本題に入る前に、まずは、前回のブログ記事の簡単な振り返りをさせてください。 前回のブログ記事では、DRAMのようにバイト単位でアクセスが可能だが、DRAMとは異なり、サーバの電源遮断後もデータが残り続け、また、NVMe SSDよりも高速な記憶デバイスである「不揮発性メモリ」の紹介をしまし
真のサーバーレスアーキテクチャについて語り、最新のエッジコンピューティングや生成系AIのサーバーレス実装を学び、クラウドネイティブで高速な開発プラクティスと向き合う2日間「ServerlessDays Tokyo 2023」。ここで登壇したのは、PingCAP株式会社の関口匡稔 氏。同社が開発する、オープンソースの分散型データベース「TiDB Serverless」について発表しました。全2回。後半は、TiDBを使ったアプリケーションのサンプル「OSS Insight」とChatGPTの機能「Chat2Query」について。前半はこちらから。 TiDBを使ったアプリケーションのサンプル「OSS Insight」 ここまで、TiDB Serverlessをどうやって作っていったかというコンセプトをご紹介してきました。ここから、TiDB Serverlessを実際に使ってみたという話をしたいと
MyRocksの論文がVLDBに掲載されてBest Industrial Paper Awardを受賞していたので紹介 - tom__bo’s Blog
先週開催されたVLDB(Very Large Data Base)というDatabase分野のトップカンファレンスで松信さんがFirst authorの論文 MyRocks: LSM-Tree Database Storage Engine Serving Facebook's Social Graph が発表され、Best Industrial Paper Awardを受賞されました。 ↑ VLDB 2020 Awards - VLDB2020 Tokyoのスクショ 特にTwitterやブログ等で書いている人がいないようなので、この内容を紹介します。 VLDBはDatabase分野ではトップ中のトップカンファレンスで、新規のアーキテクチャやアルゴリズムが掲載されるものだと思っていました。 なので、VLDBにMyRocks論文が掲載されたと知って正直驚きましたが、内容を読んでみると松信さん
TL;DR TiDBにおけるパフォーマンス検証をどうやって行ったか パフォーマンス検証を行ったときにつまづいた問題とその対応策 TiDBの仕様やアーキテクチャなどの話はありません 前提 対象のDBはAmazon Auroraで稼働中 DBエンジンはMySQL TiDBに移行できないかPoCを実施 DB周りにいろんな課題があり、TiDBで解決できないか検証 TiDB Cloudで検証 本番運用を想定してTiDB Dedicatedを利用 先にお伝えしたいこと TiDB導入したいとか言う前に、今使っているRDBで発生しているスロークエリとかIndex設計を見直した方が良いです笑 理由はこの記事を見てもらえるとわかると思いますｗ パフォーマンス検証の進め方 1. パフォーマンス検証に利用するクエリを洗い出す 観点としては以下の2つ 実行される頻度が高いSQL 実行速度が遅いSQL（スロークエリ）
はじめに 初めまして。技術部プラットフォームグループの馬崎と申します。 ペパボではOpenStackを利用したプライベートクラウドを運用しており、今回はそのサーバハードウェア選定についての記事です。 ペパボのプライベートクラウドのサーバ概要 各世代の製品を選んだときの選定ポイント 第一世代から第二世代への更新時の選定(2016年) 第二世代から第三世代への更新時の選定(2018) 第三世代から第四世代への更新時の選定(2019) サーバ消費電力と熱の問題とその対応 終わりに ペパボのプライベートクラウドのサーバ概要 採用しているサーバは一般的な1Uサーバです。データセンターに現在は46Uラックを7棟利用しており、2021年7月現在合計で80台のサーバを運用しています。 プライベートクラウドで採用しているサーバ遍歴 プライベートクラウドのサーバはまずレンタルのサーバで開始しました。便宜的にこ
Amazon・Google・Microsoftが自社クラウドの性能比較レポートに提言、2021年以降の比較方針が修正される
商用のデータベース管理システムを開発するCockroach Labsが2019年12月に公開した、AWS・GCP・Microsoft Azureの性能をベンチマークで比較した「2020年のクラウドレポート」に対し、Amazon・Google・Microsoftから不適切な比較方法への指摘などの提言がありました。これを受け、Cockroach Labsは2021年以降のレポート作成における比較方法の修正内容を公表しています。 AWS, Azure, & GCP Respond to the 2020 Cloud Report | Cockroach Labs https://www.cockroachlabs.com/blog/aws-azure-gcp-respond-to-the-2020-cloud-report/ Cockroach Labsが2019年に公開したレポートでは、Ama
他に忘れないうちに書きたいこともあったのですが、世に出るまで書けないので、ソースと関係ない一般的なこと（バージョン5.7以降）を書きます。（書かない方のことは書けるようになる頃には忘れてしまうかも…） index->lockの競合を直して欲しい。という人がいまだに居たりするのです。色々試しましたが、多分殆どの場合は理解不足・チューニング不足です。私自身はindex->lockの競合が不可避なベンチマークに結局会っていません。 特にMySQLとその他のRDBMSを比べる場合にはちゃんと最適化した負荷をかけないとMySQLが悪く見えるのでベンチマークをする際には気をつけて欲しいものです。 5.7で更新・参照並列性を高めるために導入された、index->lockのSXロック（Sロックは可能・SX/Xロックは不可）は、基本的にそのindexにpageを追加・削除するような処理をする際に保持されます
シングルボードPCのRaspberry Pi（通称ラズパイ）に新製品が登場した。10月28日（英国時間）にラズベリーパイ財団が発表した「Raspberry Pi Zero 2 W」（以下、ラズパイゼロ2）だ。価格は15米ドルで、ヨーロッパ、米国、カナダ、香港で発売済み、他の国や地域でも順次発売される。 日本での発売時期は未定だが、国内正規代理店のケイエスワイは、工事設計認証が終了次第発売するとしている。またスイッチサイエンスは2200円という販売予定価格を示している。 今回は国内販売に先駆けて米国で販売されたラズパイゼロ2の実機を入手できたので、その概要と性能について紹介しよう。 ラズパイゼロよりも「5倍の処理性能を達成」という ラズパイゼロ2は旧モデルの「Raspberry Pi Zero W」（以下、ラズパイゼロ）と同じサイズでありながら、SiP（System-in-Package）に
はじめに 各クラウドベンダーからMySQLベースのマネージドサービスが提供されていますが、今回 MySQL Database Service (以降、MDSと表記) と、代表的な MySQL ベース DBaaS である Amazon RDS とで、ベンチマークを通じて、その違いを探ってみました。 ベンチマーク環境や前提条件など 今回のベンチマーク計測では、対象の両サービスでスペックやパラメータは揃えて比較する方針とし、いずれかが不利になるような設定変更やチューニングは施さないことを前提としています。 しかしながら、それぞれのサービスごとに仕様が異なる点もあり、変更がきかず条件が揃えられない部分も少なからずあります。 そこは、該当サービスの特色・特徴と捉えて、そのままの状態とします。 また、今回はシングルインスタンス構成での計測とし、レプリケーションや高可用性構成に準ずるようなトポロジー構成
GCP Comes Out Swinging Against AWS and Azure in 2020 Cloud Report
[THE 2021 CLOUD REPORT IS AVAILABLE. READ IT HERE] Since 2017, Cockroach Labs has run thousands of benchmark tests across dozens of machine types with the goal of better understanding performance across cloud providers. If there’s one thing we’ve learned in our experiments, it’s this: benchmarking the clouds is a continuous process. Since results fluctuate as the clouds adopt new hardware, it’s im
Introducing Amazon Aurora MySQL enhanced binary log (binlog) | Amazon Web Services
AWS Database Blog Introducing Amazon Aurora MySQL enhanced binary log (binlog) Amazon Aurora is a MySQL and PostgreSQL-compatible relational database built for the cloud. Aurora combines the performance and availability of traditional enterprise databases with the simplicity and cost-effectiveness of open-source databases. Aurora has a history of innovating around database engines and the underlyi
「AWS」「Azure」「GCP」の処理性能を比較、Cockroach Labsがレポートを公開：三大クラウドの価格性能比は？ Cockroach Labsは、主要クラウドサービスの処理性能を比較した年次レポートの最新版を公開した。1年前とは大幅に結果が異なることと、3つの主要クラウドごとの性能差よりもマシンタイプごとの性能差が意味を持つことが分かった。 Cockroach Labsは2019年12月11日（米国時間）、主要クラウドサービスの処理性能を比較した年次レポートの最新版「2020 Cloud Report」を公開した。 2018年のレポートでは、「Amazon Web Services」（AWS）と「Google Cloud Platform」（GCP）を比較。今回は「Microsoft Azure」も比較対象に加えた。 Cockroach Labsは1000以上のベンチマークテ
New product: Raspberry Pi Zero 2 W on sale now at $15 - Raspberry Pi
It’s been nearly six years since we unleashed the $5 Raspberry Pi Zero on an unsuspecting world. Of all the products we’ve launched, Zero is still the one I’m proudest of: it most perfectly embodies our mission to give people access to tools, and to eliminate cost as a barrier. We’ve sold nearly four million units of Zero, and its $10 wireless-enabled big brother Zero W, and they’ve made their way
With a special focus on Percona Operator for MySQL OverviewHAProxy, ProxySQL, MySQL Router (AKA MySQL Proxy); in the last few years, I had to answer multiple times on what proxy to use and in what scenario. When designing an architecture, many components need to be considered before deciding on the best solution. When deciding what to pick, there are many things to consider, like where the proxy n
インターネットやAIを駆使しながら、領域に捉われずにさらなる挑戦を行うDeNAの取り組みを紹介する「DeNA TechCon 2023」。ここでインフラエンジニアの熊谷氏が登壇。Aurora Serverless v2のACU増加速度検証のアップデートと、Aurora Serverless v2のコスト面の導入検討について紹介します。 熊谷氏の自己紹介と、本セッションの概要 熊谷圭遵氏：それでは「Aurora Serverless v2 コスト戦略の羅針盤」という題で、DeNA熊谷よりお話しします。よろしくお願いします。 最初に自己紹介です。社内ではk-junというハンドルネームでやっています。入社は2020年度の新卒になるので、社会人3年目ということになります。職種はインフラエンジニアに従事していて、大規模のゲームのインフラを見るような仕事をしています。趣味はウクレレとかボードゲームなど
NTT Tech Conferenceは、NTTグループのエンジニアたちが一堂に会し、NTTグループ内外のエンジニアたちと技術交流を行うためのカンファレンスです。ここで「macOSの仮想化技術について~ virtualization-rs Rust bindings for Virtualization」をテーマに鈴ヶ嶺氏が登壇。続いて、Linux bootのデモと仮想化技術の性能比較結果を紹介します。前回の記事はこちらから。 Virtualization.framework 鈴ヶ嶺聡哲氏（以下、鈴ヶ嶺）：ここまではmacOSの仮想化技術の変遷でしたが、ここから新しくVirtualization.frameworkが登場します。これは先ほども言いましたが、macOS 11 Big Surから追加された、VM作成の高レベルのAPIです。 Linux専用のAPIになっていて、kernelやin
How a Single Line of Code Made a 24-core Server Slower Than a Laptop | Piotr Kołaczkowski
Imagine you wrote a program for a pleasingly parallel problem, where each thread does its own independent piece of work, and the threads don’t need to coordinate except joining the results at the end. Obviously you’d expect the more cores it runs on, the faster it is. You benchmark it on a laptop first and indeed you find out it scales nearly perfectly on all of the 4 available cores. Then you run
税込1万円以下で入手できる中古PCでも、軽量Linuxを入れれば快適なマシンとして復活できる。主要な軽量Linuxから特徴のある5種類を選定し、レスポンスや操作性などを徹底検証する。 結果発表 ここまで、Lenovo B50に5種類の軽量ディストリをインストールし、主に見た目や操作性などを評価してきました。また、特集冒頭の表2で紹介した通り、ベンチマークツールなどを使った評価も実施しています。ここでは、その計測結果を中心に見ていきましょう（表4）。 ベンチマークツールの測定結果 PCのメモリーやHDDといったリソースの使用量では、Puppy Linuxが最も少ない結果となりました。次いでBodhi Linux、Q4OS、Lubuntuの順で、Zorin OS Liteが最も多く消費しました。メモリーに空きがあるほど、多くのアプリを同時に立ち上げることができ、メモリーの先読みやキャッシュ効果
Red Hatでソリューションアーキテクトをしている田中司恩(@tnk4on)です。 Podman v5.1.0がリリースされました！ github.com リリースノートの先頭にあるRosettaのサポートは私がPull Requestを書いて機能を実装したものです。 github.com 本記事ではこの「PodmanのRosettaのサポート」について紹介します。 （※本文の初出は執筆中のPodman Advanced Pod-02からの先出しで、そこから内容を抜粋したものとなります。） （2024年6月28日、追記）Podman Desktop v1.11でGUIからRosettaの設定ができるようになりました。 -目次- Rosettaとは Podmanにおけるエミュレーションの利用 PodmanにおけるRosettaサポートの概要 実行方法 動作確認 Rosettaの無効化 Ro
次世代データベース TiDB の検証とその評価 [DeNA インフラ SRE] | BLOG - DeNA Engineering
※こちらは先日実施された DeNA インフラエンジニア / SRE MEETUP で話した内容を Blog 記事化したものです！ こんにちは！IT基盤部の熊谷です。IT基盤部にて大規模ゲームのインフラを見ている 新卒２年目のインフラエンジニアです。この記事では “DeNA でのデータベース運用とそのツラミ” と、“TiDB導入への検証・検討” をご紹介させていただきます。 データベースの最適解 DeNA のデータベース構成は最適解を求めて改良を積み重ねてきました。最初期の構成、(便宜上、第１世代と呼びます) では VM Instance 上に MySQL を構築し管理する MySQL on EC2 構成。続く第２世代では、マネージドサービスを駆使した Aurora MySQL 構成。この２世代の中で生じた “ツラミ” を解消する次の世代、言わば 第３世代に該当する新しいデータベース構成を現
レプリカをオートスケールさせるAmazon Aurora Auto Scalingの導入ポイントをまとめてみた | DevelopersIO
Amazon Aurora Auto Scalingを利用すると、レプリカを動的にスケールアウトできます。 導入のポイントをまとめてみました。 Amazon Auroraデータベースはリードレプリカを最大で15個まで追加できます。 Auto Scaling policyを設定することにより、利用者の多い日中はレプリカを多めに用意し、利用者の少ない夜間はレプリカを減らすといった運用が可能です。 この機能の設定ポイントを解説します。 Amazon Aurora Auto Scaling について Amazon Aurora Auto Scaling はレプリカの平均CPU使用率・接続数に応じて、レプリカをオートスケールさせるサービスです。 スケールアウト方式のため、ワークロードに応じてレプリカ数を増減させるものであり、インスタンスタイプをスケールアップさせるわけではありません。 ECS でも利
HomeLinux設定MariaDB vs MySQL vs PostgreSQL比較:最適なRDBは?ベンチマーク付選択フローチャート MariaDBとMySQLとPostgreSQL、どれを選べば良いかMariaDB https://mariadb.org/ MySQL https://www.mysql.com/jp/ PostgreSQL https://www.postgresql.org/ それぞれのDBの良い点をリストして、結論としてどのDBを使えば良いのか分からないという記事はよく見かけると思います。 ここでは、貴方にどのRDB(Relational Database)が良いか、結論が得られるフローチャートを提供します。 なお、ここではあくまでこの3つのRDBで悩んでいる場合のみ想定し、それ以外のNO SQL系DB等は検討対象に入れていないものとします。 RDB選択フローチ
RDS Graviton2 に少ないリスクで切り替える方法を考えてみる【アップグレード編】 | CyberAgent Developers Blog
技術本部 サービスリライアビリティグループ（SRG）の長谷川 @rarirureluis です。 #SRG（Service Reliability Group）は、主に弊社メディアサービスのインフラ周りを横断的にサポートしており、既存サービスの改善や新規立ち上げ、OSS貢献などを行っているグループです。 AWS Graviton2…? AWS Graviton2（以下 Graviton2） をご存知でしょうか？ご存知でない方はこちらをご覧ください。 Amazon EC2 を Arm に切り替えたら幸せなことしかありませんでした そんな、Graviton2 が 3/12 に Amazon Aurora（以下；Aurora）で利用できるようになりました。 新しい Graviton2 インスタンスを使用して Amazon Aurora で最大 35% 優れた料金/パフォーマンスを実現 確かに G
メルカリの本番環境で流れているクエリを使って、MySQL互換のTiDB Cloudを評価。40TBを越えるDBの大規模トラフィックに耐えられたか？ - Qiita Zine
sponsored by PingCAP株式会社 | 制作：Publickey 国内最大級のフリマアプリ「メルカリ」のバックエンドデータベースは、50台以上のMySQLサーバがオンプレミスのデータセンターで稼働しており、40TBを越えるデータサイズのデータベースを保持していると、2023年12月に都内で開催されたイベント「db tech showcase 2023 Tokyo」のセッションで、同社のDBRE（Database Reliability Engineer）を務める本田恭氏が明らかにしました。 そしてそのデータベースの規模の大きさゆえにいくつかの課題もあるため、新たなデータベースの候補として、MySQL互換でNewSQLの代表的なデータベースサービスである「TiDB Cloud」をPoC（Proof of Concept：概念検証）として評価。その結果も発表されました。 メルカリ
Use the TempTable storage engine on Amazon RDS for MySQL and Amazon Aurora MySQL | Amazon Web Services
AWS Database Blog Use the TempTable storage engine on Amazon RDS for MySQL and Amazon Aurora MySQL August 2023: This post was reviewed and updated to reflect a new parameter change in MySQL Community 8.0.28 that impacts Amazon Aurora MySQL release. MySQL 8.0 has introduced TempTable as the new, default internal temporary table storage engine to speed up query processing. The MySQL query optimizer
オンプレミスからクラウドに移行しているめぐみそです。 今回はContaboという海外のVPSを使ってみたので、レビューをして行きたいと思います。 なお、契約方法は記載していないですが、難しいことはないので何もみなくても契約できると思います。 ※記事内の画像は、クリックで拡大します。 契約スペック 今回は、以下のスペックのものを契約しています。 CPU: ４コア メモリ: 8GB SSD: 200GB スナップショット: 1 転送量: 32TB (下りは無制限) 速度: 200Mbps 価格(月): 5ユーロ + シンガポールの場合は 2.5ユーロ 初期費用: 5ユーロ 7.5ユーロは日本円にすると962円になります。1000円弱とは思えないほどすごいスペックではないでしょうか。 転送量に関しては、100Mbpsがずっと使い続けられる計算になります。 ただし、nested KVMは使用できな
RDS MySQL、RDS MariaDB、および Amazon Aurora MySQL での SSL/TLS を経由した sysbench の実行 | Amazon Web Services ブログ
Amazon Web Services ブログ RDS MySQL、RDS MariaDB、および Amazon Aurora MySQL での SSL/TLS を経由した sysbench の実行 sysbench は、MySQL 対応データベースでの合成ベンチマークの実行に最適なツールです。Amazon Aurora Performance Assessment Technical Guide は、sysbench を使用して Amazon Aurora MySQL のパフォーマンスを評価するために役立ちますが、RDS または Aurora で実行されている MySQL 対応データベースで sysbench を SSL/TLS 経由で実行したいという場合は、sysbench ツールと AWS のサービスにおけるいくつかの制限を考慮する必要があります。 この記事では、これらの考慮点と
Today the Raspberry Pi Foundation released the Raspberry Pi Zero 2 W. I'm going to share my thoughts and experiences with it. Can you run containers? Can you run OpenFaaS? What about K3s? Is it worth buying or will it gather dust? I've got my faasd t-shirt on and you'll find out why below. The Raspberry Pi Foundation sent me one of these boards for testing earlier in the year. The original Zero /
はじめに 前回、MySQLのmaster slave構成をDockerで作ってみた が、実際の開発では複数DBをアプリケーションから使うには一工夫必要である。もっとも素朴な方法は使用するDBの接続情報をアプリケーションですべて保持しておき、read系/write系で使い分けることだと思う。しかし、これは次のような問題がある。 DBの接続情報は途中で変わりうる アプリケーションのロジックにDBの使い分けが入るのは面倒（だし複雑） そこで、今回は ProxySQL を試してみる。ProxySQLは アプリケーションとDBの間に入って、次のようなことをしてくれる。 クエリに応じたmaster / slave への自動プロキシ 負荷分散 シームレスな接続設定の変更 どの程度メジャーなのかはいまいちわかっていないが、公式の mysql-proxyよりは使われているようだったので選んだ。ちなみにPro
[Linux Kernel Exploitation 0x0] Debugging the Kernel with QEMU
Hi folks, in this post I'm going to walk through how to setup the linux kernel for debugging. I will also demonstrate that the setup works by setting a break-point to a test driver I wrote myself. All the code will be available from my gitlab, all the links to my gitlab will be re-posted at the end. The setup I describe here re-uses some parts of the syzkaller setup, and for good reason later on i
![[Linux Kernel Exploitation 0x0] Debugging the Kernel with QEMU](https://cdn-ak-scissors.b.st-hatena.com/image/square/df1915cd2b828210ba109c6db14c97e3485cdabe/height=288;version=1;width=512/https%3A%2F%2Fblogger.googleusercontent.com%2Fimg%2Fb%2FR29vZ2xl%2FAVvXsEjfJqc1KEObI3B8RhfyqjoOUwTXhdpmQu9hz7XBB9dYBsJsCUSZF1KpdPz3hATngUhAI5uKNpkTQtG2Ks3aWGIl_v_VfkZoJOQQk-xWPyYRLrXCiHEem39M2tIoPHQ3AP1KRWCpQ6odRMs%2Fw1200-h630-p-k-no-nu%2FScreenshot%2Bfrom%2B2020-11-11%2B17-00-44.png)
運用をしているとダウンタイムかありかに関わらず、alter tableにどれくらいの時間がかかるのか作業前に把握したいことはよくあります。 各種statusを見ることで一定時間でどれくらいの行を書き換えるかを把握することはでき、作業を始めてからであれば、あとどれくらい掛かりそうかは見積もれますが、alter tableの話が出た瞬間にどれくらい掛かりそうかの目処はつけたいです。 今回はalter時に実行されるDMLがなく、テーブルに断片化もないという理想的な環境で、各種Alter操作にどれくらいの時間がかかるのかを実験してみました。 環境やconfigの詳細はあえて書いていませんが、どちらにしろ実際には様々な要因が絡むので、このくらいの情報があれば充分かと思います。 概要 alter tableにかかる時間を計測 on/off memoryでALTER TABLEにどれくらい時間がかわるか
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
分散型SNS「Misskey」への開発支援に関するお知らせ
Ultimate Guide to Improving MySQL Query Performance
AWS Aurora MySQL Parallel Query の基礎研究 | 外道父の匠
不揮発性メモリに最適化したMySQLの高可用性構成
複雑なデータベースの知識は一切不要、気にするのはエンドポイントだけ 開発の生産性を高める「TiDB Serverless」の各種機能
TiDBにおけるパフォーマンス検証の進め方とつまづきポイント
インスタンス数を最大化するためのハードウェア選定の工夫 - Pepabo Tech Portal
index->lock の競合について 〜ベンチマークはちゃんとチューニングして〜
マルチスレッド性能5倍をうたう新「Raspberry Pi Zero 2 W」 その性能をいち早くチェック
MySQL Database Service と Amazon RDS のベンチマーク比較
「AWS」「Azure」「GCP」の処理性能を比較、Cockroach Labsがレポートを公開
Comparisons of Proxies for MySQL
Aurora Serverless v2とAurora Provisionedのコスト比較 3つの変数を“羅針盤”に優位境界面を探る
macOS 11 Big Surで追加されたVM作成の高レベルAPI Virtualization.frameworkの性能はDockerとほぼ同じ
軽量Linuxの実力を比較、重視するのは軽さ？それとも見た目？
PodmanでRosettaを使う【Podman v5.1】 - 赤帽エンジニアブログ
MariaDB/MySQL/PostgreSQL比較:ベンチマーク付選択フローチャート
【VPSレビュー】Contaboというコスパ最強VPSを使ってみる
First Impressions with the Raspberry Pi Zero 2 W
ProxySQLでMySQLの負荷分散をする
ALTER TABLEにかかる実行時間を見積もりたい - tom__bo’s Blog