データベースアップグレード後の性能劣化、イヤですよね。 去る2023年某日、弊社ではAmazon Aurora MySQL 互換エディション 2 (MySQL 5.7 互換) から Aurora MySQL 互換エディション 3 (MySQL 8.0 互換) にアップグレードしました。当時の背景やアップグレードに関する知見は以下の記事をぜひ読んでみてください。 blog.smartbank.co.jp ソフトウェアバージョンアップをするとき、旧バージョンが抱えていた問題の解決などの恩恵を我々は期待します。しかし時には予期せぬデグレーションに遭遇することもあります。我々のMySQL 8.0へのアップグレード前後においてもいくつかの問題に遭遇しました。 本記事ではそんな問題の一つ、MySQL 8.0のオプティマイザが選択したセミジョイン最適化が性能劣化を引き起こした事例と解決方法について紹介し
メディア統括本部 サービスリライアビリティグループ（SRG）の鬼海雄太（@fat47）です。 #SRG（Service Reliability Group）は、主に弊社メディアサービスのインフラ周りを横断的にサポートしており、既存サービスの改善や新規立ち上げ、OSS貢献などを行っているグループです。 本記事では、MyS
はじめに こんにちは。Repro で新規事業の開発をしている冨永です。 我々のチームでは主に、ユーザーのイベント集計を定期的にバッチ処理するフローで Go を採用しています。 Go で RDB など外部依存のあるコンポーネントを扱うテストをする際 interface などで抽象化しモックすることが多かったのですが、実際にその部分の挙動が確かめられないという不安がありました。 そこで今回は testfixtures というライブラリを使って実際に DB アクセスするテストを書いてみたのでその紹介です。 きっかけ まずはチーム内でテストに関する共通認識を作るためワークショップを実施しました。 各々の『知りたいこと』『教えたいこと』『議論したいこと』を話し合った結果、以下のような話題が上がりました。 今回は特に『外部依存のあるコンポーネントでテストが書き辛い』というトピックが盛り上がり、その中で
6万5000人以上の開発者に「好きな言語」「好きなOS」「好きな開発環境」「好きなAI」を聞いた年次調査「2024 Stack Overflow Developer Survey」の結果が公開される
開発者のためのコミュニティ「Stack Overflow」が実施した年次調査「2024 Stack Overflow Developer Survey」の結果が公開されました。6万5000人を超える開発者が、コーディングやAI、使用および学習したいと考えるテクノロジーやツール、職場での体験などについて回答しています。 2024 Stack Overflow Developer Survey https://survey.stackoverflow.co/2024/ まず、回答者の最終学歴は以下の通りで、41％が学士号を、25.6％が修士号を取得しています。Stack Overflowは「開発者の66％が学士または修士の学位を持っているが、学校でコードを学んだ開発者は49％に過ぎない」とも指摘しています。 コードを学習するために最も優先する選択肢を問うた項目では、「その他のオンラインリソース
Google、BIツールのLooker Studioのグラフからプレゼンテーション用スライドを自動的に生成する「Gemini in Looker」の新機能プレビュー公開
Google、BIツールのLooker Studioのグラフからプレゼンテーション用スライドを自動的に生成する「Gemini in Looker」の新機能プレビュー公開 Googleは、同社の最新生成AIであるGeminiをBIツールと統合した「Gemini in Looker」として、Looker Studio ProのグラフからGoogle Slidesのスライドを自動的に生成する新機能のプレビュー公開を発表しました。 Looker Studioは、Google SheetsやBigQuery、Cloud SQLやGoogle AnalyticsといったGoogleが提供するデータソースだけでなく、Amazon RedshiftやMicrosoft SQL Server、MySQL、PostgreSQL、SnowflakeなどのデータベースやFacebook Ads、LinkedIn
こんにちは、技術本部 SRE部 基幹プラットフォームSREチームの斉藤です。普段はZOZOの持っている倉庫システムやブランド様が触る管理ページなどのサービスのオンプレミスとクラウドの構築・運用に携わっています。またDBREとしてZOZOTOWNのデータベース全般の運用・保守も兼務しております。 7月11日、12日に行われた「db tech showcase 2024」に、DBREから5名のエンジニアが参加しました。この記事では会場の様子と印象に残ったセッションについてご紹介します！ db tech showcaseとは 会場の様子 セッションレポート おわりに db tech showcaseとは 国内最大規模のデータとデータベース関連のカンファレンスです。このイベントでは、データベースの専門家やエンジニア、IT業界のリーダーたちが一堂に会し、新しい技術やソリューション、事例、ノウハウを共
Datadog Continuous Profiler を用いて、ボトルネックが Ruby の GVL であることを発見した
Datadog Continuous Profiler を用いて、ボトルネックが Ruby の GVL であることを発見した こんにちは、terandard です。 弊社では Datadog を用いてアプリケーションやサーバーの監視を行っています。 以前からリクエストがスパイクした際にアプリケーション全体が遅延する問題があったので、Datadog Continuous Profiler を使用して調査したことについて紹介します。 背景 リクエストがスパイクするとアプリケーション全体が遅延する問題がありました。 リクエスト全体のリクエスト数とレイテンシー 特に処理に時間がかかっていたリクエストについて Datadog APM で状況を確認すると、下図のように空白期間があったり mysql2 や faraday の実行時間が長いことがわかりました。 例1: 謎の空白期間がある 例2: mysq
システムプラットフォームチームで SRE をしている id:masayoshi です。 この記事は、はてなの SRE が毎月交代で書いている SRE 連載の7月号です。先月は id:chaya2z さんの AWS ECS で実行するバッチ処理を Cluster Auto Scaling を使ってコスト最適化する でした。 今月は、社内で最近始めたSREへの研修についてお伝えします。 SREの研修 SREの研修は新卒入社のSREや、中途採用でインフラエンジニアやアプリケーションエンジニアからSREにジョブチェンジした方を対象に実施しています。 SREの研修は主に以下の2つに分かれます。 SREの原理原則やSLI/SLOに関する研修 インフラ構築、運用、CI/CD環境の構築に関する研修 基本的にはどちらも受けてもらうことになりますが、受講者の経験によってはどちらかだけになることもあります。 ま
Aurora MySQLとRedshiftのゼロETL統合が本番導入出来るか検証しました - クラウドワークス エンジニアブログ
Aurora MySQL Zero ETL Integrations クラウドワークスのSREチームに所属しています@ciloholicです。 2023年11月にAurora MySQLとRedshiftのゼロETL統合がGAされました。この度、ゼロETL統合が本番導入可能かを検証する機会があったので、その検証結果を記載します。 aws.amazon.com 2024年7月時点での検証結果ですので、時間経過によって内容が変わっている可能性があります。その点は十分ご注意ください。 背景 まず、ゼロETL統合の検証しようと考えた背景について軽く説明したいと思います。クラウドワークスでは、MySQLのテーブルをDMS経由でRedshiftにニアリアルタイムで同期し、データ分析を行なっています。3年前は約30億レコードでしたが、現在では古いレコードの削減を行なったため、約25億レコードになりました
はじめに 先日、レバテックで最も歴史のあるDBでかつ最も容量が大きいDBをTiDBに移行しました！ Xの投稿でもある通り、無事だったかというとそうではないので、その理由をまとめたいと思います！ 前提条件 移行元DB Amazon RDS エンジン：MySQL Community エンジンバージョン：8.0.33 グローバルシステム変数（影響があった部分をピックアップ） @@global.time_zone = Asia/Tokyo @@GLOBAL.sql_mode = NO_ENGINE_SUBSTITUTION 移行方法 AWS Database Migration Serviceを利用 雑な選定理由 Terraformで実装できる 移行時にスキーマ名を変更できる 移行タイプ フルロード、継続的なレプリケーション しくじり集 TiDBのAUTO INCREMENTのキャッシュが更新され
2024年6月、AMDは次世代CPUマイクロアーキテクチャの「Zen 5」および、Zen 5を採用したAI PC向けのチップとなるRyzen AI 300シリーズを発表しました。その後、Zen 5やRyzen AI 300シリーズの詳細が明らかになり、Ryzen AI 300シリーズの上位モデルとして「Ryzen AI 9 HX 370」も発表されています。この「Ryzen AI 9 HX 370」のレビューがさっそく公開されていたので、どんな評価になっているのかまとめてみました。 The AMD Ryzen AI 9 HX 370 Review: Unleashing Zen 5 and RDNA 3.5 Into Notebooks https://www.anandtech.com/show/21485/the-amd-ryzen-ai-hx-370-review AMD Ryzen
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
MySQL 8.0アップグレード後に性能劣化したクエリ: セミジョイン編 - inSmartBank
MySQL8.0で低速になったSELECT COUNTを高速化する - CyberAgent SRG #ca_srg
Go で実 DB を使ったテストをしてみた - Repro Tech Blog
DBREの行くdb tech showcase 2024レポート - ZOZO TECH BLOG
はてなで最近実施しているSRE研修の紹介 - Hatena Developer Blog
Amazon RDS から TiDB 移行時のしくじり集
AMDのZen 5採用最新AI PC向けチップ「Ryzen AI 9 HX 370」のベンチマーク結果まとめ