データベースの値をちょっとだけ書き換えたら検索に数十分かかる様になって障害になった裏話 - STORES Product Blog
はじめに 2024年1月にリテール(ネットショップ・レジ)部門からサービス(予約)部門に異動になった @ucks です。 異動してからはスマートリストという機能の開発を行っていて、5月6日に無事リリースできたのと、開発途中で障害に至ってしまった部分があるので、裏側を少し紹介しようかなと思います。 はじめに スマートリストとは スマートリストの設計 検索の仕様変更 高負荷時のハンドリング そして障害へ 見逃した点 DBの実行計画確認時の見逃し 動作確認時の漏れ 監視先の漏れ ログの損失 おわりに スマートリストとは スマートリストの開発についての話を行う前に、まずはスマートリストについて簡単に説明しておきます。 スマートリストとは、特定の条件の顧客をラベリングする機能です。 早い話、最終予約日がいつ、予約回数が何回以上等の顧客の検索条件を保存しておいて、閲覧時にラベリングして、視認しやすくし
[提案]テーブル名はもう全部単数形にしようや
こんにちは、データベース愛好家のみなさん！今日は、データベース設計で永遠の議論となっている「テーブル名、単数形 vs 複数形問題」について、徹底的に掘り下げていきます。私は単数形派です！でも、なぜそうなのか、一緒に深掘りしていきましょう。 イントロダクション：我らが主人公、単数形くん みなさん、こんな経験ありませんか？ You: テーブル名って、users? user? どっちがいいんだろう... 先輩: いや、絶対usersだよ！Rails使ってるし。 You: でも、user_idって書くときは単数形だよね？ 先輩: あ、そうだね...でもやっぱりテーブルは複数形！ You: （心の中で）なんかモヤモヤする... 実は、この「モヤモヤ」には理由があるんです。今日はその理由を解き明かし、単数形テーブル名の魅力をお伝えします。準備はいいですか？Let's dive in! 言語の壁を突破せ
![[提案]テーブル名はもう全部単数形にしようや](https://cdn-ak-scissors.b.st-hatena.com/image/square/488202253b2a767aee88b454177ed40b86f0fa47/height=288;version=1;width=512/https%3A%2F%2Fres.cloudinary.com%2Fzenn%2Fimage%2Fupload%2Fs--WIyVziu_--%2Fc_fit%252Cg_north_west%252Cl_text%3Anotosansjp-medium.otf_55%3A%25255B%2525E6%25258F%252590%2525E6%2525A1%252588%25255D%2525E3%252583%252586%2525E3%252583%2525BC%2525E3%252583%252596%2525E3%252583%2525AB%2525E5%252590%25258D%2525E3%252581%2525AF%2525E3%252582%252582%2525E3%252581%252586%2525E5%252585%2525A8%2525E9%252583%2525A8%2525E5%25258D%252598%2525E6%252595%2525B0%2525E5%2525BD%2525A2%2525E3%252581%2525AB%2525E3%252581%252597%2525E3%252582%252588%2525E3%252581%252586%2525E3%252582%252584%252Cw_1010%252Cx_90%252Cy_100%2Fg_south_west%252Cl_text%3Anotosansjp-medium.otf_37%3ASakura%252Cx_203%252Cy_121%2Fg_south_west%252Ch_90%252Cl_fetch%3AaHR0cHM6Ly9saDMuZ29vZ2xldXNlcmNvbnRlbnQuY29tL2EtL0FPaDE0R2hNbkZBUW9tSkF0bktaeXZVMmRKN3NPTUU4ZE1QbjB0cTNiMkx1bHc9czk2LWM%3D%252Cr_max%252Cw_90%252Cx_87%252Cy_95%2Fv1627283836%2Fdefault%2Fog-base-w1200-v2.png)
MySQL is certainly a powerful open source database management system, but even the most robust engine struggles when queries take an eternity to execute. For DBAs and developers, improving MySQL query performance is an ongoing goal. Efficient query performance is crucial for ensuring the smooth operation and optimal user experience of applications powered by MySQL databases. When businesses rely h
UUIDs are often used as database table primary keys. They are easy to generate, easy to share between distributed systems and guarantee uniqueness. Considering the size of UUID it is questionable if it is a right choice, but often it is not up to us to decide. This article does not focus on "if UUID is the right format for a key", but how to use UUID as a primary key with PostgreSQL efficiently. P
TiDB User Day 2024の登壇資料です。
データベースアップグレード後の性能劣化、イヤですよね。 去る2023年某日、弊社ではAmazon Aurora MySQL 互換エディション 2 (MySQL 5.7 互換) から Aurora MySQL 互換エディション 3 (MySQL 8.0 互換) にアップグレードしました。当時の背景やアップグレードに関する知見は以下の記事をぜひ読んでみてください。 blog.smartbank.co.jp ソフトウェアバージョンアップをするとき、旧バージョンが抱えていた問題の解決などの恩恵を我々は期待します。しかし時には予期せぬデグレーションに遭遇することもあります。我々のMySQL 8.0へのアップグレード前後においてもいくつかの問題に遭遇しました。 本記事ではそんな問題の一つ、MySQL 8.0のオプティマイザが選択したセミジョイン最適化が性能劣化を引き起こした事例と解決方法について紹介し
年間一億円削減した時系列データベースのアーキテクチャ改善～不確実性の高いプロジェクトへの挑戦～
「Developers Summit 2024 Summer」での発表資料です。
Notion – The all-in-one workspace for your notes, tasks, wikis, and databases.
A new tool that blends your everyday work apps into one. It's the all-in-one workspace for you and your team
こんにちは！バクラク事業部 Platform Engineering 部 DevOps チームの id:sadayoshi_tadaです。 7月はエンジニアブログがたくさん出る #ベッテク月間です。今後も記事が出ますので、どんな記事がでるのかこちらのカレンダーからよければチェックしてみてください！7/2にSRE Lounge#17にて開発者が安心して実行可能なSQL実行基盤の取り組みという発表させていただきました。この記事では当該発表で時間の関係で触れきれなかった内容や補足を行っていきます。 従来のデータベースのデータ変更における課題 課題に対する解決策の検討 Bytebaseの利用にかかるコスト Bytebaseの導入及びデータ変更のフロー整備 データ変更のフロー整備 Bytebase導入後の変化 データ変更オペレーション上の課題 まとめ 最後に 従来のデータベースのデータ変更における課
はじめに ドワンゴ教育事業でデータアナリストとして働いている小林です。 一般的にデータアナリストはデータの収集・分析を通して組織の意思決定を支援する役割を期待されることが多く、ドワンゴ教育事業における私のミッションもKPI動向の可視化やダッシュボード / レポートの作成・提供を通してデータドリブンな組織に貢献するところにあります。 私たち教育事業には施策を実行する企画者やビジネス上の意思決定者だけでなく、サービスを活用して教育の現場に立っている方々、サービスに展開している教材を制作しているチームなど多様な方面からデータ収集・分析の需要があります。それだけにやりがいも大きく楽しい日々を過ごしています。 課題について（導入に代えて） クエリを書いて、結果を分析して、資料にまとめて、展開して、共有して・・・みたいな仕事をしているとSQLで抽出した縦持ちのデータを横持ちに作り変えたいことがよくあり
ばおーばおーばおーばおー（法螺貝の音）。 はい、というわけでお約束していたクラウド戦国時代の話だよ。合戦物はいくつになったって男の子は大好きなものさ！ ああ別に女の子も見ていっても大丈夫だよ。グロ画像とか出ないから。いやちょっと出るかな。 クラウドベンダーの市場シェアさて、それでは始めよう。まずはビッグピクチャーをつかむために基礎的な数値から押さえておきたいと思う。ここら辺ができるコンサルっぽいね。クラウドベンダの市場シェアを見てみよう。 2024年1Qのクラウドベンダーの市場シェアこのグラフを見て驚くのは、まずAzureの躍進である。もう来年にはAWSを抜くのではないかという勢いだ。Google Cloudも健闘している。実数ではまだまだだが、伸び率は非常に良い。しかし今日の主役はこの二社ではない（関係はするけど）。シェアで見ると――申し訳ない言い方だが「ゴミ」にしか見えない――Orac
Cloud SQL for MySQL 5.7 のデータを Cloud SQL for MySQL 8.x へ DMS を利用して移行してみた - VISASQ Dev Blog
はじめに こんにちは！DPE（Developer Productivity Engineering）チームの高畑です。 最近カーオーディオにハマっていて、スピーカーを変えたり DSP アンプを導入したりとオーディオの沼に腰あたりまで浸かってしまいました。 スピーカーケーブルをちょっと良いやつに変えたりしてみたんですが、正直違いが分かっていないので頭まで浸かるのはまだ先のようです。 現在、ビザスクでは遅ればせながら MySQL 5.7 から MySQL 8.x へアップグレードするためのプロジェクトが進行しており、既存のデータを移行するため諸々の検証を行なっていました。 検証を進めるにあたり、データの移行に DMS (Database Migration Service) を利用する方針となったので、経緯や方法をご紹介したいと思います。 移行方法の検討 当初、既存の MySQL 5.7 デー
【LINEヤフー】RAG技術を活用した独自業務効率化ツール「SeekAI」を全従業員に本格導入。膨大な社内文書データベースから部門ごとに最適な回答を表示し、確認・問い合わせ時間を大幅に削減
社内規程・ルール・問い合わせ先、コーディング時の技術スタック、顧客や取引先とのコミュニケーション履歴などを効率的に把握することが可能に。生成AIを活用した業務効率化ツールにより、年間70～80万時間の削減を目指す LINEヤフー株式会社（以下、LINEヤフー）は、生成AIを活用した社内向け独自業務効率化ツール「SeekAI」（シークエーアイ）を、全従業員に本格導入しました。「SeekAI」は、膨大な文書データベースから検索要件に最適化された情報を取得し、回答を生成する自然言語処理技術であるRAG（Retrieval Augment Generation）を活用しています。 独自業務効率化ツール「SeekAI」 「SeekAI」は、社内ワークスペースツールや社内データを参照元とし、従業員が入力した質問に対する回答を端的に表示するツールです。テスト導入段階では、技術関連の社内ナレッジ共有・共同
Aurora 3.04.2 での DDL の予期しない挙動と Rails での対策 - freee Developers Hub
こんにちは、DBRE (Database Reliability Engineer) の shinta です。 今回は、Aurora 3.04.2 に存在する DDL の予期しない挙動について紹介したいと思います。 発見のきっかけ きっかけは、Aurora 3.04.1 に存在した以下の事象の検証でした。（CyberAgent 様の記事で事象の存在を知り、検証するに至りました。ありがとうございます！） ca-srg.dev これがどんな事象かというと、「ALGORITHM=INPLACE で特定の online DDL を実行している間、そのテーブルに reader からアクセスできなくなる」というものでした。 writer で DDL を実行している間、reader からそのテーブルにクエリを投げると以下のエラーが出ます。 Table 'db_name.tbl_name' doesn't
こんにちは、技術本部 SRE部 基幹プラットフォームSREチームの斉藤です。普段はZOZOの持っている倉庫システムやブランド様が触る管理ページなどのサービスのオンプレミスとクラウドの構築・運用に携わっています。またDBREとしてZOZOTOWNのデータベース全般の運用・保守も兼務しております。 7月11日、12日に行われた「db tech showcase 2024」に、DBREから5名のエンジニアが参加しました。この記事では会場の様子と印象に残ったセッションについてご紹介します！ db tech showcaseとは 会場の様子 セッションレポート おわりに db tech showcaseとは 国内最大規模のデータとデータベース関連のカンファレンスです。このイベントでは、データベースの専門家やエンジニア、IT業界のリーダーたちが一堂に会し、新しい技術やソリューション、事例、ノウハウを共
Techouse社内勉強会の内容を紹介します(1) データベース<ACID編> - Techouse Developers Blog
Techouseの「エンジニア基礎勉強会」とは Techouse では「基礎勉強会」と称して2週間に1回、わたしが OS・ネットワーク・データベース・ハードウェア・セキュリティ・システムアーキテクチャなどをお話する勉強会を開催しています。 講師は私ひとり、資料を準備するのも私ひとり、動画を収録して YouTube Live で社内向けに配信する作業も私ひとりでやってます。 参加は任意ですが、社内のメンバー (社員・インターン生・業務委託でご参画いただいている方) の多くの方が参加してくれています。先日の RubyKaigi 2024 に参加してくれたメンバーもほとんどがこの勉強会に参加し、基礎的な知識をもった上でセッションへ臨んでくれました。 開催履歴 これまでの開催履歴はこんな具合です。 見ていただくとわかる通り、ほんとうに基礎的な内容を1個ずつやっているということがわかるかと思います。
GitHub - commandprompt/pgmanage: Web tool for database management
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
ＳＦ文庫データベース Database of Japanese SF Paperbacks ・ハヤカワ文庫ＳＦ 2023年8月までを追加（2023/08/12） ・創元ＳＦ文庫 2022年6月までを追加（2022/08/15） ・ハヤカワ文庫ＳＦ 2022年4月までを追加（2022/05/15） ・ハヤカワ文庫ＳＦ「歴史」にⅨ期（2010年8月～2015年7月）を追加（2020/05/10） Back to Top Page
Techouse社内勉強会の内容を紹介します(2) データベース<分離性編> - Techouse Developers Blog
Techouseの「エンジニア基礎勉強会」とは Techouse では「基礎勉強会」と称して2週間に1回、わたしが OS・ネットワーク・データベース・ハードウェア・セキュリティ・システムアーキテクチャなどをお話する勉強会を開催しています。 今回お試し的に、勉強会の内容を公開してみます。 データベース(1) ACID データベース(2) 分離性 今回は前回「データベース<ACID編>」の続きです。 ご笑覧くださいますと幸いです。 データベース(2) トランザクション <中編: 分離性> 前回で扱った「銀行口座」の例をそのまま使っていきます。 BEGIN; DROP TABLE IF EXISTS accounts; CREATE TABLE accounts ( id serial PRIMARY KEY, name varchar NOT NULL, balance decimal NOT
一般社団法人フリーBGM協会がフリーBGMデータベースの提供を開始 2024/06/24｜一般社団法人フリーBGM協会
一般社団法人フリーBGM協会（以下、「フリーBGM協会」）は、フリーBGM協会の活動趣旨にご賛同頂いたフリーBGM作曲家が作曲した18,939曲を、曲調や楽器に加えて利用条件も含めて検索、視聴が行える「フリーBGMデータベース」の提供を開始することを発表致します。 本データベースの一般提供開始に先駆け、映像制作事業者やゲーム等のコンテンツ制作事業者に対して、2024年7月3日から3日間の会期で開催される「第15回 コンテンツ東京」にて「フリーBGMデータベース」の先行利用登録を開始いたします。 ■ 18,939曲のフリーBGMの利用条件を含めた検索・視聴が可能となる「フリーBGMデータベース」 この度提供を開始する「フリーBGMデータベース」は、フリーBGM協会の活動にご賛同くださったフリーBGM作曲家が作曲した18,939曲のフリーBGMについて、通常の曲調や利用楽器の検索に加え、放送、
フィードバックを送信 承認済みネットワークを使用して承認する コレクションでコンテンツを整理 必要に応じて、コンテンツの保存と分類を行います。 このページでは、IP アドレスを使用する Cloud SQL インスタンスへの接続に承認済みネットワーク設定を使用する方法について説明します。 承認済みネットワークを構成する クライアント アプリケーションの IP アドレスまたはアドレス範囲は、次の場合に authorized networks として構成する必要があります。 クライアント アプリケーションが、パブリック IP アドレスで Cloud SQL インスタンスに直接接続している。 クライアント アプリケーションが、プライベート IP アドレスで Cloud SQL インスタンスに直接接続していて、クライアントの IP アドレスが RFC 1918 以外のアドレスになっている。 IP ア
業務用炭酸 | 酔わせて下町
随時更新 東京の下町大衆酒場でよく見かける、業務用の炭酸を取り上げてみました。小規模で地域密着型が多く、広域を廻らない限り知り得ない謎多き世界であります。 ◆ ニホンシトロン 千葉県松戸市 下町酎ハイの定番商品！力強い泡パワ－を誇る業務用炭酸の王者。ごくまれに酒屋で入手可能で50円から60円程度。中身（焼酎）につきビン一本なるが、下町酒場の正式スタイル。 ◆ キクスイ炭酸 株式会社菊水商会 東京足立区千住 ニホンシトロンに対抗しうる力強い炭酸。明治創業の歴史あるメ－カ－である。現在はブランド名だけが残り製造は委託されている。 曳舟 岩金酒場にて ◆ アズマ炭酸 株式会社興水舎 東京墨田区吾妻橋 吾妻橋アサヒビ－ルのまん前に工場を持つ。故に守備範囲は浅草地域がメイン。稀に千葉でも見かける。 浅草 ヤマニにて ◆ ドリンクニッポン 野中食品工業有限会社東京葛飾区新小岩 工場の位置関係により、
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Ultimate Guide to Improving MySQL Query Performance
PostgreSQL and UUID as primary key
DMMプラットフォームにおけるTiDBの導入から運用まで
MySQL 8.0アップグレード後に性能劣化したクエリ: セミジョイン編 - inSmartBank
LPI-Japan、「オープンソースデータベース標準教科書 -PostgreSQL-」のバージョン3.0.0を公開
開発者が安心して実行可能なSQL実行基盤の導入と運用 #ベッテク月間 - LayerX エンジニアブログ
BigQuery縦持ちデータを動的に横持ちデータにする方法 - ドワンゴ教育サービス開発者ブログ
Oracle Cloud - クラウド戦国時代のゲームメーカー｜ミック
DBREの行くdb tech showcase 2024レポート - ZOZO TECH BLOG
Hideki Watanabe's SF Home Page
承認済みネットワークを使用して承認する | Cloud SQL for MySQL | Google Cloud