型キャストの場所のせいで、秒で終わっていたクエリに1時間超かかるようになってしまった話 - SmartHR Tech Blog
SmartHRで届出書類という機能を担当しているプロダクトエンジニアのsato-sと申します。 今日は、以前私が調査にとても苦労したパフォーマンス上の問題の話を紹介したいと思います。 TL;DR PostgreSQLのアップグレードを実施した アップグレード後、今までは問題のなかった特定のクエリの実行に1時間超かかり、DBのCPU使用率がピッタリ100%に張り付くようになった 色々調査した結果、PostgreSQL上の型キャストの場所のせいで、良くないクエリプランが選択されることが原因だった 型キャストの場所には気をつけよう PostgreSQLのアップグレードと挫折 SmartHRでは基本的にWebアプリケーションのデータベースとしてGoogle CloudのCloudSQLによって提供されるPostgreSQLを利用しています。 私の担当している届出書類機能では、利用中のPostgre
リーダブルSQL[より良いSQLを書くためのシンプルで実践的なテクニック] - Qiita
はじめに 最近エンジニア界隈では「リーダブルコード」が話題なっていますね。 リーダブルコードでは、このような定理が紹介されています。 「コードは他の人が最短時間で理解できるように書かなければいけない。」 Dustin Boswell リーダブルコード P.3 より引用 SQLでも同じことが言えそうです。 リーダブルなSQLを書いてないと結婚できない時代が今まさに到来しようとしています。 皆さん、クソSQL1を読んだことがありますね？ クソSQLを書いたことがありますね？ 僕は、あります。 そこで、本記事ではどうしたらリーダブルなSQLが書けるかというアイデアを紹介します。 処理の流れの順に上から読めるようにする 人間のメンタルモデルは、問題やタスクを小さなステップに分割し、それぞれを順番に実行することに適しています。 サブクエリを使ったSQLでは、処理の流れは上から下ではなく、ネストされた
![リーダブルSQL[より良いSQLを書くためのシンプルで実践的なテクニック] - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/9e4b50cb826dc76ffa5a15a97343ab36cac44503/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Farticle-ogp-background-9f5428127621718a910c8b63951390ad.png%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTkxNiZoPTMzNiZ0eHQ9JUUzJTgzJUFBJUUzJTgzJUJDJUUzJTgzJTgwJUUzJTgzJTk2JUUzJTgzJUFCU1FMJTVCJUUzJTgyJTg4JUUzJTgyJThBJUU4JTg5JUFGJUUzJTgxJTg0U1FMJUUzJTgyJTkyJUU2JTlCJUI4JUUzJTgxJThGJUUzJTgxJTlGJUUzJTgyJTgxJUUzJTgxJUFFJUUzJTgyJUI3JUUzJTgzJUIzJUUzJTgzJTk3JUUzJTgzJUFCJUUzJTgxJUE3JUU1JUFFJTlGJUU4JUI3JUI1JUU3JTlBJTg0JUUzJTgxJUFBJUUzJTgzJTg2JUUzJTgyJUFGJUUzJTgzJThCJUUzJTgzJTgzJUUzJTgyJUFGJTVEJnR4dC1jb2xvcj0lMjMyMTIxMjEmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9NTYmdHh0LWNsaXA9ZWxsaXBzaXMmdHh0LWFsaWduPWxlZnQlMkN0b3Amcz1jMjEwYmIwZGRkMTc0MmI1ZGU1OGMxMTQ5ODJiNDI3ZQ%26mark-x%3D142%26mark-y%3D112%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTcxNiZ0eHQ9JTQwemFja2V5MiUyMGluJTIwJUU2JUEwJUFBJUU1JUJDJThGJUU0JUJDJTlBJUU3JUE0JUJFTSUyNkElRTMlODIlQUYlRTMlODMlQTklRTMlODIlQTYlRTMlODMlODkmdHh0LWNvbG9yPSUyMzIxMjEyMSZ0eHQtZm9udD1IaXJhZ2lubyUyMFNhbnMlMjBXNiZ0eHQtc2l6ZT0zMiZ0eHQtYWxpZ249bGVmdCUyQ3RvcCZzPTYyNDU1MjZkZTUzZTdlOGQ0NDI5MTJhY2FlNWI2MjM4%26blend-x%3D142%26blend-y%3D491%26blend-mode%3Dnormal%26s%3D564d0bbe76f00558f53eda62333d7309)
Work with IndexedDB | Articles | web.dev
Work with IndexedDB Stay organized with collections Save and categorize content based on your preferences. This guide covers the basics of the IndexedDB API. We're using Jake Archibald's IndexedDB Promised library, which is very similar to the IndexedDB API, but uses promises, which you can await for more concise syntax. This simplifies the API while maintaining its structure. What is IndexedDB? I
【衝撃】AWSのRDSがデータを失わないBlue/Greenデプロイに対応しました #reinvent | DevelopersIO
「最近は、データベースもB/Gデプロイできるらしいよ？」 「そりゃそうやろ。B/Gデプロイなんて、最近当たり前……… へ？DBが？無理でしょ？ほぇ？どういうこと？」 最初アップデートのタイトルを見たときの、ハマコーの率直な感想です。 Blue/Greenデプロイは、現行バージョンのトラフィックを活かしたまま新バージョンを動作確認し、問題なければ新バージョンをリリースするという、最近の安全なデプロイの概念において無くてはならないものです。 同時に新旧バージョンを稼働させるため、基本的にはステートレスなアプリケーション・サーバーにおいて利用するものという固定概念があったのですが、それをデータベースに対して既存のAWSの技術を組み合わせつつAWSらしいマネージドな仕組みで解決しようという、意欲的なリリースです。制約事項もそれなりにあるので、皆さんの運用ワークロードに当てはまるかは、事前の検証が必
サービスを停止せずにデータベースリファクタリングする - Pepabo Tech Portal
2022年7月13日にカラーミーショップで提供開始した「副管理者機能」のアップデートにあたって、従前の挙動を変えずにデータベーススキーマの構造を変える必要がありました。また、サービスの提供を停止することなく、スキーマの構造の変更を進める必要がありました。 この記事では、サービスを停止せずにデータベースの構造を徐々に変更するデータベースリファクタリングをどのように進めたかについて紹介します。 「データベースリファクタリング」とは データベースリファクタリングについて体系的に述べた書籍として"Refactoring Databases"があります。この本では、データベースリファクタリングのさまざまなパターンにおいて、スキーマの変更、データマイグレーション（既存データの移行）、アプリケーションの変更それぞれをどのように進めるべきかについて解説しています。ここでは、"Refactoring Dat
PostgreSQL Tutorial
Welcome to the PostgreSQLTutorial.com website! This PostgreSQL tutorial helps you quickly understand PostgreSQL. You’ll master PostgreSQL very fast through many practical examples and apply this knowledge to the development of applications using PostgreSQL. If you are… Looking to learn PostgreSQL fast.Developing applications using PostgreSQL as the back-end database management system.Migrating fro
基本から学ぶ テーブル設計 超入門！
2022/3/30 に開催されたテーブル設計とデータモデリングをテーマにした発表と座談会（雑談）。 <発表①>超入門！テーブル設計をデータモデリングから考えよう <発表②>テーブル設計の考え方とやり方【入門編】 雑談とQ&A 続きを読む
超入門！テーブル設計をデータモデリングから考えよう
基本から学ぶ テーブル設計 超入門！ 〜データモデリングとテーブル設計の基本を学ぼう〜 https://modeling-how-to-learn.connpass.com/event/242944/ にてお話した際のプレゼン資料です。 入門者に向けて、テーブルを設計する上でモデリングすると良いよという話をしました。（熟練者は、そうだよねーっておさらいするか、そこは別の考え方があるんじゃないなどを呟いて貰えればといった内容です） モデリングして設計する際に、色々なモデルがあります。その中で、データモデルは静的な要素が強いモデルなので、モデリング全般を考えた際に、入門者にとって捉えやすいのではと考えています。 テーブルを設計する上で、データモデリングをしてデータモデルを作ることで、より良いテーブル構造を考えやすくなります。 #テーブル設計 #モデリング #データモデル #RDRA #概念モデ
Laravelのトランザクションでrollbackされない問題 - Qiita
迷えるあなたへまず結論を Laravelでうまくrollbackできない全ての根源はconnectionが違うから。 connectionについて Laravel 5.7では、config/database.phpに記述するだけで、自動でReaderとWriterコネクションを選択してくれます。Laravel Document この機能、実装者にコネクションを意識させなくて良いとても便利な機能なので、おそらくみなさんの現場でもアーキテクトの方がよしなに設定してくれてると思います。 しかし、これがrollbackされない問題の原因かな、と個人的には考えています。「意識させない」が「意識されない」になってしまっているのです。 自動コネクション設定例 'mysql' => [ 'reader' => [ 'host' => [env('DB_READER_HOST', 'localhost')]
LaravelのORM「Eloquent」を単体で使ってスクラッチ開発する | テクナレジ
【第4回】Composerを使ってお手軽アプリケーション開発 本連載ではComposerで公開されているパッケージの中から、フレームワークを問わず汎用的に使えるライブラリをサンプルコードと共に紹介します。 今回はDBを扱う「Eloquent(Illuminate/Database)」というORMを紹介します。 ORMとEloquent ORMとは？ ORMは「Object Relational Mapping (オブジェクト関係マッピング)」と呼ばれている、オプジェクト指向で書かれているプログラムから、オブジェクト指向ではないデータベースなどのデータをオプジェクト指向のように扱う手法のことを言います。 かみ砕いて説明すると、データベースをオブジェクト指向っぽく扱うためのクラス構造ということです。 例えば、 SELECT 'id', 'name', 'age' FROM users WHER
LaravelのUnitTestでテスト時はデータベースを切り替える
Posted: 2018.09.06 / Category: PHP / Tag: IntelliJ, Laravel LaravelでUnitTestしたとき通常使用しているデータベースとテスト用のデータベースの切り替え方法をご紹介します。 データベースのコンフィグファイルにテスト用のコネクションを設定しましす。 ここではsqliteを使用します。databaseディレクトリにtest.sqliteを作成しておきます。 config/database.php 'connections' => [ // ... 'testing' => [ 'driver' => 'sqlite', 'database' => database_path('test.sqlite'), 'prefix' => '', ], ], 次にテスト用のenvファイルを新たに作成します。 DB_CONNECTION
RDBMSの苦手なことを 如何に乗り越えていくか / challenge-to-rdbms
# 参考資料 - イミュータブルデータモデル(入門編) - https://www.slideshare.net/kawasima/ss-40471672 - イミュータブルデータモデル(世代編) - https://www.slideshare.net/kawasima/ss-44958468 - スタースキーマ（基礎） - https://zenn.dev/pei0804/articles/star-schema-design - ディメンション・モデリング - https://zenn.dev/pei0804/articles/dimensional-modeling - 失敗から学ぶRDBの正しい歩き方 - https://amzn.to/3vfD5nJ
まだER図の管理で消耗してるの？ SchemaSpy でER図を自動生成して管理する - Qiita
はじめまして。謎の集団ZeneloでDBAやらSREの見習いをやっている者です。 初めてQiitaを書くので、煽りタイトルの割には駄文かつかなり内容が薄いですがご了承ください。 ER図を手で管理するのはつらい 現在、謎の集団zeneloではER図を ERMaster というツールで管理している。 ERMasterは細かい部分までER図を表現できる素晴らしいツールではあるが、Json型やDatetime(6)など対応していない為表現できない型があったり、Eclipseを開かなければならないなどいくつかの課題があります。 何より手で管理するのがつらく、 ER図を作成するのは、SRE用語で言うトイルにあたる作業である為、 SREを志す身としては、このトイルを撲滅したいと思い、何か良いツールがないかを探していました。 そこでSchemaSpyの登場 SchemaSpyとは、指定したDatabase
ER図を書くのに疲れたら - Qiita
はじめに 新規開発/保守開発 にかかわらず、システム開発時にデータ構造を把握することは非常に大事です。 データ構造の把握に有意義なものとして ER図（E-R Diagram） があげられます。 ER図作成で悩むこと ドキュメントとプログラムは 「乖離」 する 非常に有益な ER図 ですが、ドキュメントの類に漏れず 実体（プログラム）との乖離 が発生します。 「乖離」 を避けるために、定期的に同期を撮ろうとしますが、全てのメンバが常に鮮明な意識で開発に挑めるわけではありません。ドキュメントは荒廃していきます。 ドキュメントとデータベースも 「乖離」 する ドキュメントとプログラム だけでなく、 ドキュメントとデータベース も乖離します。 すでにサービスとして可動しているデータベースの定義(テーブル、インデックス、ビュー) と ドキュメント が乖離しているということです。 サービスインしている
[レポート] 高速でPDCAサイクルを回し、ゼロダウンタイムでAWSに移行したPokémon GOプロジェクト #reinvent [GAM304] | DevelopersIO
こんにちは。DA事業本部の春田です。 本記事は、AWS re:Invent2019の GAM304: Migrating the live Pokémon database to Aurora PostgreSQL のセッションレポートです。 The English version is here. 概要 Learn how the Pokémon Company International stores and supports data for more than 300 million players with the help of AWS. In this session, Jeff Webb (development manager) and David Williams (senior DevOps engineer) discuss how they migrated to
![[レポート] 高速でPDCAサイクルを回し、ゼロダウンタイムでAWSに移行したPokémon GOプロジェクト #reinvent [GAM304] | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/9419c6cf4ac1d0e1323fa1560dfc995d191622f5/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2019%2F12%2Freinvent2019_report_eyecatch.jpg)
【改訂版】 Firebase Cloud Firestore rules tips
【改訂版】 Firebase Cloud Firestore rules tipsTuesday, December 11, 2018 この記事はFirebase Advent Calendar 2018の12日目の記事です。 以前にCloud Firestore rules tipsを書いてから時間が経過したことと、その記事を書いてから僕自信もより理解を深めることができたので、改訂版としてこの記事を書きます。 はじめに 基礎的な部分やリファレンスについては公式を参照するのが一番手っ取り早いです。 Cloud Firestore セキュリティ ルールを設定する Cloud Firestore セキュリティ ルールをカスタマイズする Cloud Firestore Security Rules Reference Basic 読み書きのルールは基本的に許可制 Firestoreのread/w
Cloud Firestoreを実践投入するにあたって考えたこと - Qiita
はじめに Firebase Realtime DBを実践投入するにあたって考えたことを読んで頂いてありがとうございます。 多くの方から「いいね」を頂いて、今回のこの記事を書くモチベーションになりました 本当にありがとうございました！ さて、CloudFirestoreは、Firebase Realtime Databaseとは全く違うデータベースです。特にSubCollectionやQueryが導入されたことにより、リレーションシップの設計に関して大きく異なります。 この記事では、主にCloudFirestoreにおけるリレーションシップの設計方法から、アプリ・CloudFunctionsに至るまでを幅広く解説して行こうと思います。 次の記事ではデータベースの歴史を解説しています。 RDBの限界とNoSQLの登場 Cloud Firestoreでの開発について 私の経験上確実に断言できるこ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
実際に使うSQLの書き方 徹底解説 / pgcon21j-tutorial
Laravel Sailでtesting databaseを設定
https://laracasts.com/discuss/channels/code-review/laravel-sail-testing-database