SQLの達人への道: MySQLでの高速・効率的クエリ作成術 - Qiita
データベースとテーブルの作成 テスト用のデータベースtestdbを作成し、パフォーマンスチューニングを検証するためのcompanyおよびpersonテーブルを定義します。 CREATE DATABASE testdb; USE testdb; CREATE TABLE company ( company_id INT AUTO_INCREMENT PRIMARY KEY, company_name VARCHAR(255) NOT NULL, created_at TIMESTAMP DEFAULT CURRENT_TIMESTAMP ); CREATE TABLE person ( person_id INT AUTO_INCREMENT PRIMARY KEY, company_id INT, person_name VARCHAR(255) NOT NULL, email VARCH
MariaDB 10.4 (XAMPP) で「Got error 176 "Read page with wrong checksum" from storage engine Aria」への対応記録 / Twin Turbo Computing
MariaDB 10.4 (XAMPP) で「Got error 176 "Read page with wrong checksum" from storage engine Aria」への対応記録 2020.3.9 MariaDB はじめに XAMPP を起動して、ローカル環境で開発をしようと思ったら、急にデータベースへの接続ができなくなりました。 そして phpMyAdmin で当該データベースの特権を確認しようとしたところ、下記エラーが出ました。 Got error 176 "Read page with wrong checksum" from storage engine Aria 調査しても明確な解決方法は見つからなかったのですが、とりあえず解決はしたのでその手順を紹介します。 ただし、下記手順により各データベースの特権情報がリセットされました。 （ユーザー情報は残っていまし
VB.NETで書いたMySQLアプリが突然動作不能に - 南無ちゃんのブログ https://namva.net
昨日、とある方から電話があり、私が書いたアプリが動作しなくなった（エラー終了する）というのです。Linux（Ubuntu）上でMySQLサーバーが動作しており、Windows10パソコンからMySQLサーバーにアクセスするというシステムで、Windows10側のアプリはVB.NET 2019で書いています。 今日、電話で詳しく状況を確認すると、Windows10パソコン側でMySQL Workbenchを使ってMySQLにアクセスすると正常にデータベース（テーブル）にアクセスできるというので、ネットワークを含めハードウェアは正常に動作しており、データベースも正常に動作しているようです。 電話では、これ以上のことは分からないと判断し、詳しい状況確認のために、岡山市内まで車を走らせました。VisualStudioを使ってVB.NETアプリを起動してみると、Character set 'utf8
AWS Amazon RDSのバージョンアップにBlue/Greenデプロイ機能を使ってみた - Qiita
内容 RDS AuroraのMySQLのバージョンをAurora2(MySQL5.7) ⇒ Aurora3(MySQL8.0)にアップデートする際、先日のre:Invent 2022で発表された「RDSのBlue/Greenデプロイ」という新しい機能を使用してみました。 今回その手順と、詰まったポイントをまとめていきたいと思います。 添付画像の網掛けが多い点はご容赦ください。 目次 Blue/Greenデプロイの概要 手順 スナップショットを取得 Blue/Greenデプロイの作成 GreenのDBに変更を加える 変更を加えたgreenのdbをテスト GreenをBlueに切り替え 完了 後始末 トラブルシューティング Blue/Greenデプロイの概要 Blue/Greenデプロイとは 現在運用中の環境をBlueとして、レプリケーションしたステージング環境（Green環境）を用意します。
MySQL DB エンジンのアップグレード - Amazon Relational Database Service
新しいバージョンのデータベースエンジンが Amazon RDS でサポートされている場合は、DB インスタンスをその新しいバージョンにアップグレードできます。MySQL データベースのアップグレードには、メジャーバージョンのアップグレードとマイナーバージョンのアップグレードの 2 種類があります。 メジャーバージョンのアップグレード メジャーバージョンのアップグレードには、既存のアプリケーションとの下位互換性のないデータベースの変更が含まれる場合があります。そのため、DB インスタンスのメジャーバージョンアップグレードは手動で実行する必要があります。メジャーバージョンアップグレードをスタートするには、DB インスタンスを変更します。メジャーバージョンのアップグレードを行う前に、「MySQL のメジャーバージョンのアップグレード」の手順を実行することをお勧めします。 マルチ AZ DB イン
crowdworks.jpのマスタデータベースをAWS RDS MySQL 5.7から8.0にアップデートしました - クラウドワークス エンジニアブログ
こんにちは。crowdworks.jp SREチームの田中（kangaechu）です。 crowdworks.jpでは、2023年8月にAWS RDS MySQL 5.7から8.0へのアップデートが完了しました（ようやく！）。 今回はMySQL 8.0へのアップデートの手順と対応が必要な変更点について書いていきます。 MySQL 8.0にアップデートした理由 MySQL 8.0にアップデートした理由はAWS RDS MySQLのEOL対応のためです。 AWS RDS MySQL 5.7のEOLは2023年10月（のちに2023年12月に変更されました）であり、8.0へのアップデートが必要でした。 crowdworks.jpで使用している他のMySQLデータベースは8.0へのバージョンアップを完了していました。 しかしcrowdworks.jpのマスタデータベースは30億行を保持し、1日に約
【衝撃】AWSのRDSがデータを失わないBlue/Greenデプロイに対応しました #reinvent | DevelopersIO
「最近は、データベースもB/Gデプロイできるらしいよ？」 「そりゃそうやろ。B/Gデプロイなんて、最近当たり前……… へ？DBが？無理でしょ？ほぇ？どういうこと？」 最初アップデートのタイトルを見たときの、ハマコーの率直な感想です。 Blue/Greenデプロイは、現行バージョンのトラフィックを活かしたまま新バージョンを動作確認し、問題なければ新バージョンをリリースするという、最近の安全なデプロイの概念において無くてはならないものです。 同時に新旧バージョンを稼働させるため、基本的にはステートレスなアプリケーション・サーバーにおいて利用するものという固定概念があったのですが、それをデータベースに対して既存のAWSの技術を組み合わせつつAWSらしいマネージドな仕組みで解決しようという、意欲的なリリースです。制約事項もそれなりにあるので、皆さんの運用ワークロードに当てはまるかは、事前の検証が必
MySQL で utf8 と utf8mb4 の混在で起きること - tmtms のメモ
MySQL を UTF-8 で使おうと思ってハマりがちなのは charset utf8 を指定してしまうことです。 MySQL の UTF-8 には歴史的事情により utf8 と utf8mb4 の二つあります。 UTF-8 は1バイト〜4バイトで1文字が構成される文字コードですが、MySQL の utf8 は4バイト文字を扱うことができません。ハマりたくなければ utf8mb4 を使いましょう。 utf8 を使ってしまった場合に4バイト文字がどのように扱われるか、自分でもうろ覚えだったのでメモしておきます。 登録 接続が utf8mb4 でカラムが utf8mb4 あたりまえですが、そのまま登録されます。 mysql> insert into utf8mb4 (c) values ('美味しい🍣と🍺'); mysql> select * from utf8mb4; +--------
本番環境でダウンタイムを最小限にするためRDSをMulti-AZ構成にした後スケールアップを行う - Qiita
こんにちわ！OCEAN'Sの大庭です。 今回は、本番環境でRDSのスケールアップを行いましたのでその手順とログを紹介していきます 概要 まず、RDSがSingle-AZ構成のままスケールアップを行うと、 インスタンス停止 インスタンスタイプの変更（スケールアップ） インスタンス起動 となってしまい、DBサイズにもよるがサービスダウンタイムが10分弱はかかってしまいます。 そのため、今回は以下の方法でスケールアップを行います RDSをMulti-AZ構成に変更 RDSのスケールアップ プライマリにフェイルバック RDSをMulti−AZに変更 まず、RDSをMulti−AZ構成に変更する。 Multi-AZ構成への変更はダウンタイムが発生しませんが、 シングル AZ からマルチ AZ への変換時のダウンタイムを回避できますが、マルチ AZ への最初の変換時にパフォーマンスに大きな影響が出るこ
MySQL のサブクエリって、ほんとに遅いの？ | DevelopersIO
こんにちは、みかみです。 今日のクラスメソッドのAWSおみくじ、RDS（t1.micro）でしたー！（昨日は Aurora！＠＠ｖ はじめに 前職＠アプリ開発時、MySQL のクエリチューニングをさせていただく機会がありました。 ユーザー入力のキーワードで全文検索 → 見つかったレコードを返すのですが、所要時間、約3分。。 Apache タイムアウトして画面真っ白。。。（泣きそうでした＞＜。 EXPLAINで実行計画を調べた際に、select_typeにはクエリの種類が表示されるのだが、代表的なサブクエリには次の3つのパターンがある。 SUBQUERY DEPENDENT SUBQUERY DERIVED 結論から言おう。遅いのは2番目、DEPENDENT SUBQUERYである。DEPENDENT SUBQUERYとはいわゆる相関サブクエリに相当するもので、サブクエリにおいて外部クエリの
RDB - 実例で学ぶ、JOIN (NLJ) が遅くなる理屈と対処法 - Qiita
"Nested Loop Joinしか取り上げて無いのにタイトルが大きすぎないか" と指摘を頂いたので、タイトルを修正しました。Merge JoinとHash Joinのことはまた今度書こうと思います。 「JOINは遅い」とよく言われます。特にRDBを使い始めて間がない内にそういう言説に触れた結果「JOIN=悪」という認識で固定化されてしまっている人も多いように感じています。 たしかに、JOINを含むようなSELECT文は、含まないものに比べて重たくなる傾向があることは事実です。また、本質的に問い合わせたい内容が複雑で、対処することが難しいものも存在します。しかし、RDBの中で一体どういうことが起きているのかを知り、それに基いて対処すれば高速化できることも少なくないと考えています。 本稿では、JOINの内部動作を解説した上で、Webサービスを作っているとよく出てくるJOIN SQLを例題に
SQL Serverの利用時に遅いクエリを特定する方法 | intra-mart Developer Site
1. SQL Server Profilerを利用したSQLトレース ここでは、SQL Server上で実行されているSQLをトレースして、一定時間以上処理を実行していたクエリをリストアップする方法をご紹介します。SQLトレースを実行するには、SQL Serverに付属しているイベントキャプチャツール SQL Server Profilerを利用します。 SQL Server Profilerの実行はSQL Serverに負荷を与えるため、運用環境では利用しないでください。検証環境のSQL Server上で実行してください。 SQL Server Profilerの詳細については、Microsoft社のドキュメントを参照してください。 手順1. SQL Server Profilerの起動 1. SQL Server Profilerを起動します。 SQL Server Managemen
CakePHP 3のORM matchingメソッドで複数の条件を指定する方法 | 綺麗に死ぬITエンジニア
CakePHP 3系にて、アソシエーションを利用する場合に便利なmatchingメソッド。 便利に活用させていただいていたのですが、利用していく上で、複数の条件を指定する場合において少し悩んだので、備忘録として。 使い方まずは通常の使い方から。 matchingは、多対多（belongsToMany）の関係を持つ2つのテーブルにおいて、片一方のテーブルに紐づくデータによって、もう片一方のテーブルから取得するデータをフィルタリングするメソッドです。 例えば、ブログの記事情報を格納するPostsテーブルとブログのタグ情報を格納するTagsテーブルが存在する場合、この2つのテーブルは多対多の関係（ブログは複数のタグを持ち、タグは複数のブログに割り当てられる）となりますが、特定のタグを持つブログのみを絞り込んで取得したい場合などに、このmatchingメソッドの出番となります。 特定のタグを持つブ
Amazon RDS - Qiita
6.メンテナンス 新しいバージョンが出たときにMySQL を自動でアップグレードして自動で再起動してしまいます。 重要なウェブサイトやサービスで何の予告もなくデータベースに繋がらなくなったら大変ですので基本的に無効化しておきます。 参考：Amazon RDS DB インスタンスのメンテナンス 7.自動バックアップとスナップショット その名の通り、自動でバックアップをしてくれる機能と手動でスナップショットをしてくれる機能がある。また、このスナップショットはリージョン間を移動することもできます。 なお、RDSのインスタンスを削除した際に、自動でスナップショットをとった場合は自動でスナップショットが削除されますが、手動でスナップショットを作成した場合は自分で削除する必要があります。 Single-AZ DB の場合は、スナップショット取得時はI/Oが短期間停止します。マルチ AZ DB インスタ
【初心者向け】データベースのテーブル設計で僕が意識している6つのこと - Qiita
はじめまして、himakuroです。 2017年ぐらいからQiitaに記事を投下しようと考えていたのですが、なかなか筆が乗らずようやく初投稿です 軽く自己紹介をしておくと、普段は社内SEとしてPHP、Ruby、Golangを書いたり、 趣味の個人ブログ方ではプログラミング初心者に向けた記事や雑記的なものを書いたりしています。 今回は記念すべき1つ目の記事と言う事で 僕が普段テーブル設計（主に命名）で気をつけている6つの事を書きました。 僕の好みも含まれていますが、初心者の方がテーブルやカラム名を決める際の参考になればなと思います。 テーブル名は必ず複数形にする テーブルは一つしかないから単数形を使うべき！ Modelも単数形で定義するじゃん！ みたいな反論が聞こえてきそうですが、僕は複数形で定義する派です。 また複数形にする場合に、テーブル名の途中の部分を複数形にしている物をたまに見かけま
SQL記述者全員が理解すべきSELECT文の論理的な処理順序のお話 - Qiita
2020/9/30追記 本記事は元々、「SQL記述者全員が理解すべきSELECT文の実行順序のお話」というタイトルで投稿しておりました。 しかし、知見のある方からのコメントと自分でも調べてみた結果、今回紹介している順序はあくまで論理的な処理順序であり、実行順序とは別物ということがわかりました。 誤った知識を布教してしまい申し訳ございません。 2020/9/30のタイミングで、本記事のタイトルを「SQL記述者全員が理解すべきSELECT文の論理的な処理順序のお話」に変更させていただきました。 はじめに 「SQLといえば、エンジニアが扱うスキル」と思われがちですが、最近はマーケターや営業など、非エンジニアの方もSQLを使って、自らデータを抽出し分析する方が増えてきています。 またエンジニアの方でも、ORM任せでなんとなく理解している状態の方もいるのではないでしょうか？ 今回は、そんな方々にこそ
Googleフォームの回答を、Webデータベース(Exment)に送信する - Qiita
はじめに Googleフォームは、非常に手軽に、一般ユーザーのデータ入力を可能にします。 なにかの申込。アンケート。問い合わせ。質疑応答。用途はさまざまです。 入力データはGoogleスプレッドシートに登録されます。Googleフォームで記入した内容が、表にどんどん追加されていきます。 手軽に確認できるので便利です。 一方で、本格的に集計したり、入力内容を副次的に利用したい場合(例：顧客管理に使用)には、集計先がGoogleスプレッドシートだと、ちょっとイマイチな場面もあります。 Excelもなのですが、スプレッドシートはふとしたきっかけで壊れてしまったり、記入中に間違ったデータを入れてしまったりしがちです。 本格的に利用するとなると、「Webデータベースに集計したい」、そう考えたことがある方もきっと多いはずです。 この記事では、Googleフォームのデータ送信時に、GAS(Google
パスワード漏洩をチェック「Have I Been Pwned?」の使い方
メールアドレスか電話番号を入力するだけで、個人情報やパスワード漏洩を確認することができるサイト「Have I Been Pwned? (HIBP)」の使い方をご紹介します。 Have I Been Pwned? には、766件の流出サイトや130億件もの漏洩アカウント情報(2024年4月現在)が蓄積されており、メールアドレスを入力すると、データベースに一致した過去の個人情報流出や情報漏洩事件の情報を表示してくれます。 ここで確認できる情報は、流出元や流出した日時、情報の種類（パスワード等）をはじめ、生年月日や電話番号などの個人情報もあります。 Have I Been Pwned? は英語のサイトですが、メールアドレスまたは電話番号を入力するだけで使えるので、誰でも簡単にパスワード漏洩をチェックすることができます。 Have I been pwned (HIBP) とはHave I been
データベース不要のフラットファイルCMS「Grav」 ｜ 福岡のホームページ制作会社・メディア総研株式会社 マグネッツ事業部
こんにちは、最近エアロバイクを買おうか迷っているウラカワです。 社内でずっとWordPressを弄っているような状態なので、新しいものを求めて探してみると「Grav」という面白いCMSを見つけたのでご紹介します。 フラットファイルCMSというあまり馴染みの無いCMSに分類されるものです。 Gravとは？ データベース不要 多言語対応 Markdownによるコンテンツ管理 プラグイン機能あり テーマ機能あり 本体、プラグイン、テーマの更新機能あり といった特徴を持つCMSです。 機能的には簡単に更新可能な今時のCMSですが、データベース不要です！ PHP 5.5.9以上であればzipを解凍するだけで動きます！ より詳しい要件は以下を参照してください。
SQL Serverの自動拡張を使用するうえでの７つのヒント - norizabuton
引用は主に以下から。 [INF] SQL Server における自動拡張および自動圧縮の構成に関する注意事項 http://support.microsoft.com/kb/315512/ja SQL Server データベースのいっぱいになったトランザクション ログからの回復 http://support.microsoft.com/kb/873235/ja 1.自動拡張を行っている間、トランザクションが停止する。 ログを拡張する必要がある大規模なトランザクションを実行する場合、そのトランザクション ログに書き込む必要がある他のトランザクションも、拡張操作が完了するまで待機する必要があります。 これによりクエリタイムアウトも起きやすくなりそうです。 2.ファイルの断片化が招きやすくなり、パフォーマンスに影響が出る。 データ ファイルまたはログ ファイルのサイズ変更に起因する物理的な断片化
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
