【UPSERTだけじゃない！】SQLのMERGE句の使い方を丁寧に解説【初心者向け】 | SIOS Tech. Lab
こんにちは、サイオステクノロジーの佐藤 陽です。 今回は、T-SQLなどで使われるMERGE句について紹介したいと思います。 追加・削除・更新が一気に行える便利なSQL句なので是非使いこなしていきましょう！ 「DBに存在しなかったら新規追加、存在していたら更新」という処理を一度に行いたい MERGE句のドキュメント見たけどよく分からない といった方は是非最後までご覧ください！ はじめに 今回はSQLServerを題材に、MERGE句についての基本的な使い方をご紹介をします。 とても便利なSQL句なのですが、若干の分かりづらさがるので図を交えて分かりやすく解説していきます。 まず、MERGE句はT-SQLで提供されているステートメントの一つになります。 よくある例として 「追加したいレコードが存在しなければ追加、存在していれば更新」 といったような、UPSERTと呼ばれる処理を行う際に、利用
TiDBにおけるパフォーマンス検証の進め方とつまづきポイント
TL;DR TiDBにおけるパフォーマンス検証をどうやって行ったか パフォーマンス検証を行ったときにつまづいた問題とその対応策 TiDBの仕様やアーキテクチャなどの話はありません 前提 対象のDBはAmazon Auroraで稼働中 DBエンジンはMySQL TiDBに移行できないかPoCを実施 DB周りにいろんな課題があり、TiDBで解決できないか検証 TiDB Cloudで検証 本番運用を想定してTiDB Dedicatedを利用 先にお伝えしたいこと TiDB導入したいとか言う前に、今使っているRDBで発生しているスロークエリとかIndex設計を見直した方が良いです笑 理由はこの記事を見てもらえるとわかると思いますｗ パフォーマンス検証の進め方 1. パフォーマンス検証に利用するクエリを洗い出す 観点としては以下の2つ 実行される頻度が高いSQL 実行速度が遅いSQL（スロークエリ）
SQLのWHERE句でフィルタリングする時はNULLに気をつけようねという話 | DevelopersIO
Google Cloudデータエンジニアのはんざわです。 今回はSQLのWHERE句でのNULLの扱いについて、具体的な例とその原因を交えて紹介したいと思います。 また、本ブログでは使い慣れているBigQueryとネイティブにサポートしているGoogleSQLを使用しますが、他のデータベースやSQLでも同様の挙動をするので、ぜひ参考にしてみてください。 結論 WHERE句で特定の値でフィルタリングする際にNULL値を適切に処理しないと意図しない欠損が発生する恐れがあります。 特にDWHの場合、意図しない欠損は、データ分析やレポートの精度に影響を与える可能性がありますので適切な処理を検討してください。 意図しない欠損 例として、次のクエリでは、idが1以外のレコードを取得しようとしていますが、NULLも弾かれてしまいます。 WITH sample_table AS ( SELECT _arr
今日は、SQL勉強して三年目だがUsingとOnの気づかなかった違いの日。 - 今日はなにの日。
目次 目次 とある日 環境 USINGとONの違いについて 1. 同一列名 2.結合後列数減少 列数減少による問題 Using On 気づかなかった理由 Onの多用 結合列の参照をしない 〆 とある日 とある内容について検証しているときに気づいたSQLのUSINGとONの違いについて調べるとあまり解説されていなかったので各句の違いとなぜ気づかなかったかについての記録を残そうと思います。 環境 項目 詳細 DataBase MySQL 8.0.23 OS CentOS8 さらなる詳細は下記のテスト環境の記事を参照してください。 updraft.hatenadiary.com USINGとONの違いについて 一般的に一番知られているであろう違いと自分が知らなかった違いの2つを解説しようと思います。 1. 同一列名 一番知られている違いとしては、USINGは結合するテーブルに同一名の列が存在する
2024年度のサイバーエージェント新卒社内研修で「データベースの歴史」の話をしました | CyberAgent Developers Blog
こんにちは。 AI事業本部の協業リテールメディアdivでバックエンドエンジニアをしている yassun7010 といいます。 先日、 AI 事業本部の新人研修で「データアプリケーション」の講師を同じチームの 千葉 と担当しました。 今回の記事では、主に私が担当した「データベースの歴史」の章の講義資料を公開し、資料を作成する際に考えていたこと・伝えたかったことを話します。 「データベースの歴史」で説明されている内容は、AI事業本部の新卒研修で毎年取り上げられているものです。こういった研修の資料は、同じテーマであっても講師をする人の好みが反映されやすく、今年の資料も先人が作られた昨年の資料を参考にしつつ、私が好きな話題を多く取り入れたものに仕上がりました。 SlideShare でも公開しています。 今年の構成は、データベースを RDS・NoSQL・NewSQL として分け、下記のような構成を
MySQL8.0のWindow関数を分かりやすく紹介する（１）
はじめに MySQL8.0がリリースされたことにより、Window関数の利用が可能になりました。 Oracle,PosgreSQL、SQL Server等でも利用できる関数ですが、「難しそう」、「どういう場合に使えば良いかわからない」というイメージを持たれている方もいると思いますので、この記事ではシンプルにどのようなことが出来るのかを紹介します。 第一弾は、「集計関数×Window関数」のコラボです。 集計関数とは、MAXやSUMやAVG等のデータを集計する関数ですが、実はほどんどの集計関数がWindow関数として利用できます。集計関数の種類やWindow関数として利用可能かという点に関しては、以下のリファレンスに記載されておりますので、参照頂ければと思います。 ・MySQL 8.0 リファレンス マニュアル 14.19.1 集計関数の説明 データ準備 検証用に１つのテーブルを作成し、テス
MySQLでの、WHERE句のORにindexは効かないのか..?
概要 ネットでWhere句のORにindexが効くかどうか調べると、以下のような意見があって何が正解かわかりませんでした。なので、検証して真偽を確かめていこうと思います。 「OR演算子にインデックスは効かない」 「OR演算子にインデックスは効く」 「OR演算子の右辺はインデックスが効かない」 検証するDBはMySQL5.7.36です。 検証1 where句の片方の検索条件にindexがあり、もう片方の検索条件にはindexがないパターン country_id、laungage_idの２つのカラムを使います。 country_idにはindexが貼られていて、laungage_idには貼られていません。
PostgreSQL チューニングよもやま話 - エムスリーテックブログ
【Unit4 ブログリレー3日目】 こんにちは，エムスリーエンジニアリンググループの榎田です．数学とテレビゲームが好きです． 今回は，Unit4 で運用している "Docpedia" というサービスで実施した SQL チューニングの実例を2つご紹介します．普段の私が意識していなかった， RDBMS の内部機構に関する話が登場して面白かったので，今回の記事を書きました． なお，本稿で扱う議論はすべて PostgreSQL 11.x 以上を対象としており，特にその他の RDBMS で同様の動作をするかは確認していません．定性的な挙動に共通するものはあるかもしれませんが，ここで述べた話はそのままは通らないであろうことをお断りさせてください*1． プロダクトについて index なしで意外と耐えたが，耐えきれなかった話 実際の SQL とテーブル定義 原因の分析 対応策 SELECT DISTIN
社内SQL研修のために作った資料を公開します | 株式会社AI Shift
こんにちは、Development Teamの三宅です。 先日、社内（AI事業本部内）でSQL研修の講師を担当したので、今回はその内容について簡単に共有したいと思います。 はじめに 例年、AI事業本部では、新卒エンジニアの育成のためにソフトウェアエンジニア研修を行っております。今年はフルリモートでの実施となりました。研修期間は2週間ほどで、内容は前半が講義、後半が実践（チーム開発）でした。私が担当したのは、講義パートの一部であるSQL研修です。SQLやRDBにあまり慣れていない人でも、できるだけ体系的な学びが得られるようにすることを目標に、様々な資料をまとめて提供する方針で準備しました。結果的には、ハンズオン込みで4時間ほどのやや長い講義となりましたが、勉強になったという声も頂けたのでやって良かったと思っています。 研修資料 研修内容 SQL研修の内容は、基本的には大学のデータベース講義で
「Databricks とは？何ができるか」新入社員が感じたイケてる機能１０選 - Qiita
目次 はじめに 背景と目的 Databricksとは何か 機能紹介 共通 データエンジニアリング 機械学習 Databricks SQL おわりに はじめに こんにちは。Databricks の新井です。Qiita 初投稿です。 2022年の7月よりソリューションアーキテクトとして働き始めました。 お客様に弊社製品を知っていただき、導入いただく際の技術サポートを行う役割です。 本記事では Databricks にご興味がある皆様に弊社プラットフォームを理解いただくために、新入社員の目線から便利だと感じた10個の機能をまとめました。 今後も記事執筆を継続するモチベーションに繋がりますので「いいね」や記事の保存、SNSで共有いただけると嬉しいです。宜しくお願いいたします！ 背景と目的 皆様の中には Databricks という会社に馴染みがない方も多いと思います。 米国カリフォルニア州に本社が
yoku0825さんがMySQLスペシャリストになるまでにやってきた勉強法を、私たちにすべて教えてください！ - Findy Engineer Lab
「日本国内でもトップレベルのスキルを持ったMySQLエキスパートは誰か？」 そう問われたときに、多くのエンジニアが名前を挙げる人物がいます。LINE株式会社のITサービスセンター データベース室 MySQL1チームでDBA（Database Administrator）として働くyoku0825さん*（@yoku0825）です。 日本人として3人目のMySQL分野のOracle ACEであり、2015年には「default_password_lifetime」の功績でMySQL 5.7 Community Contributor Awardに選出されたyoku0825さん。彼はひたむきに自己研鑽を続けるだけではなく、ブログ「日々の覚書」や技術イベントへの登壇などを通してMySQL関連の情報発信を行ってきました。 今回はそんなyoku0825さんに「これまでどのようなトレーニングをして、DB
エンジニア歴６ヶ月による「SQLアンチパターン」書評（クエリのアンチパターン編） | フューチャー技術ブログ
読書感想文連載 の9冊目の記事です。 はじめに今回はエンジニア界隈で名著と名高いBill Karwin著「SQLアンチパターン」を読んだので書評をかいていきたいと思います。 私が基本的な研修を終えて、現場に配属後に「SQLを触ろう」となった際に、先輩に「アンチパターンさえやらなきゃいいよ」とアドバイスされたことがこの本を読むきっかけだったので、同じような境遇の初心者の方が現場でSQLを触ることになった時、最低限避けるべき項目の雰囲気を掴む、容易に確認することができる記事になれば幸いです。 本書のスタイルと本記事で注目すること本書は「データベース論理設計のアンチパターン」「データベース物理設計のアンチパターン」「クエリのアンチパターン」「アプリケーション開発のアンチパターン」の4部からなりそれぞれアンチパターンが数種類紹介されています。アンチパターンごとに「目的」「アンチパターン」「アンチパ
Bulk insertでも20時間以上かかっていたMySQLへのインサート処理を1時間以内にする - エムスリーテックブログ
この記事はエムスリー Advent Calendar 2022の30日目の記事です。 前日は id:kijuky による チームメンバーのGoogleカレンダーの休暇予定一覧をスプレッドシート+GASで作った でした。 AI・機械学習チームの北川(@kitagry)です。 今回はMySQLへのインサートを20倍以上高速化した話について書きます。 仕事をちゃんとしてるか見張る猫 TL; DR はじめに 今回のテーブル バイナリログを無効化する 追試 LOAD DATA INFILE 追試 テーブルの正規化 インデックスを一時的に剥がす まとめ We are hiring!! TL; DR バイナリログをオフにする LOAD DATA INFILEを使う インデックスを一時的に消す はじめに AI・機械学習チームではサイトトップからアプリに至るまで多くの推薦システムがあります。 そこでは推薦ロ
MySQL道普請便り 記事一覧 | gihyo.jp
第33回MySQLのオプションファイル my.cnfの豆知識［その2］ yoku0825 2016-11-22
MySQL道普請便り 記事一覧 | gihyo.jp
第217回MySQL ShellでJavaScriptを使ってMySQLを操作してみよう［その2］ 木村浩一郎 2024-03-12
第181回 SQLの共通テーブル式（CTE）を使ってみよう | gihyo.jp
近年ではRedashやMetabaseのようなBIツールを簡単に導入でき、さらにはMySQLはバージョン8.0からwindow関数が利用できるようになり、より分析的なSQLを記述する機会が増えた読者もいるかも知れません。このような分析に利用するSQLを記述をすると、どうしても長いSQLになってしまいがちで、記述した当時は理解できても、時間の経過や他人のSQLを読み解くのは難しいときもあります。 そこで、今回は共通テーブル式（CTE）について紹介し、分析時に長くなってしまいがちなSQLの読みやすさ改善に少しでもお役にたてればと思います。なお、今回利用しているMySQLのバージョンは8.0.28となります。 CTEとは？ CTEとはCommon Table Expressionsの略で、OracleやPostgreSQLにはすでにあった機能であるため知っている方もいるかもしれません。CTEは単
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
【SQL】COALESCE関数とは？意味や使い方をわかりやすく解説！
SQL・NoSQL・NewSQLの違いは？【データベース言語】
SQLの練習ができる学習サービス | SQLab
【SQLを学ぶ醍醐味】複数テーブルを扱うJOIN結合とトランザクションをくわしく解説
