大規模データ更新・削除を“安全に分割実行”するための汎用ツール | メルカリエンジニアリング
DBRE (DataBase Reliability Engineering)チームの taka-h です。 大規模なデータ更新や削除は、やりたいこと自体はSQLで表現できても、そのまま一度に実行すると運用上のリスクが高くなります。例えば大きなトランザクションが発生すると、レプリケーション遅延やDB負荷の増大、UNDOログの肥大化などにつながり、結果としてサービス影響を招く可能性があります。 そこで私たちは、UPDATE/DELETEのような「最終的にやりたい操作」をSQLに近い形で記述しつつ、実行時には安全な単位に分割して処理できる汎用ツールを実装しました。さらに、実行中に処理速度などの設定を変更できることや、監視結果に応じて自動で一時停止できることなど、実運用で必要になる制御も組み込んでいます。 本記事では、なぜこの問題が起きるのか、従来どのように回避してきたのか、そして今回のツールが
データベースmigration機構が無かったアプリケーションにsqldefを導入しました - タイムリープ テックブログ
こんにちは。タイムリープ株式会社でエンジニアをやっております id:moznion です。 タイムリープには有史以来、データベースmigration機構が無いままに運用されているサーバーサイドアプリケーションがあり、エンジニアが気を付けてDDLを手で発行するという運用が為されていました。もちろんここには、 実際のデータベースを見に行かないと正しいテーブル構成がわからない スナップショット的なテーブル定義が記されたsqlファイルがrepository内にあったものの、それを実際に使っているわけではないので正しさが保証されない そのため、ローカル・CI用のデータベースを構築するのも一苦労 (というか正しさがわからない) 考えたDDLをマニュアルでDBに適用しなければならなかったので実に危険 誤りやオペミスが入り混む危険性がある そもそもデプロイ時にDDLの発行自体を忘れるという危険性もある そ
GitHub - xtdb/xtdb: An immutable SQL database for application development, time-travel reporting and data compliance. Developed by @juxt
Immutable - XTDB is optimised for current-time queries, but you can audit the full history of your database at any point, without needing snapshots or accessing backups. 'Bitemporal' - all data is accurately versioned as updates are made ('system' time), but it also allows you to separately record and query when that data is, was, or will become valid in your business domain ('valid' time). Dynami
宣言的スキーマ管理ツール pistachio を作成しました
プラットフォームチームの菅原です。 最近、pistachioという宣言的スキーマ管理ツールを作成し[1]、本番環境のDBマイグレーションに導入したので紹介させてください。 pistachioについて 「宣言的スキーマ管理」はTerraformのように「あるべきスキーマの状態」を記述し、差分を埋めるDDLを実行することでDBマイグレーションを行う方法です。 同様のツールとしてはatlasやsqldef、拙作ですがRidgepole、最近のものだとpgschemaなどがあります。 pistachioはPostgreSQL専用の宣言的スキーマ管理ツールで、SQLでスキーマを記述して管理します。 pistachioのワークフロー まずdumpコマンドで既存のスキーマをファイルに出力します。 $ pist dump > schema.sql $ cat schema.sql -- Dump of s
SQLを学習できるサービス「SQL道場」のご紹介
はじめに はじめまして、DMMで電子書籍のデータ分析をしている栃沢と申します。 日々、キャンペーン・クーポンの効果検証、UI改善、ABテスト設計などの仕事をしています。入社当初は「長くて複雑なSQLクエリを書く」ことに苦労しました。（もちろん今もですがw） データ分析の現場では、基本的なSQLの知識だけでは不十分だと感じています。 実務では、複数のテーブルを結合したり、サブクエリやウィンドウ関数を駆使したりと、より高度なSQLのスキルが求められます。しかし、これらを独学で習得するのは容易ではないと思います。 SQLを学べる書籍やオンラインサービスなどあることにはあるのですが、ほとんどがソフトウェアエンジニア向けであり、データアナリストが実際の業務で必要とするSQLを学べる場は少ないと感じています。 こうした背景から、データアナリストやビジネスアナリスト向けに、より実務に直結するSQL学習環
生SQLに型を手書きする時代は終わり？Prismaの新機能「TypedSQL」
生SQLを扱う $queryRaw TypeScript向けのORMライブラリとしてPrismaがあります。Prismaは直感的で型安全なAPIを提供し、TypeScript向けのORMとしては第一に名前が上がることが多いライブラリです。 しかしそんな人気なPrismaでも、裏側では少しクセのあるSQLが発行されていたり、欲しいSQLがPrismaのAPIでは実現できない場合があります。 そういった場合のために $queryRaw というメソッドが用意されており、これを使うことで生SQLを書いてその結果を受け取ることができました。他のORMにもよくある機能です。 例えば以下のように実装することができます。 const users = await prisma.$queryRaw` SELECT id, name FROM "Users" WHERE id = ${userID} `; co
endatabas | SQL Document Database with Full History
Endatabas is an open source immutable database. We hope you will enjoy building with Endatabas as much as you enjoyed writing your first program. Endatabas is now in Beta. Read the One-Page Executive Summary. For more information, please contact us at hello@endatabas.com. -- store documents without CREATE TABLE INSERT INTO msgs {text: "Here is some classic material", user: "George", send_at: 2024-
Compile SQL to type-safe code
Compile SQL to type-safe code; catch failures before they happen. You write SQL queries You run sqlc to generate code that presents type-safe interfaces to those queries You write application code calling the methods sqlc generated. Seriously, it's that easy. You don't have to write any boilerplate SQL querying code ever again. See the current list of supported programming languages and databases.
セマンティックレイヤー / Headless BIとは
この記事は何 2023年、世間はLLMで大騒ぎですが、データの業界ではセマンティックレイヤー・Headless BIへの注目も高まっています。 これは、まだ国内では黎明期ともいえるそんな技術が、今後どんな存在となりうるのかを、筆者の個人的な解釈と妄想をもとに述べる長文ポエムです。 セマンティックレイヤーとは まず最初にセマンティックレイヤーについて解説します。 セマンティックレイヤーとは セマンティックレイヤーとは、データベースとデータ利用者の間に入り、両者間のやりとりを円滑にする存在です。 データ統合プラットフォームを提供するAirbyte社は、セマンティックレイヤーをデータとビジネスユーザーの中間に位置する、複雑なデータを理解可能なビジネスの概念に変換・翻訳するレイヤーと説明しています。 A semantic layer is a translation layer that sits
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GitHub - sqlpage/SQLPage: Fast SQL-only data application builder. Automatically build a UI on top of SQL queries.
GitHub - tconbeer/harlequin: The SQL IDE for Your Terminal.
GitHub - AmrDeveloper/LLQL: LLQL is a tool that allow you to run SQL-like query with Pattern matching functions inspired by LLVM InstCombine Pattern Matchers on LLVM IR/Bitcode files
ActiveRecord SQLインジェクションクイズ (Rails 7.1.3.4)
SQL Has Problems. We Can Fix Them: Pipe Syntax In SQL
GitHub - drawdb-io/drawdb: Free, simple, and intuitive online database diagram editor and SQL generator.
GitHub - Mindinventory/MindSQL: MindSQL: A Python Text-to-SQL RAG Library simplifying database interactions. Seamlessly integrates with PostgreSQL, MySQL, SQLite, Snowflake, and BigQuery. Powered by GPT-4 and Llama 2, it enables natural language queries.
An in-process SQL OLAP database management system
パスワードがハッシュ値で保存されているサイトのSQLインジェクションによる認証回避の練習問題 - Qiita
SQL Embedding / Extensions - HackMD
データベースの仕組み(アーキテクチャ)をざっくり理解する
