PostgreSQL 15検証報告
更新日: 2022年10月20日 2022年10月にリリースされたPostgreSQL 15の主要な新機能について動作検証を行った結果を報告します。 本検証レポートはコマンド実行手順も詳細に記載していますので、PostgreSQL 15 を使って実際に新機能を確認したい方のガイドブックとしても活用できます。 PostgreSQL 15の主要な強化点は以下のとおりです。 NOT IN句の改善 ソートの性能改善 ウィンドウ関数の性能改善 psql \copyの性能改善 zstandard圧縮サポート 先読みによるリカバリ性能改善 MERGE文 SQL/JSON対応の拡張（リリース過程で取り下げられたため含まれません） 正規表現関数の追加 多重範囲型への集約 ロジカルレプリケーションの拡張 呼び出し元権限で実行されるビュー モジュールによるWALアーカイブ JSONLOG形式 モニタリングビュー
次世代データベース TiDB の検証とその評価 [DeNA インフラ SRE] | BLOG - DeNA Engineering
※こちらは先日実施された DeNA インフラエンジニア / SRE MEETUP で話した内容を Blog 記事化したものです！ こんにちは！IT基盤部の熊谷です。IT基盤部にて大規模ゲームのインフラを見ている 新卒２年目のインフラエンジニアです。この記事では “DeNA でのデータベース運用とそのツラミ” と、“TiDB導入への検証・検討” をご紹介させていただきます。 データベースの最適解 DeNA のデータベース構成は最適解を求めて改良を積み重ねてきました。最初期の構成、(便宜上、第１世代と呼びます) では VM Instance 上に MySQL を構築し管理する MySQL on EC2 構成。続く第２世代では、マネージドサービスを駆使した Aurora MySQL 構成。この２世代の中で生じた “ツラミ” を解消する次の世代、言わば 第３世代に該当する新しいデータベース構成を現
![次世代データベース TiDB の検証とその評価 [DeNA インフラ SRE] | BLOG - DeNA Engineering](https://cdn-ak-scissors.b.st-hatena.com/image/square/a7a9ef2e383cbfc8885ee9e5572b0b143267e771/height=288;version=1;width=512/https%3A%2F%2Fengineering.dena.com%2Fblog%2F2022%2F01%2Finfra-meetup-tidb%2Fcover.png)
クラウドネイティブで変わる「NewSQL」の意味――地球規模でデータ分散を可能にする合意プロトコルの仕組みと課題
クラウドネイティブで変わる「NewSQL」の意味――地球規模でデータ分散を可能にする合意プロトコルの仕組みと課題：クラウドネイティブ時代のデータベース（終） クラウドネイティブ時代に求められるデータベースの3要件を満たすべく開発が進められているNewSQLの基本概念と、データの可用性を高める仕組みを解説する。 本連載第2回では、クラウドネイティブ化で高速化したアプリケーション開発と同様に、データベースもアジリティを獲得するためにKubernetesを利用する手法を紹介した。第3回では、クラウド事業者の障害も超えた可用性を獲得するために、マルチクラウドでデータベースを管理する手法を紹介した。 クラウドネイティブでもう一つ重要とされるスケーラビリティ、いわゆる水平方向の拡張性はこれまで部分的にしか言及してきていない。これは長い歴史を持つRDBMS（リレーショナルデータベースマネジメントシステム
クラウドネイティブ時代、データベースに求められる要件を整理する
クラウドネイティブ時代、データベースに求められる要件を整理する：クラウドネイティブ時代のデータベース（1） クラウドネイティブは、その要素技術としてコンテナやマイクロサービスなどを含んでおり、近年の開発において一般的となりつつある。では、データベースにもそうした技術要素は取り込まれていくのだろうか。本連載では、クラウドネイティブ時代のデータベース設計で考慮すべきポイントを検討する。 クラウドネイティブとは、「スケーラブルなアプリケーションを構築および実行する能力を組織にもたらす」考え方として定義される（参考記事：「クラウドネイティブ」はどう誤解されているか）。そして、そこに含まれる技術要素として、コンテナ、サービスメッシュ、イミュータブルインフラストラクチャ、宣言型API、マイクロサービスアーキテクチャ（以後、MSA）があり、その採用はシステム構成に大きな変化をもたらす。 MSAでは分割さ
データベースの中身がほぼ削除されてネコの鳴き声だけが書き残される謎の「ニャー攻撃」が活発化
インターネット上の保護されていないデータベースのほぼすべてが削除され、「Meow(ニャー)」というネコの鳴き声だけが書き残される「Meow Attack(ニャー攻撃)」が報告されています。記事作成時点で既に4000近くのデータベースがニャー攻撃によって削除されてしまったとのことです。 New ‘Meow’ attack has deleted almost 4,000 unsecured databases https://www.bleepingcomputer.com/news/security/new-meow-attack-has-deleted-almost-4-000-unsecured-databases/ Ongoing Meow attack has nuked >1,000 databases without telling anyone why | Ars Techn
2020年現在のNewSQLについて - Qiita
Disclaimer 当記事はNewSQL開発ベンダの技術ブログや各種論文、その他ニュースサイト等の内容を個人的にまとめたものです。 そのため、理解不足等に起因する誤解・誤認を含む可能性があります。更なる理解が必要な方はリファレンスに挙げた各種文献を直接参照下さい。技術的な指摘は可能であれば取り込み修正しますが、迅速な対応はお約束できません。 NewSQLの解説は二部構成 当記事は前編でNewSQLの概要編となる。 全体の目次は下記である。 NewSQLとは何か NewSQLのアーキテクチャ NewSQLとこれまでのデータベースの比較 NewSQLのコンポーネント詳解 1章から3章までの内容を当記事で解説する。 4章はさらに詳細な技術的解説となり、後編の「NewSQLのコンポーネント詳解」で記述している。 こちらも合わせて一読いただきたい。 1. NewSQLとは何か NewSQLとは、海
MySQL 8.0.18 の実装を読み解きながら簡単なストレージエンジンを自作する - それが僕には楽しかったんです。
はじめに MySQL をビルドする ストレージエンジンを自作する Example エンジンをベースにする handlerton の作成とインスタンス化 テーブルを作成する 余談・気になったところ テーブルを開く INSERT の実装 ha_tina の存在 テーブルスキャン store_lock の実装 external_lock の実装 rnd_init の実装 info の実装 extra の実装 rnd_next の実装 おわりに はじめに 卒論書くのに飽きてきて何かやりたくなったので急にストレージエンジンを書くことにしてみた。 MySQL のストレージエンジンを実装していく中で、色々できるかなと思っていたけど、やってみると MySQL の内部実装について色々知らないといけないことが多くインデックスとかトランザクションとかそういうところは実装できなかった。 github.com My
ユーザ情報を保存する時のテーブル設計 - そーだいなるらくがき帳
はじめに ※この発言は個人の見解であり、所属する組織の公式見解ではありません 用法用量を守り、個人の責任で業務に投入してください 参考資料 2024/02/14追記 実際のテーブル設計の詳細はこちらを参考にどうぞ。 agilejourney.uzabase.com 要件 User情報を保存するときにどのようなテーブル設計を行うか 今北産業で頼む テーブルに状態を持たせず状態毎のテーブルを作る 状態が変わればレコードを消して別のtableに作る tableの普遍的な情報は別に持たせる 僕の考えた最強のDB設計 PostgreSQLをベースの雑なER図を作った。 これを元に話を進める。 table構成 users 親tableであり、すべてのユーザはここに属する。 基本はINSERTのみでUPDATE、DELETEを考慮しない。 user_detail userに付随する詳細の情報がここに登録
MySQLのベンチマークツール: sysbench の紹介 | スマートスタイル TECH BLOG
MySQLのベンチマークツールはいくつかありますが、今回は弊社でもよく利用している sysbench について紹介したいと思います。 sysbench とは？ sysbench はよくデータベースのベンチマークとして使用されますが、ファイルシステムやCPU、メモリなどシステムのベンチマークを行うこともできます。 また、Luaスクリプトで独自のベンチマークシナリオを作成することも可能です。 （弊社記事: sysbench 1.0 でオリジナルのベンチマークシナリオを作成する） デフォルトのベンチマークシナリオでは比較的処理としてはシンプルなため、データベースの基本性能を測るために使用されることが多い印象です。 参考 ： akopytov/sysbench: Scriptable database and system performance benchmark インストール インストールは下
トランザクション技術とリカバリとInnoDBパラメータを調べた - たにしきんぐダム
トランザクションはACID特性を満たすと言われている。 そのうちA(Atomicity)はトランザクション内の操作をAll or Nothingとなるよう保証し、トランザクションが中途半端に実行されて(アプリケーションレベルから見た)データの整合性が失われることを防ぐ特性。またD(Durability)とはシステム運用中に起こる様々な障害からデータを守る(整合性を保つ)特性。 これらの特性を満たすためのDBMSの古典的なテクニックがすごく面白いので、それに関するMySQL(主にInnoDB)のパラメータ・パフォーマンスにどのような影響を及ぼすかを調べた(*'ω'*) なお紹介している技術は基本的に教科書に書かれていた技術で、実際にInnoDBに実装されているアルゴリズムとは異なることがある(とはいえベースにはなっている) 参考 障害の種類 DBMSの基本構成 データベースバッファ 概要 関
データベース負荷テストツールまとめ(5) - SH2の日記
というわけで、JPOUG> SET EVENTS 20120721 | Japan Oracle User Groupに参加して発表をしてきました。通常の勉強会と比べて発表者と聴講者の一体感を増すための工夫がなされていて、とても良かったと思います。有限コーヒーかと思ったら無限ビールだったのも驚きです。JPOUGの運営メンバのみなさま、会場を提供してくださった日本オラクルのみなさま、当日お越しいただいたみなさま、どうもありがとうございました。 私のセッションでは、データベース負荷テストツールまとめ(5)と題して過去4回分のまとめと自作ツールの紹介をさせていただきました。JdbcRunnerはOracle Database、MySQLとPostgreSQLの間でTPC-BとTPC-Cの性能比較ができる唯一のオープンソースソフトウェアですので、いろいろ試してみていただければと思います。試した結果
Adminer - Database management in a single PHP file
Adminer (formerly phpMinAdmin) is a full-featured database management tool written in PHP. Conversely to phpMyAdmin, it consist of a single file ready to deploy to the target server. Adminer is available for MySQL, MariaDB, PostgreSQL, SQLite, MS SQL, Oracle, Elasticsearch, MongoDB and others via plugin. Features, Requirements, Skins, References Why is Adminer better than phpMyAdmin? Replace phpMy
俺の脳内選択肢が、SQLインジェクション対策を全力で邪魔している — A Day in Serenity (Reloaded) — PHP, CodeIgniter, FuelPHP, Linux or something
PHP Advent Calendar 2013 in Adventarの19日目です。昨日も私の「PDOでの数値列の扱いにはワナがいっぱい（2）」でした。 うっかりtogetterなんか見てしまい、無駄に時間を使ってしまったと後悔した上に混乱してしまい余計にわからなくなってしまった人もいるかも知れません。 そこで、せっかくの機会なので、SQLインジェクション対策について、現在の私の考えをまとめておこうと思います。 選べ ①SQLインジェクション対策にプリペアドステートメントを使う ②SQLインジェクション対策にエスケープを使う もし、上記のような選択にはまってしまったら、あなたのSQLインジェクション対策は、現実的には、ほぼ100％間違っていると言えるのではないでしょうか。プリペアドステートメントとエスケープは、このような対立構造にはありませんから。 なお、この記事は、SQLインジェクシ
PostgreSQL INSERT で外部キーの被参照テーブルに ROW SHARE ロックがかかる
PostgreSQL で、トランザクション処理中にあるテーブルに INSERT 文を発行すると、並列で実行している別処理にて、そのテーブルの外部キーの被参照テーブルへのEXCLUSIVE ロックが取得できない現象があったのでメモ。 再現 検証用にテーブルを2つ（products, orders）を用意します。orders テーブルの product_no には products テーブルへの外部キーを設定します。 CREATE TABLE products ( product_no integer PRIMARY KEY, name text, price numeric ); CREATE TABLE orders ( order_id serial PRIMARY KEY, product_no integer REFERENCES products (product_no), qua
MariaDB Galera Clusterを試す (1)
カテゴリー DX (2) 一般 (59) 研究会 (6) 働き方 (4) 技術 (352) Edge AI (2) Edge Computing (13) Erlang (1) FIWARE (2) Fog Computing (10) Infiniband (31) Internet of Things (32) Key Value Store (17) Linux (3) Linux KVM (10) Machine Learning (5) RealTime Web (14) SRE (3) Webサービス (42) インフラ (8) コンテナ (4) ストレージ (93) データセンター (7) データベース (47) データ流通 (6) テレプレゼンス (2) ネットワーク (215) 仮想化 (111) 災害コミュニケーション (26) 空間情報 (30) 量子コンピューティン
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
開発環境で使う Docker / docker-for-development - Speaker Deck
GitHub - MasahikoSawada/pg_simula: A database system failure simulation tool for PostgreSQL
MySQLを割と一人で300台管理する技術
db tech showcase Tokyo 2018 | db tech showcase
Solarisコンテナ上でOracle Databaseを使ってみよう