Disclaimer 当記事はNewSQL開発ベンダの技術ブログや各種論文、その他ニュースサイト等の内容を個人的にまとめたものです。 そのため、理解不足等に起因する誤解・誤認を含む可能性があります。更なる理解が必要な方はリファレンスに挙げた各種文献を直接参照下さい。技術的な指摘は可能であれば取り込み修正しますが、迅速な対応はお約束できません。 NewSQLの解説は二部構成 当記事は前編でNewSQLの概要編となる。 全体の目次は下記である。 NewSQLとは何か NewSQLのアーキテクチャ NewSQLとこれまでのデータベースの比較 NewSQLのコンポーネント詳解 1章から3章までの内容を当記事で解説する。 4章はさらに詳細な技術的解説となり、後編の「NewSQLのコンポーネント詳解」で記述している。 こちらも合わせて一読いただきたい。 1. NewSQLとは何か NewSQLとは、海

[Beta] postgres-checkup: PostgreSQL Health Check and SQL Performance Analysis

同根のバグレポートが散見されますが、ここ数ヶ月、状況をみるに修正される見込みがなさそうなので記録しておきます。 事象 MySQL 5.7 の libmysqlclient (libmysqlclient.so.20) を使用しているプロセスが、無限ループに突入して CPU (user%) を食いつぶし続ける。 PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ COMMAND 28150 hirose31 20 0 32488 6080 5492 R 93.8 0.3 0:16.70 mysql 発現条件 MySQLが提供しているパッケージのMySQL 5.7.25, 5.7.26, 5.7.27 で確認。 Ubuntu 18.10, mysql-community-client 5.7.25-1ubuntu18.10 Ubuntu 18.04, m

開発者向けのSQLインデックス解説サイト、管理についての間違いない知識を提供します。 インデックスは開発時には忘れられがちである一方で、非常に効果的なSQLのチューニング方法です。Use The Index, Lukeでは、HibernateなどのORMツールの解説にとどまらず、SQLのインデックスについて基礎から説明します。 Use The Index, LukeはSQLパフォーマンス詳解のWeb上の無料版です。サイトを気に入って頂けたら、ぜひ書籍も購入してみて下さい。また、このサイトの運営をサポートする様々なグッズも販売しています。 MySQL、Oracle、SQL ServerなどにおけるSQLのインデックスUse The Index, Lukeでは、ベンダにとらわれないインデックスの説明を心がけています。製品特有の事柄については、以下のような表示をしています。 DB2Use The

RDBMS 理解度の壁: プロダクションや運用保守で困らないシステムを作れる知識 ＜＜＜それっぽく動くものを作れる知識 実際のシステムで遭遇・見聞きした事象をもとに、上記のスキマにある各種 RDBMS 知識を説明します。 RDBMS 本体の運用よりも、現実のアプリケーションにおける設計…

みなさんこんにちは。フジサワです。前回の記事でお伝えしていたElasticsearchの検証がひと段落しましたので、検証結果をレポートいたします。 連載目次 『全文検索 〜 Elasticsearchとデータ匿名化手法』 『全文検索の探求 Elasticsearch(1) 』: プロジェクト方針およびElasticsearch概要 大量データを検索するサービスでElasticsearchはRDBの代替候補になりうるか？(Elasticsearch vs pg_bigm)』 ←今読んでいる記事 データ匿名化 第1回：匿名化された個人情報とは何なのか データ匿名化 第2回：個人情報は匿名化しても意味がないのではないか？ データ匿名化 第3回：個人情報を匿名化するプロセス データ匿名化 第4回：匿名化のために行うデータ項目の一般化とは データ匿名化 第5回：データ匿名化の指標 データ匿名化 第6

2019年9月16日、VPNサービスのレビュー等を行うvpnMentorはインターネット上でエクアドル国民に関わる大量の情報を発見したと発表しました。ここでは関連する情報をまとめます。 vpnMentorの発表 www.vpnmentor.com 数百万人のエクアドル国民に影響が及ぶ可能性がある大規模なデータを発見した。 発見したのはvpnMentorのリサーチャー Noam Rotem氏、Ran Loca氏の二人。 露出していたElasticsearchには2000万人を超える個人に関わる情報が含まれていた。 vpnMentorはZDnetへ情報提供を行っており、同件の報道が行われている。 どうやって発見したのか vpnMentorは大規模なWebマッピングプロジェクトの一部で確認したと説明している。 既知のIPブロックに対してポートスキャンを実行。 公開状態のデータベースに対してシステ

普段はアプリケーションレイヤの仕事をしているため、「データベースはデータを入れておくただの箱」という発想でした。が、さすがにこれはまずいだろう、と思いたち、勉強中です。 とくにデータベースが専門領域というわけではないので、間違いがあれば教えてください。 検証バージョン PostgreSQL 10.5 自前ビルド はじめに PostgeSQL におけるデータの実態はファイル。 言うまでもないが、ディスクに書きこむことでデータを永続化する。 しかし、メモリと比較してディスクへの読み書きは非常に遅い。 参考 プログラマーが知っておくべき「PC内部の通信速度」 そのため、ディスクアクセスをできる限り減らして、より高速にアクセスできるメモリで処理しておき、ある程度まとめてディスクに書き出せば早いじゃないか。(No Force = コミット 時にディスクへ書き込まない。いつか誰かがやる。) しかしこの

回答 (3件中の1件目) ハイプサイクルという概念をGartnerグループが提唱してまして、様々な流行りスタリのサイクルを分析する標準的な方法となっています。 ハイプとは過度な期待や熱狂を意味する言葉です。一発屋芸人の人気のカーブみたいなもので、テツandトモみたいに安定する場合と、消えていくものがあります。芸人ではありませんがDA PUMPは一茶の人間性もありまして、次は厳しいけど定着すると思っています。 なんだかのトリガーで評価が上がり始め、ピークを迎える。その後評価が下がっていき、底を打つと少し上がって定着するという経過をたどるとしています。これと同じモデルで、流行りのハイテク...

TECH Night #1 by DELiGHTWORKS 〜FGO・モンストから学ぶ大規模ゲーム運用のためのサーバ・インフラの話〜( https://techplay.jp/event/717816 ) にて発表したスライドです。

OSC 2019 Osakaの登壇資料です。

Microsoft、PostgreSQLデータベースをスケールアウトできる「Citus Data」を買収　「オープンなプラットフォームの構築にコミット」 米Microsoftは1月24日（現地時間）、PostgreSQLをスケールアウト可能な分散データベースに変えられるオープンソースソフトウェア（OSS）を提供しているスタートアップ、Citus Dataを買収したと発表した。Microsoft Azure上で提供するPostgreSQLのサービスの機能強化を図る。 PostgreSQLデータベースを含むリレーショナルデータベース（RDB）は一般に、リードレプリカを作成して分散処理を行う以上の負荷分散機能を備えていない場合が多い。しかしCitus Dataは、PostgreSQLのデータベースエンジンを拡張して分散処理を可能にし、スケールアウトできるソフトウェアを提供している。 「オープンな

このページでは PostgreSQL 11（2018/10/18リリース） に関する技術情報をお届けします。 本ドキュメントは PostgreSQL のリリースノートを元に弊社で解説を加えたものです。 バージョン11の主な拡張点 バージョン11での主な拡張箇所は以下の通りです。 ハッシュキーによるパーティショニングが可能になりました。 パーティションテーブルに対して主キー制約、外部キー制約、インデックスそしてトリガーを作成できるようになりました。 どのパーティションにもマッチしないデータ用にデフォルトパーティションの作成が可能になりました。 パーティションキー列に対する更新を行った際にそれの影響を受けるレコードも適切なパーティションに移動されるようになりました。 パーティションテーブルに対する SELECT のパフォーマンスが向上しました。 B-tree インデックスを作成する CREAT

PostgreSQL 11が正式リリース。ハッシュパーティショニングやJITコンパイルによる高速化、ストアドプロシージャでのトランザクションサポートなど 発表文ではPostgreSQL 11の主な新機能を次のように説明しています。 PostgreSQL 11 provides users with improvements to overall performance of the database system, with specific enhancements associated with very large databases and high computational workloads. Further, PostgreSQL 11 makes significant improvements to the table partitioning system, adds

本日、新著が発売となります。本書の初版は処女作ということもあり、色々と書き手として未熟な部分も多く出てしまった本なのですが、幸運にも長い期間読んでいただいたことでこのたび改訂版の刊行にこぎつけることが出来ました。 さすがに10年経過すると内容も古くなっており、多くのコードをリバイスしています。特に初版刊行時にはまだサポートが不十分だったウィンドウ関数が、現在では主要なDBMSではほぼ利用できるようになったことを受けて、全面的にこれを採用しました。これにより性能と表現力を両立させるモダンなSQLコーディングが可能になったので、ぜひ本書でその素晴らしさを確認いていただければと思います。 以下に本書の前書きを引用しますので、購入の際の参考にしてください。 本書の初版が刊行されてから、10年が経過しました。筆者にとって、初版は初めて書いた本、いわゆる処女作であり、自分の知見や文章がどのような受け取