PostgreSQLの内部構造と監視の話 - そーだいなるらくがき帳
Geeks Who DrinkとPostgreSQL Conference Japan 2017での資料です。 nulab.connpass.com PostgreSQL Conference Japan 2017 (2017-11-03) | 日本PostgreSQLユーザ会 詳しく知りたい人は下記の本がおすすめです。 ただし注意点は9.3相当なのでプロセスの仕組みがちょっと違います。 待望の新刊出ました！10系ベースなのでぜひ読んでみてください。 ※2018/10/07 追記 読み応えのある内容になったかなと思います。レベル感で言えばOSS DB Goldの試験出る範囲です。特に内部構造は覚えて置いて損は無いでしょう。 speakerdeck.com 内部構造の中で取り扱っていないところにAUTOVACUUM、TOASTとレプリケーションがあります。AUTOVACUUMはPostgre
データベースの常識を打ち破る！？Oracle DBとSQL Serverの新版
米オラクルと米マイクロソフトが2017年10月から12月にかけて相次ぎ、データベース（DB）ソフトの新版の提供を始める。オラクルは新版の「Oracle Database 18c」で「データベース管理者不要」を打ち出し、運用の自動化を進める。マイクロソフトは「SQL Server 2017」で、初めてLinux版を用意した。いずれも「Oracle DBの管理にはノウハウが必要」「SQL ServerはWindowsでしか動作しない」といった、これまでの「常識」を打ち破る製品だ。 オラクルが2017年12月に提供を始めるOracle DB 18cは、5年振りのメジャーバージョンアップとなる。18cの目玉は、「自律型DBであることだ」とオラクルのラリー・エリソンCTO（最高技術責任者）兼会長は強調する。機械学習機能などを利用して、パフォーマンスの最適化やプロビジョニング、パッチの適用、バージョン
DBの稼働状況を即時にグラフ表示、日本エクセムがラインアップ4種
ソフトメーカーの日本エクセムは、2017年10月11日から13日まで東京ビッグサイトで開催している「ITpro EXPO 2017」で、データベースなどの稼働状況を可視化する「MaxGauge」のデモを公開している。 MaxGaugeは、データベースやアプリケーションサーバーの稼働状況をリアルタイムにグラフで表す機能を持つ。秒単位でCPU負荷やメモリーの使用状況などを計測。どのクエリーやセッションがボトルネックになったかを特定できる。データベースソフトのオプション製品にある管理ツールなどよりも細かい単位で計測が可能で、パフォーマンスチューニングや障害発生時の原因究明に役立つという。 製品ラインアップは4種類。米オラクル製「Oracle Database」向けの「MaxGauge for Oracle」、米マイクロソフト製「Microsoft SQL Server」向けの「同 for SQL
PostgreSQL 10正式リリース。論理レプリケーションで特定のテーブルのみ複製、テーブルパーティショニングの容易な構成など
オープンソースのRDB、PostgreSQL 10正式版がリリースされた。新機能には論理レプリケーション、宣言的パーティショニング、パラレルクエリの改善による性能向上などがある。 オープンソースのリレーショナルデータベースとして開発されているPostgreSQLの最新版「PostgreSQL 10」の正式リリースが発表されました。 PostgreSQL 9.0は2010年9月20日リリース、直前のバージョンであるPostgreSQL 9.6のリリースが2016年9月でしたので、1年ぶりのバージョンアップです。 これまでPostgreSQLのバージョンはX.Y.Zで示されるバージョン番号のうちX.Yがメジャーバージョンを示していましたが、PostgreSQL 10からはバージョン番号はX.Yの形式で示され、Xの部分がメジャーバージョンを示すことになるとされています（つまり次のメジャーバージョ
クラウドで苦労が増えるデータベースの乗り換え
データベース（DB）が企業システムの中核機構であることに異を唱える人はいないだろう。そして、技術者ならオンプレミス（自社所有）環境でDBを“乗り換え”る作業がクリック一つで済むような簡単なことではないとも十分承知していると思う。記者はクラウドへのシステム移行事例を取材するケースが多く、DB移行でも苦労話をよく聞く。 そもそもオンプレミス環境からクラウドにデータベースを移行するだけでも容易ではない。土木や建築、しゅんせつ事業などを手掛ける小柳建設は2016年9月、オンプレミス環境の基幹系システムを米マイクロソフトが提供するIaaS（インフラストラクチャー・アズ・ア・サービス）、PaaS（プラットフォーム・アズ・ア・サービス）関連のパブリッククラウドサービスである「Microsoft Azure」上に全面移行し、本格運用を開始した。 移行で最初の課題となったのが、Azureの仮想マシンである「
PostgreSQLとMySQL、使うならどっち？ データベース専門家が8つの視点で徹底比較！｜ハイクラス転職・求人情報サイト AMBI（アンビ）
PostgreSQLとMySQL、使うならどっち？ データベース専門家が8つの視点で徹底比較！ オープンソースのデータベースとしてよく比較されるPostgreSQLとMySQL。どんな長所・短所があるのでしょう？ それぞれの専門家による対談で明らかにします。 エンジニアとして働いていると必ず直面する悩み。それは、「どのリレーショナル・データベース（以下、RDB）を選ぶのが最善なのか？」です。 RDBごとに長所と短所は異なっています。そのため自社サービスにマッチしないRDBを選んでしまうと、それがボトルネックとなり開発・運用にトラブルが生じるケースは少なくありません。 なかでもよく比較検討されるのが、PostgreSQLとMySQL。ともにオープンソースRDBのデファクトスタンダードであり、高い性能と数多くの機能を持っています。 では、両者は具体的にどのような長所・短所があるのでしょうか。そ
RDBアンチパターン リファクタリングについて話をしてベストスピーカー賞を取ってきた #builderscon - そーだいなるらくがき帳
Builderscon 2017で登壇してきました。 builderscon.io 登壇資料はこちらです。 今回も僕が超絶リスペクトしてる id:t-wada さんと そこそこリスペクトしてる 空前絶後のォォ！！！！超絶怒涛にリスペクトしている上司の id:onishi さんの名言を引用させてもらいました。これはテストコードやモニタリングで品質が見える化されますが「見える化されるだけでは問題は解決しない」という本質をお伝えしています。我々はエンジニアなので技術で問題を解決していくわけですし、問題を解決するためには手を動かすしかありません。ですのでまさに今の現場を改善していくのはあなた自身です。 あとは今年、話をしてきたデータベースリファクタリングの総集編って感じです。ホントは実例のRDBアンチパターンを元にリファクタリングしていきたかったんだけど60分では短すぎて「続編に期待」みたいなレベ
なぜ、SQLは重たくなるのか？──『SQLパフォーマンス詳解』の翻訳者が教える原因と対策｜ハイクラス転職・求人情報サイト AMBI（アンビ）
なぜ、SQLは重たくなるのか？──『SQLパフォーマンス詳解』の翻訳者が教える原因と対策 『SQLパフォーマンス詳解』の翻訳者の松浦隼人さんに、8つの「SQLが重たくなる原因とその対策」を聞きました。システムのボトルネックになるような「問題のあるSQL」を回避するノウハウを学びましょう。 データの操作や定義をする言語「SQL」は、どのような領域を担うエンジニアにとっても必修科目です。しかし、その仕様をきちんと理解し、パフォーマンスに優れたSQLを書ける方はそれほど多くありません。問題のあるSQLを書いてしまい、知らぬ間にそれがシステムのボトルネックになってしまう事態はよく発生します。 では、どうすればそうした事態を回避できるのでしょうか？ そのノウハウを学ぶため、今回は『SQLパフォーマンス詳解』の翻訳者であり、自身もエンジニアでもある松浦隼人（まつうら・はやと／@dblmkt）さんに8つ
MongoDB-as-a-Serviceの「Atlas」がAWS/Azure/GCPに対応。クロスリージョン、クロスクラウドのクラスタ構成も実現へ。MongoDB World 2017
MongoDB-as-a-Serviceの「Atlas」がAWS/Azure/GCPに対応。クロスリージョン、クロスクラウドのクラスタ構成も実現へ。MongoDB World 2017 NoSQLのひとつ、ドキュメントデータベースとして知られる「MongoDB」を提供するMongoDB社は、6月20日、21日にシカゴで同社の年次イベント「MongoDB World 2017」を開催しました。 基調講演で同社は、MongoDBをマネージドサービスとして提供する、いわゆるMongoDB-as-a-Serviceの「MongoDB Atlas」を強化し、これまでのAWS上でのサービス提供に加え、Microsoft Azure、Google Cloud PlatformへもAtlasをデプロイして利用可能にしたと発表しました。 MongoDB AtlasはMongoDBの運用を同社が担当するため、
MySQL with InnoDB のインデックスの基礎知識とありがちな間違い - クックパッド開発者ブログ
こんにちは、サービス開発部の荒引 (@a_bicky) です。 突然ですが、RDBMS の既存のテーブルを見てみたら「何でこんなにインデックスだらけなの？」みたいな経験はありませんか？不要なインデックスは容量を圧迫したり、挿入が遅くなったりと良いことがありません。 そんなわけで、今回はレコードを検索するために必要なインデックスの基礎知識と、よく見かける不適切なインデックスについて解説します。クックパッドでは Rails のデータベースとして主に MySQL 5.6、MySQL のストレージエンジンとして主に InnoDB を使っているので、MySQL 5.6 の InnoDB について解説します。 InnoDB のインデックスに関する基礎知識 インデックスの構造 (B+ 木) InnoDB では B+ 木が使われています。B+ 木は次のような特徴を持った木構造です。 次数を b とすると、
「理論から学ぶデータベース実践入門」読んだ - $shibayu36->blog;
理論から学ぶデータベース実践入門 ~リレーショナルモデルによる効率的なSQL (WEB+DB PRESS plus) 作者:奥野 幹也技術評論社Amazon 積ん読に入っていたので読んだ。 この本はリレーショナルモデルを理解することによってRDBの知識を深めようというような本。RDBを実践で使っている人がさらに知識を深めるための本という感じ。内容としては重要な理論がRDBと紐付けられて解説されていて面白かった。一方で、専門用語が文章中に多く使われていて、個人的には何か頭に入ってこなかった点は残念だった。 この本を読みながらわからないところを調べていて見つけたのだけど、この本の著者の昔の発表資料である「データベース設計徹底指南！！」がこの本の端的なまとめになっていて、しかも非常に良い資料なので本当におすすめ。本で紹介されているリレーショナルモデルや正規化理論などがわずか15分程度で理解できる
クラウドデータベースは成長の勢いに陰り？--ロックイン回避の傾向か
これは、クラウドデータベースの導入が最盛期に差し掛かっていることを意味しているわけではない。むしろ、開発者がインフラやデータをすべてクラウドプロバイダーに預ける準備ができてないということかもしれない。 ゆっくり着実に DB-Enginesの数字を詳しく見ていけば、クラウドデータベースが成長を続けていることは明白だ。その勢いは、この4年で人気が約10倍になっていることからも分かる。 これはいいニュースだ。 悪いニュースについて理解するには、DB-Enginesがデータをどう処理しているかを知る必要がある。 システムの人気を示す値は、各パラメータを標準化して平均することで計算されている。これらの数学的処理は、各システム間の距離が保たれる形で行われている。これは、DB-EnginesのランキングでシステムAの値がシステムBの2倍であれば、各評価基準の値を平均しても、人気は2倍であることを意味して
オープンデータ＋PostGIS＋Google Maps で観光マップを作ってみた
本エントリは PostgreSQL Advent Calendar 2016 の Day24 のエントリです。昨日は @mazudakz さんの「pg_stats_reporter をしくじった話」でした。読み応えあって面白かった。 さて、先日（と言っても結構前）、地理情報をPostgreSQLで扱う例として、巡回セールスマン問題をPostgreSQLで解きつつGoogle Mapsで可視化するエントリを書きました。 巡回セールスマン問題における最短経路をpgRoutingで探索する http://pgsqldeepdive.blogspot.jp/2016/09/pgrouting.html 今回は、もう少し進んでPostgreSQLにおける地理情報の検索とGoogle Mapsの動的な可視化を連動させてみましたので、その内容を紹介します。 実現したいことは、 観光に関連する情報をPos
データベースは雲に乗るか
2016年も残すところ1カ月になった。少し早いが2016年を振り返ると、企業向けIT業界ではIoT（Internet of Things）やAI（人工知能）がひたすら注目を浴びた1年だったように思う。 今年1年ホットだったのは、AIやIoTのような新しいキーワードだけではない。情報システムの構築には欠かせない「データベース（DB）」も、新たな動きがあり、2016年の要注目の分野だった、と記者は考える。ここで指すDBはNoSQLなど新しい技術を採用した製品ではない。RDB（リレーショナルデータベース）を中心とした、企業向けシステムに一般的に利用するDBMS（データベース管理ソフト）だ。 企業向けシステムのDBといえば、米Oracleの「Oracle Database」や米Microsoftの「SQL Server」が企業向けシステムでは代表的な製品だ。最近ではOSS（オープンソースソフトウエ
ジャストシステム、ノンプログラミングWebデータベース最新版「UnitBase 5.0」
ジャストシステムは2016年11月24日、ノンプログラミングWebデータベースソフトの最新バージョン「UnitBase 5.0」を2017年1月20日に発売すると発表した。ユーザー部門のみで案件管理、問い合わせ管理、顧客管理、決裁・稟議フローといった本格的な業務システムを作成・運営できる。価格は、同時ログイン10ユーザーの場合で199万円から（税別）。 マウスでのドラッグ＆ドロップ操作やExcelファイルの取り込みといった簡単な操作でデータベースを作成できるWebデータベースソフト。最新版では、ユーザーインタフェースを強化し、入力フォームのフィールド配置を4列まで設定可能にし、ラジオボタンや複数チェックボックスなどフィールドの表示形式を拡充した。 フィールドの入力値に応じて他フィールドの表示・非表示を動的に切り替えることが可能である。必要な入力項目・選択肢だけを表示し、データ入力のストレス
Realm Mobile Platformを触ってみた - Tech Blog
お久しぶりです！iOSチームのかっくん(@fromkk)です。 9月末(28日〜30日)に皆で毎年恒例の「数字の上がらない開発合宿」に行ってきました！ 名前の通り通常の業務から離れて、普段出来ない事・課題には感じているんだけどやれずにいた事を3日間で片付けようという趣旨の合宿です。 僕も事前にいくつか自分でタスクを考えていたんですが、合宿の前日にRealm Mobile Platformの発表がありこれはビッグウェーブが来る！！！と思ったので触ってみる事にしました。 Realm Mobile Platformとは Realm Mobile Platformは簡単に言うとサーバー(macOS, Linux)にデータベースサーバー(Realm Object Server)を構築し、クライアント（iOS/Android）とリアルタイムに同期するという仕組みです。 ネットワークに関する処理は全く書
データベースについてのそもそも論
先月のはじめのほうで、「リレーショナルデータベースとの上手な付き合い方」というタイトルで、2回発表をした。ひとつは「まべ☆てっく Vol.1」であり、もうひとつは「Hacker Tackle（ハカタクル？）」である。 「リレーショナルデータベースの開発・運用に纏わるもろもろの話をして欲しい」というような内容の話をしてくれないかという同じような依頼を、ちょうど2日違いのイベントで頂いた。9/8のまべ☆てっくと、9/10のHacker Tackleである。そうなると必然的に話す内容も、同じようなものになってくる。同じ人物（＝私）が話すのだから、テーマも同じで時期も同じであれば、内容が同じようなものになるのが自然である。もし違うものになってしまっているのであれば、片方はウソをついているということになるはずだ。今日は発表に使用したスライドを紹介しつつ、なぜデータベースを使うべきなのか（あるいは使う
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Apache Kuduは何がそんなに「速い」DBなのか? #dbts2017
GPUとSSDがPostgreSQLを加速する～クエリ処理スループット10GB/sへの挑戦～ [DB Tech Showcase Tokyo/2017]![GPUとSSDがPostgreSQLを加速する～クエリ処理スループット10GB/sへの挑戦～ [DB Tech Showcase Tokyo/2017]](https://cdn-ak-scissors.b.st-hatena.com/image/square/255658386c37b7f0c6de69ed4efa7023f74b1176/height=288;version=1;width=512/https%3A%2F%2Fcdn.slidesharecdn.com%2Fss_thumbnails%2F20170906dbtsgpussdacceleratespostgresqljp-170906073226-thumbnail.jpg%3Fwidth%3D640%26height%3D640%26fit%3Dbounds)
富士通、PostgreSQLをインメモリDB、カラム型DB、並列検索、独自暗号、二重化など独自強化。24時間365日サポートと長期保証の「Enterprise Postgres」リリース
