ログ解析にパーティショニングを利用してみよう | Let's POSTGRES
Hitoshi Harada ここまでで一通り分析を終えました。ある時点での分析を行うことももちろんのこと、継続的にログを分析していき結果を比較していきたいものです。今回のデータは6日ばかりを対象にしているためデータサイズは大きくありませんでしたが、1ヶ月、1年と経過するにつれてサイズが増大します。ここでは、分析を継続していくために必要なテーブルパーティショニング（分割）の技術についてご紹介します。パーティショニングについてはこちらでも紹介しています。併せてお読み下さい。 PostgreSQLにおけるパーティショニング 9.0 現在、PostgreSQLにおけるパーティショニング機能とは、単一ノードにおける水平分割です。つまり、1マシン上において、行を選り分けることでテーブルを分割します。世の中のRDBMSには垂直分割（列による選り分け）をサポートしたり複数ノード（複数のマシン上にテーブル
第42回 MySQL 8.0.14リリース、PostgreSQL商用ツールのPostgreSQL 11対応 | gihyo.jp
OSSデータベース取り取り時報 第42回MySQL 8.0.14リリース、PostgreSQL商用ツールのPostgreSQL 11対応 この連載では、OSSコンソーシアム データベース部会のメンバーが、さまざまなオープンソースデータベースの毎月の出来事をお伝えしています。 2019年1月はMySQL Server 8.0.14と各製品のマイナーバージョンアップが行われました。PostgreSQLは1月にはアップデートはありませんでした。今回は、最近PostgreSQL 11対応が行われたいくつかのの商用ツールを紹介させていただきます。 ［MySQL］2019年1月の主な出来事 2019年1月はMySQL Server 8.0.14をはじめとして、ほぼ全ての製品のマイナーバージョンアップが行われました。MySQL Cluster 8.0.14はDMR（Development Milesto
PostgreSQL11 設定パラメーター解体新書 / PostgreSQL 11 parameter
OSC 2019 Osakaの登壇資料です。
第10回 PostgreSQLアンカンファレンス@東京 (2019/02/02 13:30〜)
第10回PostgreSQLアンカンファレンスを2/2（土）に開催します。 「PostgreSQLについてしゃべりたいことがある、聞いてほしいことがある！」 「PostgreSQLについて聞いてみたい、相談したい！」 PostgreSQL11がリリースされ、国内ではPostgreSQL conference 2018 Japan、PGConf.Asiaが開催され、まさに盛り上がりの最中のPostgreSQL。 そんな最新情報がそろってきたので、PostgreSQLアンカンファレンスを開催します。 アンカンファレンスはこんな場です。 初心者による「使ってみた/動かしてみた」系 中級者による「こういうノウハウ使ってる」系 上級者（？）による「こういう拡張してみた」系 その他、PostgreSQLに関連する話題であれば何でもOK！ セッションは15～20分程度と短いので、しゃべりたいことがある人
FOSDEM 2019 - PostgreSQL vs. fsync
How is it possible that PostgreSQL used fsync incorrectly for 20 years, and what we'll do about it. About a year ago the PostgreSQL community discovered that fsync (on Linux and some BSD systems) may not work the way we always thought it is, with possibly disastrous consequences for data durability/consistency (which is something the PostgreSQL community really values). I'll walk you through fsync
Parallel Queryの概要
パラレルクエリの目的 EXPLAIN(実行計画)の見方 対応している操作 9.6 10 11 対応していない操作 読み込み専用 参考資料 PostgreSQLでは、バージョン9.6からパラレルクエリが利用可能です。Oracle、DB2でもパラレルクエリは実装されていますが、PostgreSQLのパラレルクエリはどのような特徴があるのでしょうか。簡単にパラレルクエリの概要を紹介します。 パラレルクエリの目的 パラレルクエリは、複数のCPUを使ってクエリを並列(Parallel)に処理する機能です。そのため、クエリの実行時間の短縮が期待できます。並行(Concurrent)とは異なるので注意。 EXPLAIN(実行計画)の見方 パラレルクエリが使われた場合の実行計画の読み方は注意が必要です。 まずは、パラレルクエリOFFの実行計画(ANALYZE, VERBOSE)。 =# explain (
GitHub - alash3al/sqler: write APIs using direct SQL queries with no hassle, let's rethink about SQL
Standalone with no dependencies. Works with most of SQL databases out there including (SQL Server, MYSQL, SQLITE, PostgreSQL, Cockroachdb) Built-in RESTful server Built-in RESP Redis Protocol, you connect to SQLer using any redis client Built-in Javascript interpreter to easily transform the result Built-in Validators Automatically uses prepared statements Uses (HCL) configuration language You can
AWS RDSでもDBAはparameterチューニングする - Qiita
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 弊社で某テック・リーダーの遺産として「PostgreSQL 運用管理トレーニング」が1月に実施されたのはまだ記憶に新しいところ。 あのときのリーダーの言葉、憶えているうちに書き留めておこう。 「Managed Service で RDB を使う時代になっても、この研修で扱う知識はDBAもApplication Engineerも持っておくべきだと信じて、企画し実現しました」 （この記憶はほんとうか？ 意訳や美化が入っているかもしれない） 事例の1つを共有しましょう。 担当プロダクトの背景事情 担当プロダクトで使っているPostgreSQ
PostgreSQLは20年間どのようにfsyncを間違って使っていたか - 聴講メモ -
TL;DR 聴講メモ Intro into durability PostgreSQLのCHECKPIONT CHECKPOINT中にエラーが発生したら？ fsyncへの2つの間違った期待 なぜ今になって問題が明らかになってきた？ そもそもなぜBufferd I/Oなのか？ どうやって直すかか 参考リンク 質疑 最後に 先日PostgreSQLの新しいマイナーバージョンがリリースされました。このマイナーリリースでメインとなる修正は「fsync周りのバグ修正」で、このバグは間違ったfsyncに対する間違った認識から約20年間存在してたバグということで注目されていました。 このバグについてPostgreSQLのコミッタ(Tomas Vondra氏)が解説しているセッションが、先々週開催されたFOSDEM 2019でありました。私もFOSDEM 2019に参加していたのですがその際は裏セッション
第2回 MyNA・JPUG合同DB勉強会 in 東京
関連記事など MySQLCasualのSlackはこちら http://mysql-casual-slackin.herokuapp.com/ PostgreSQLのSlackはこちらhttps://postgresql-hackers-jp.herokuapp.com/ 事前申し込み doorkeeper 主催 日本MySQLユーザ会 (MyNA) 日本PostgreSQLユーザ会(JPUG) 開催場所 東京都港区赤坂9-7-1 ミッドタウン・タワー ヤフー株式会社 11Fセミナールーム 会場の最寄り駅は次のとおりです。 東京メトロ日比谷線 他 六本木駅 [直線距離：240m] 東京メトロ千代田線 乃木坂駅 [直線距離：460m] 東京メトロ南北線 六本木一丁目駅 [直線距離：700m] 受付について ミッドタウン・タワー正面入口から1Fのメインロビーに入り、総合受付に向かっ
失敗から学ぶ RDBの正しい歩き方
2019年3月6日紙版発売 2019年2月27日電子版発売 曽根壮大 著 A5判／288ページ 定価3,014円（本体2,740円＋税10%） ISBN 978-4-297-10408-5 Gihyo Direct Amazon 楽天ブックス 丸善ジュンク堂書店 ヨドバシ.com 電子版 Gihyo Digital Publishing Amazon Kindle ブックライブ 楽天kobo honto 本書のサポートページサンプルファイルのダウンロードや正誤表など この本の概要 「データベースがよく落ちる」「前任者が残したテーブル，SQLが読み解けない」「RDBMSを入れ替えたら予期せぬバグが」――MySQLやPostgreSQLといったRDBMS（リレーショナルデータベース管理システム）を使った業務システム，Webサービスを設計・運用していると，こういった問題によく直面するのではないで
マイクロソフト、PostgreSQLベースの分散DBを開発するサイタスデータを買収
米マイクロソフト（Microsoft）は2019年1月24日（米国時間）、オープンソースソフトウエア（OSS）のリレーショナルデータベース管理システム（RDBMS）である「PostgreSQL」をスケールアウト可能にする技術を開発する米サイタスデータ（Citus Data）を買収すると発表した。買収金額は非公開。クラウドサービスの強化が狙いだ。 サイタスデータが開発するPostgreSQL拡張である「Citus」は、PostgreSQLをスケールアウトが可能な分散データベース（DB）に変える技術である。PostgreSQLの性能を拡張するには、より大きなサーバーを用意する「スケールアップ」を用いるのが一般的。それに対してCitusを使用すると、サーバーを増設することで性能を拡張する「スケールアウト」をPostgreSQLに適用できるようになる。 マイクロソフトの「Azure Data」担当
PostgreSQLのトラブルシュートとチューニング | Let's POSTGRES
NTT オープンソースソフトウェアセンタ 笠原 辰仁 この記事は、gihyo.jp & Let's Postgres 連動企画「今こそ！PostgreSQL」の第6回記事です。第6回目は、PostgreSQLのエラーメッセージや内部情報を見て、発生している問題の特定とその対策となるチューニングを紹介します。なお、トラブルの発生・予兆を適切に捕捉するためにも、ログの設定や稼動統計情報の監視をしておきましょう。 エラーメッセージについて トラブルと対策の前にエラーメッセージのレベルについて説明しておきます。PostgreSQLは複数のエラーレベルを影響範囲や深刻度によって使い分けています。エラーレベルそれぞれの解釈の仕方を下記の表にまとめてみました。 データベース管理者は、深刻な状況である PANIC と、性能情報を含む LOG レベルのメッセージに注意しましょう。一方、アプリケーション開発者
PostGISのインストール | Let's Postgres
農業・食品産業技術総合研究機構 近畿中国四国農業研究センター 寺元 郁博 はじめに 今回は PostGIS のインストール方法と、インストールが適正に行われたかをチェックする方法について説明します。 インストール方法には色々ありますが、今回は Windows 用の PostgreSQL インストーラに付属しているスタックビルダから入れる方法と、ソースからインストールする方法を紹介します。 スタックビルダを使ったインストール まず、PostgreSQL の本家 FTP サイトからインストーラをダウンロードします。 本記事では、PostgreSQL 8.4 を例にしています。 もし PostgreSQL がインストールされていなければ、こちらの記事を参考に PostgreSQL 本体をインストールしておきましょう。 また、pgAdmin III を入れておくと、データの操作や確認が簡単にできま
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
https://jp.techcrunch.com/2019/01/25/2019-01-24-microsoft-acquires-citus-data/
graphql-engine/community/tools/json2graphql at master · hasura/graphql-engine
OracleのSQLに欲しい13の他DBの機能 - Qiita
GuardianにおけるMongoDBからAmazon RDS上のPostgreSQLへの移行
dbcli
いまふたたびのJDBC - Qiita
