PostgreSQL 10: Partitions of partitions!
PostgreSQL version 10 brings a much anticipated feature: (Native) Table Partitioning. (Emphasis on the NATIVE, PostgreSQL supported partitioning on previous versions by other means.) There are a few gotchas you have to keep in mind when using this new feature: No PK allowed; No ON CONFLICT clauses; etc… In my experience, these are all just slight annoyances, hardly a reason to not benefit from thi
パーティショニング : 用途と利点 | Let's POSTGRES
NTT オープンソースソフトウェアセンタ 板垣 貴裕 パーティショニングとはデータを複数に分割して格納することです。データを分割することにより、性能や運用性が向上し、故障の影響を局所化することができます。巨大なデータを扱う場合にはパーティショニング機能を利用することも検討してみてください。 この記事ではパーティショニングの概要と用途について説明しています。PostgreSQL での具体的な使い方については『パーティショニング : 使い方』を参照してください。 パーティショニングの用途 パーティショニングには大きく分けて「テーブル間の分割」「ノード間の分割」の2つがあります。この記事では主にテーブル間の分割を扱います。 テーブル間の分割 巨大なテーブルを複数のテーブルに分割します。単純に複数のテーブルに分けて格納するだけでも効果はありますが、PostgreSQL は複数のパーティションを1つ
PostgreSQL 10の Unlogged Table と Declarative Partitioning - Qiita
はじめに この記事は PostgreSQL Advent Calendar 2017 の5日目の記事です。昨日はvidaisukiさんの「Amazon Performance Insightsをとりあえず触ってみる」でした。モニタリングは大事ですよね。 本稿ではPostgreSQL 9.1で導入されたUnlogged TableとPostgreSQL 10で導入されたDeclarative Partitioning（宣言的パーティショニング）を組み合わせて使用する際の注意点などをご紹介します。 なお、本稿での動作確認にはRed Hat Enterprise Linux 7上のPostgreSQL 10.1を使用しています。 Unlogged Tableとは 最初に Unlogged Tableのおさらいをします。 ご存じのとおり Unlogged Tableはテーブルに対する書き込み処理の
PostgreSQLのチェックポイント処理のチューニング - Qiita
はじめに この記事は2ndQuandrant社の記事 Basics of Tuning Checkpoints を翻訳した内容です。 記事の内容を確認するため、翻訳しながら読んでました。 気になるのは、後半のcheckpoint_completion_targetのチューニングの話で、次のタイムアウトでの発火までの時間で、OSにはフラッシュの時間を2分残すというところ。 2分はOS側でダーティをフラッシュしてもらうことで、チェックポイントはそんなにいい効果があるのか。。。実機で確認したほうが早いかな。 チェックポイントのチューニングの基礎 大量の書き込みが行われるシステムのパフォーマンスでは、チェックポイントのチューニングが重要になってくる。ただ、その設定は難しくてユーザからは度々問い合わせが来ている。 チェックポイントとは そもそもPostgreSQLは全ての更新ログをWALというデータ
Pgpool-IIの簡単セットアップ機能を試してみよう(3) | Let's POSTGRES
自動縮退・フェイルオーバを試してみる pgpool-IIは、PostgreSQLが動いているかどうか監視しており、もしPostgreSQLがダウンした場合には自動的に切り離して(「縮退」と言います)、クラスタ全体として運用を継続できるようにします。また、単に縮退させるだけでなく、スタンバイサーバをプライマリに昇格させたりするようなフェイルオーバ処理を実行させることもできます。 まずはpgpool-IIが現在のPostgreSQLの状態をどのように認識しているか見てみましょう。 $ psql -p 11002 test psql (9.2.4) Type "help" for help. test=# show pool_nodes; node_id | hostname | port | status | lb_weight | role ---------+----------+----
【2018年】AWS全サービスまとめ その1（コンピューティング、ストレージ、データベース、移行、ネットワーキング ＆ コンテンツ配信）｜Developers.IO
【2018年】AWS全サービスまとめ その1（コンピューティング、ストレージ、データベース、移行、ネットワーキング ＆ コンテンツ配信） こんにちは。サービスグループの武田です。 この記事はAWS全サービスまとめ その1 です。 【2018年】AWS全サービスまとめ その1 コンピューティング ストレージ データベース 移行 ネットワーキング ＆ コンテンツ配信 【2018年】AWS全サービスまとめ その2 開発者用ツール 管理ツール メディアサービス 【2018年】AWS全サービスまとめ その3 機械学習 分析 セキュリティ、アイデンティティ、コンプライアンス 【2018年】AWS全サービスまとめ その4 モバイルサービス 拡張現実 (AR) とバーチャルリアリティ (VR) アプリケーション統合 カスタマーエンゲージメント ビジネスの生産性 デスクトップとアプリケーションのストリーミン
CPUの脆弱性、Linux関係者らの見方や対応
Steven J. Vaughan-Nichols （Special to ZDNET.com） 翻訳校正： 編集部 2018-01-05 14:57 Linuxは、プロセッサの脆弱性「Meltdown」「Spectre」の影響を緩和することはできるものの、Linux開発者たちがこの一件について不満を抱いていないわけではないだろう。Linuxカーネルの生みの親であるLinus Torvalds氏もLinuxカーネルのメーリングリスト（LKML）で以下のように述べている。 私は、Intel社内の人物が時間をかけて、自社CPUを厳しい目で精査する必要があると考えている。そして、すべてが設計通りに動作しているといった広報用の文章を作文するのではなく、問題があるという事実を実際に認める必要があるとも考えている。..またこのことは、問題を軽減するためのこれらパッチが「すべてのCPUがガラクタというわ
rubyci と bugs.r-l.o のデータベースを PostgreSQL 10 にした, hsbt.org が再起動していた - HsbtDiary(2018-01-04)
■ rubyci と bugs.r-l.o のデータベースを PostgreSQL 10 にした heroku から pg 10 を使えるようにしたよというメールが年末に来ていたので、仕事始めのリハビリついでに rubyci と bugs.r-l.o で使っている heroku pg を 9.x から 10.1 に upgrade した。以下が手順。 それぞれのアプリケーションの pg に follower を作成する heroku pg:info で DATABASE_URL を確認 follower を heroku pg:upgrade HEROKU_POSTGRESQL_CYAN でアップグレード(URL は適当に置き換えてください) heroku pg:wait で待機 アップグレードが完了したら heroku pg:promote HEROKU_POSTGRESQL_CYAN_
PostgreSQLでテストデータを作成する | Let's POSTGRES
笠原 辰仁 本記事は2013年のPostgreSQL Advent Calendar の 12/25 の記事です(地味なトピックになってしまいすいません)。PostgreSQLでのテストデータ作成に役立つ機能を紹介します。 はじめに PostgreSQLを対象としたの性能検証や機能検証を行う際に、開発環境や試験環境でスキーマ(テーブルやインデックス)を作成し、ダミーのデータを投入してSQLのチェックを行うことが多々あるかと思います。単純な機能の正常試験であれば少量のデータ投入で事足りると思いますが、大量のデータに対する検索処理やバッチ処理を試す際は、それなりの量の試験データを生成し、DBに投入する必要があります。 通常、試験データは、例えば専用のジェネレータを作る、実際のデータをマスキングしたものを使う、サンプルとして存在するデータ(郵便番号のデータなど)を利用する、といったことが多いと思
multi-column optimizer statistics - Qiita
はじめに にゃーん この記事は、PostgreSQL 10全部ぬこ Advent Calendar 2017 の25日目、最終日のエントリです。これで完走できた！ 最後のネタは検証が面倒くさそうで後回しにしていたmulti-column optimizer statisticsに挑んでみようかと。 この機能はなぜ必要だったのか PostgreSQLのプランナが実行計画を立てるときに、列単位にANALYZE処理背景で更新された統計情報を使うのだが、列同士の対応関係(多変量相関)は管理していないため、クエリによっては適切な実行計画を立てることができないケースがあった（たぶん）。 PostgreSQL 10での改善 PostgreSQL 10では列間の相関と、固有値の数の情報（拡張統計情報）を管理するための機能が追加された。また、その情報を使って、より適切な実行計画を生成できるようになった（はず
DBCLI
We value the diversity of our community. We strive to amplify the voices of the oppressed to eradicate racism and xenophobia. We ask our community to stand together in support of the Black community. #BlackLivesMatter Projects PGCLI Postgres Client MYCLI MySQL Client LiteCLI SQLite Client MSSQL-CLI MS SQL Server Client IRedis Redis Client ATHENACLI AWS Athena Client pgspecial Postgres meta command
クラウド時代にPostgreSQLはどう進化する？ 世界の"イシイサン"が「AWS re:Invent 2017」で示したPostgreSQLの方向性 | gihyo.jp
クラウド時代にPostgreSQLはどう進化する？ 世界の"イシイサン"が「AWS re:Invent 2017」で示したPostgreSQLの方向性 「今回、この場ですばらしいゲストをお迎えできることを心から嬉しく思う。18年にも渡ってPostgreSQL開発者として活動をされてきたPostgreSQLの世界的リーダーの"イシイサン"を紹介したい」―11月28日（米国時間）、米ラスベガスで開催されたAWSの年次カンファレンス「AWS re:Invent 2017」で行われたとあるセッション、そこでAWSのAmazon RDS/Aurora/RDS for PostgreSQL部門のゼネラルマネージャであるマーク・ポッター（Mark Potter）氏から呼ばれて登壇したのはSRA OSS, Inc 日本法人社長の石井達夫氏でした。本稿ではその石井氏によるセッション「Report fro
AWS Solutions Architect ブログ
AWS Black Belt Online Seminar「Amazon Aurora with PostgreSQL 」の資料およびQA公開 こんにちは、プロフェッショナルサービスの宮本です。 先日開催致しました AWS Black Belt Online Seminar 「Amazon Aurora with PostgreSQL」の資料を公開いたしました。当日参加者の皆様から頂いたQAの回答と併せてご紹介致します。 今後のAWS Black Belt Online Seminarのスケジュールは こちら です。皆様のご参加をお待ちしております。 【Q&A】 1. RDS for PostgreSQLのスナップショットから移行可能とのことですが、どのバージョンからでも移行可能でしょうか。 本資料のP.59に記載の通り、RDS for PostgreSQL 9.6.1 以降のバージョンか
Row Level Securityの変更 - Qiita
はじめに にゃーん この記事は、PostgreSQL 10全部ぬこ Advent Calendar 2017 の23日目のエントリです。 Row Level Security(RLS)とは Row Level Security(RLS)というのは、名前のとおり行レベルでの権限制御を行うもの。 RLSを使うことで、上の図にあるように、ユーザ別にアクセス可能な行を指定することが可能になった。 この機能はPostgreSQL 9.5から使えるようになった。 通常のデータベースオブジェクトに対する権限制御は、GRANT/REVOKEコマンドを使うが、RLSはCREATE/ALTER/DROP POLICYコマンドを使う。 「別にRLSを使わなくても、ユーザ別にVIEWを定義すれば同じようなことはできるんじゃあないか？」という話もあるが、RLSではポリシー定義という考え方で、操作別/ロール別に細かく
【初心者向け】PostgreSQLのダウンロード及びインストール方法
PostgreSQLはオブジェクト関係データベースと呼ばれるデータベース管理システムのひとつだ。これから、そのPostgreSQLのダウンロード及びインストール方法を紹介する。 まず行なうことは、PostgreSQLの公式サイト（URL: https://www.postgresql.org/）からインストーラーのダウンロードすることだ。 公式サイトのURLを開くと次の画面が表示される。 出典：PostgreSQL 公式サイトが表示されたら、ページの上の方にある項目の中からDownloadを選択する。 Downloadsページが表示されたら、Windowsのリンクをクリックする。 Windows installersページが表示されたら、「Download the installer」リンクをクリックする。 Download PostgreSQL画面が表示されたら、Select your
Postgresql - unable to drop database because of some auto connections to DB
Whenever I try to drop database I get the following error: ERROR: database "pilot" is being accessed by other users DETAIL: There is 1 other session using the database. When I use: SELECT pg_terminate_backend(pg_stat_activity.pid) FROM pg_stat_activity WHERE pg_stat_activity.datname = 'TARGET_DB'; I terminated the connection from that DB, but if I try to drop database after that somehow someone au
週刊Railsウォッチ（20171222）定番gemまとめサイト、active_record-mtiでテーブル継承、PostgreSQL 10の非互換変更点、Railsガイド攻略法ほか｜TechRacho by BPS株式会社
2017.12.22 週刊Railsウォッチ（20171222）定番gemまとめサイト、active_record-mtiでテーブル継承、PostgreSQL 10の非互換変更点、Railsガイド攻略法ほか こんにちは、hachi8833です。Ruby 2.5リリースまでもう少しです。 Rails勉強会@東京 第93回に初参加させていただきました。2年半ぶりの開催だったそうです。 お知らせ: 年末年始にかけて週刊Railsウォッチをお休みいたします: 次回は1月12日です。 今年最後のRailsウォッチ、いってみましょう。 Rails: 今週の改修 今週の更新情報は多めなので選別してみました。 セキュリティ関連ヘッダーを追加 commit: 5d7b70 Add secure X-Download-Options and X-Permitted-Cross-Domain-Policies
Transition Tableを使ってみる - Qiita
PostgreSQL Advent Calendar 2017の22日目の記事です。 Transition Tableとは Transition TablerはPostgreSQL 10から導入された新機能で、テーブル内容の変更差分を内部的なテーブルとして扱うことができる機能です。PostgreSQLのTransition Tableでは、トリガと連携しトリガ関数からテーブル内容の変更差分を利用することができます。 タイムトラベルしてみる Transition Tableを使って、テーブルの変更履歴を保存し任意の時間のテーブルの状態を取り出せるようにしてみます。Temporal Table的なものです。 2018/1/17 追記 Transition Tableは「Transition Tableとは」に記載したとおり、テーブルの変更差分を内部的なテーブルとして扱う機能であり、タイムトラベ
PostGISとは？ | Let's POSTGRES
農業・食品産業技術総合研究機構 近畿中国四国農業研究センター 寺元郁博 はじめに 本記事では、PostGISをインストールすること、格納したデータを図示すること、クエリを作ってみることと空間データがSQLで扱えること、をご紹介していきます。 また、地図を扱うという若干特殊な分野ですので、図示するためのソフトウェアも併用して実例を交えながらの記事としました。それでは、第1回目はPostGISの概要についてご紹介しましょう。 自己紹介 本編に入る前に、簡単に筆者の自己紹介をしておきます。農業や農作業に関係したソフトウェアを作ったりしています。随分前からPostgreSQLを使っていましたが、 地理空間情報を扱う必要がでてきたため、PostGISに手を染めました。 "http://www.finds.jp/" でサービス等を公開しております。PostGISについて、今回は入門的な記事を書いてみま
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
http://twitter.com/i/web/status/949836804454166528