GitHub - MasahikoSawada/pg_simula: A database system failure simulation tool for PostgreSQLYou signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
PostgreSQL 10 Released
The PostgreSQL Global Development Group today announced the release of PostgreSQL 10, the latest version of the world's most advanced open source database. A critical feature of modern workloads is the ability to distribute data across many nodes for faster access, management, and analysis, which is also known as a "divide and conquer" strategy. The PostgreSQL 10 release includes significant enhan
進捗）SSD-to-GPU ダイレクトSQL実行機能 - KaiGaiの俺メモ
ここ暫くブログでまとめていなかった、SSD-to-GPUダイレクトSQL実行機能の進捗について。 この機能をかいつまんで言うと、NVMe-SSDに格納されているPostgreSQLのデータブロックをGPU RAMに直接転送し、そこでSQLのWHERE句/JOIN/GROUP BYを実行することで見かけ上のI/O量を削減するという代物である。 NVIDIAのTesla/Quadro GPUが対応するGPUDirect RDMA機能を使い、SSD<=>GPU間のデータ転送を仲介するLinux kernel moduleを使えば、CPU/RAMにデータをロードする前にGPU上での処理を行うことができる。 しばらく前からScan系の処理には対応していたが、JOIN/GROUP BYへの対応を加え、さらにPostgreSQL v9.6のCPU並列にも追従したということで、簡単なベンチマークなら取れる
GpuScan + SSD-to-GPU Direct DMA - KaiGaiの俺メモ
前回の動いた！SSD-to-GPU Direct DMA - KaiGaiの俺メモの記事では、Intel SSD 750とNVIDIA Quadro K1200を使って、Raw-I/OでのSSD-to-GPU Direct DMAが動くところまでを紹介した。 この時点で測定できたSSD-to-GPU Direct DMAのスループットは概ね1400MB/s程度で、VFS経由のスループット1100MB/sを約20%程度上回るものであった。 ただ、Quadro K1200のスペックは以下のようなもので、お世辞にもハイパフォーマンスを期待して使用するタイプのカードではない。*1 チップ GM107GL (CC5.0) CUDAコア数 512コア, 1000MHz メモリ容量 4GB GDDR5 メモリ帯域 80GB/s, 128bit という事で、同じくGPUDirect RDMAに対応した T
第7回 UberエンジニアがブログでPostgreSQLにダメ出し、PostgreSQLコミッター石井達夫氏に反論を聞く | gihyo.jp
IT Cutting Edge ─世界を変えるテクノロジの最前線 第7回UberエンジニアがブログでPostgreSQLにダメ出し、PostgreSQLコミッター石井達夫氏に反論を聞く デジタルディスラプションを象徴する企業として、いまこの瞬間も破竹の勢いで成長を続け、交通サービスの世界を大胆に塗り替えているUber。未上場ながらすでに企業価値は6兆円を超えているとも言われており、世界最大のユニコーン企業として、その動向はつねに注目されつづけています。 クラウドやビッグデータ分析、オープンソースなど、最先端のITをフル活用し、ごく短期間で劇的にビジネスを拡大させたUberに対しては、やはり技術者からの強い関心があつまります。現在、1200名を超えると言われるUberのエンジニアたちは何をどんな環境で使い、どう動かしているのか ―Uberのエンジニアリングチームが公開している技術ブログ「Ub
PostgreSQLアンチパターンの話をいっぱいしてきた。
見せてあげますよ、本当のPostgreSQLアンチパターンを。 とか言ってたわりに半分以上は削除フラグの話でした。 逆にそれが万人受けしたみたいでちょっとはてブいっぱい付いて承認欲求満たされました。 ということでスライドです。 190枚を超える超大作！！とか思ってたけど時間配分バッチシでした。 3回も実践すると3回目はアドリブ効かせたり出来て余裕がありました。 リハ大事ｗ で本題の伝えたいことですがあとがきツイートしてるのでまずそちらを。 なんか機能の資料みたら「PostgreSQLの便利な機能は使っちゃダメ」みたいな記事にいっぱいになるけどJSON型とマテビューはケースバイケースで積極的に使うもんじゃないよって話だし、ユニーク制約のWhere句とかは削除フラグ以外の時には便利ですよ。 — そーだい＠初代ALF (@soudai1025) 2015, 11月 29 .@soudai1025
PGroonga（ぴーじーるんが） 1.0.0リリース
PGroonga（ぴーじーるんが） 1.0.0リリース 今日は肉の日ですね！ PostgreSQLからGroongaを使えるようにするPGroongaの1.0.0をリリースしました！最初のメジャーリリースです！ PGroongaについて PGroongaはPostgreSQLを高速に日本語全文検索可能なシステムに拡張する魔法のような拡張機能です。PGroongaの他にも類似の拡張機能はありますが、速度・機能面で他の拡張機能とは一線を画しています。これはPGroongaはバックエンドにGroongaという本格的な全文検索エンジンを使っているためです。 速度面では類似の拡張機能であるpg_bigmよりも高速です。インデックス作成時間、検索時間ともに数倍から10倍以上高速です。 PostgreSQLで日本語全文検索 - LIKEとpg_bigmとPGroonga - ククログ(2015-05-2
【9.5新機能チェック】BRINインデックス, Part 1: BRINインデックスとは何か、その仕組みを探る
【9.5新機能チェック】BRINインデックス, Part 1: BRINインデックスとは何か、その仕組みを探る 既に試してみている方もおられるかと思いますが、7月2日にPostgreSQL 9.5 alpha1 がリリースされました。 PostgreSQL: PostgreSQL 9.5 Alpha 1 Released PostgreSQL 9.5 Alpha 1登場 | マイナビニュース PostgreSQL 9.5にはいろいろと新しい機能が追加されていますが、その中に「BRINインデックス」という機能があります。 最近、人と話すと「BRINってどうなのよ？」と話題になることが増えており、また直近では情報系システムのプロジェクトに参加することが多く、個人的にいろいろと期待している機能の一つだったりします。 というわけで、今回から3回連続で、この「BRINインデックス」について、その仕組
PGCon 2015 で計算機システムの性能評価について講演してきました - は
カナダのオタワ大学で開催されたPGCon 2015で、"The Art of Performance Evaluation" という題目で、計算機システム、とくにデータベースシステムに関する性能評価の基礎となる考え方と、基本となる3つの技能（モデリング、測定、シミュレーション）に関して講演を行ってきました。 PGConはPostgreSQL関係者の集う最もハイレベルなカンファレンスの一つで、世界中からPostgreSQLの主要開発者が集い、PostgreSQLの開発方針を議論したり、最新のPostgreSQLに関する技術動向が話し合われる場となっています。 PostgreSQLの開発や使い方など比較的具体論が取り扱われることが多い中、自分の講演はやや異色な発表ではありましたが、システムソフトウェアの開発において正しい性能評価の考え方を知ることは欠くことのできない重要な技能であるので、その点
Postgres Toolkit 0.2をリリースしました
本日、Postgres ToolkitというPostgreSQLのDBA向けツールキットをリリースしました。 http://www.github.com/uptimejp/postgres-toolkit/ https://postgres-toolkit-ja.readthedocs.org/ ■「Postgres Toolkit」とは何か Postgres Toolkitは、PostgreSQLの運用管理を楽にするためのスクリプトやツールのコレクションで、DBA業務の品質や生産性を高めることを目的としたツールキットです。 Postgres Toolkitを使うことで、複雑なSQLを実行したり、自前のスクリプトをメンテする必要性が減少します。コンセプトとしては、「PostgreSQL DBA向けのVictorinox（スイスアーミーナイフ）」のようなイメージです。 もともとは、私がトラブ
PostgreSQLの日本語対応全文検索モジュールpg_bigmとPGroongaを検証してみた - CreateField Blog
はじめに 最近、Web系のエンジニアに転職して、Railsをよく触っています。 Rails界隈では、HerokuかActiveRecordの関係かよくわかりませんがPostgreSQLが利用されていることが多いような気がします。 これまで個人的に全文検索のWebサービスを開発するためにGroongaとよく戯れていたのですが、最近はなかなか戯れることができていません。 最近になってRailsとPostgreSQLを触りはじめたという状況ですが、先日、PostgreSQLでGroongaが使えるPGroonga 0.20がリリースされたようです。 PostgreSQLで簡単に日本語対応で高速な全文検索が使えるようになるなんて素晴らしいじゃないですか。 最近はRailsの使い方ばっかり調べていて、若干知識欲が満たされない感があったので、PostgreSQLの知識向上がてら、PGroongaと、P
「PostgreSQL 9.4」がリリース、データ型にJSONBをサポート、GINインデックスの性能が改善
最新版では、新たなデータ型として「JSONB」（バイナリJSON）を追加しており、データストアのリレーショナル／非リレーショナルの選択は不要で、両方を同時に利用できる。JSONBは、高速なルックアップと、Generalized Inverted Indexes（GIN）を利用した簡易な検索クエリ記述をサポートし、JSONデータを一般的なデータベースと同等か、それ以上のパフォーマンスで扱える。さらに、テーブルとドキュメントの容易な統合を実現する。 ほかにも、複数マスタのPostgreSQLクラスタ作成をサポートする、双方向レプリケーションのように利用可能な、レプリケーションの読み取り／フィルタリング／操作に対応するAPIの提供を行う。また、レプリケーションスロットや時間差レプリカ、レプリカサーバにおける管理機能などの向上も行っている。 なお、GINインデックスの進化によって、インデックスサイ
(JP) GPGPUがPostgreSQLを加速する
2. 自己紹介 ▌名前: 海外 浩平 ▌所属： NEC OSS推進センター ▌好きなもの： コアの多いプロセッサ ▌嫌いなもの： コアの少ないプロセッサ ▌経歴: HPC OSS/Linux SAP GPU/PostgreSQL ▌Tw: @kkaigai ▌主な仕事 SELinux周り諸々 (2004~) •Lockless AVC、JFFS2 XATTRなど PostgreSQL周り諸々 (2008~) •SE-PostgreSQL、Security Barrier View、Writable FDWなど PG-Strom (2012~) DB Tech Showcase 2014 Tokyo; PG-Strom - GPGPU acceleration on PostgreSQL Page. 2 4. GPU (Graphic Processor Unit) の特
PostgreSQLのパラレル化に向けた取り組み@第30回(仮名)PostgreSQL勉強会
4. パラレル化って？ • definition of Parallel • (of lines, planes, surfaces, or objects) side by side and having the same distance continuously between them: parallel lines never meet | the road runs parallel to the Ottawa River. • definition of Concurrent • existing, happening, or done at the same time: there are three concurrent art fairs around the city. 出典：アメリカ英英辞典 on OS X Mavericks 4
PostgreSQL 9.4 検証報告 - SRA OSS, Inc. 日本支社
PostgreSQL 9.4 検証レポート 掲載日: 2014/08/11 2014 年リリース予定の PostgreSQL 9.4 の新機能について動作検証を行った結果について報告します。 PostgreSQL 9.4 では、バイナリ JSON データ型や GIN インデックスの性能向上、WAL 書き込みの性能向上、postgresql.conf 設定を変更する ALTER SYSTEM 構文、pg_prewarm 拡張モジュールなど、多くの機能追加や性能改善が行われています。本検証ではそれら新機能の追加に関する検証を、バージョン 9.4 beta 1 を用いて実施しました。 詳しくは、「PostgreSQL 9.4 検証レポート」(PDF形式/656KB/32ページ) をご覧ください。 本検証レポートの他にも多数の改善がなされており、それらは PostgreSQL 9.4 ドキュメント
もうひとつの「PostgreSQL Internals」技術文書が公開されました
最近、精力的にPostgreSQL関連の検証や技術情報の公開をしている日本HPさんから、「PostgreSQL Internals」という技術文書がPDFで公開されました。 日本HP ITサービス「HP OPEN SERVICES」 http://h50146.www5.hp.com/services/ci/opensource/ 上記ページの下の方に「PostgreSQLエンジニア向け！ストレージ内部構造および内部動作検証報告」というタイトルのPDFファイルをダウンロードすることができます。 PostgreSQLエンジニア向け！ストレージ内部構造および内部動作検証報告 http://h50146.www5.hp.com/services/ci/opensource/pdfs/PostgreSQL_Internals.pdf 章レベルで目次を抜き出すと以下のような内容になっています。 本文
Incoming PostgreSQL 9.4 次バージョンの新機能をご紹介
1. 1 Incoming PostgreSQL 9.4 2014-06-19 db tech showcase 大阪 2014 日本 PostgreSQL ユーザ会 関西支部支部長 宗近龍一郎 次バージョンの新機能をご紹介 2. 2 はじめに ● 本セッションでは・・・ ● 日本 PostgreSQL ユーザ会について ● PostgreSQL の現状について ● 今秋リリース予定の PostgreSQL 9.4 バージョンについ てお話します 3. 3 自己紹介 ● 宗近 龍一郎 ( ムネチカ リュウイチロウ ) といいま す ● 日本 PostgreSQL ユーザ会の関西支部の支部長 をしています ● 日本 PostgreSQL ユーザ会については後ほどご紹介を します ● 大阪にある株式会社あすかという会社で取締役副 社長をしています ● 会場から歩いて 10 分ほど。扇町公園の近
AmazonEC2＋Postgres-XCでDBクラスタリングを試してみる。 - Taste of Tech Topics
こんにちは。上田です。 最近DBクラスタリング周りの構築パターンとして、 AmazonEC2＋Postgres-XCを試してみたので、 その辺のところを書いてみようと思います。 プロジェクトでも分散環境の構築を行うことはありますが、 分散環境の構築は色々面倒な印象が強いです。 特に ・検証するのに複数マシンを確保しなければいけない。 ・分散環境の管理システムの設定に癖があり設定が大変。 そこで、 ・複数マシンリソースを簡単に確保 →AmazonEC2 ・DBクラスタリングを簡単に実現(すると私が思い込んでいる) →Postgres-XC を試してみることにしました。 構成は以下をイメージ。 Postgres-XC1.0.1の構成要素として以下を構築します。 gtm:各ノードのtransaction/タプル管理用 gtm_proxy：gtm通信用 coordinator：アプリケーションイン
Migrating from MySQL to PostgreSQL
About the only time when I will accept to work with MySQL is when you need help to migrate away from it because you decided to move to PostgreSQL instead. And it’s already been too much of a pain really, so after all this time I began consolidating what I know about that topic and am writing a software to help me here. Consider it the MySQL Migration Toolkit. Without further ado, here’s a little d
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
HP Blogs - ジェットエンジンで知恵熱をブッ飛ばす ～HPサーバーに初めて恋した - The HP Blog Hub