［速報］「Greenplum Database」がオープンソースに。DWH向けMPPデータベース。Pivotalが発表
Pivotalは2月17日（日本時間2月18日午前4時）にオンラインイベントを開催。同社が提供するビッグデータ関連の3つのソフトウェア「GemFire」「HAWQ」「Greenplum Database」をオープンソースにすると発表しました。 GemFireはインメモリデータベース、HAWQはHadoop上でSQLのクエリを実行できるソフトウェア。 もっとも注目されるのがGreenplum Databaseです。これはもともとEMCが買収したデータウェアハウス向けのデータベースで、その後VMwareからスピンアウトしたPivotalのラインナップに移管されました。 Greenplum Databaseは多数のマシンに分散させたデータをシェアドナッシングのアーキテクチャにより大規模並列分散処理することで、ペタバイトクラスにまでスケールアウト可能な高性能データベースとされています。 Pivot
PostgreSQLのログをfluentdで回収する設定 - still deeper
PostgreSQLのログをfluentd経由で回収するようにしたので設定を晒しておきます。ほぼ同じ設定を使いまわせるはずなので、fluentd & postgresの組み合わせを使っている人はどうぞ。 PostgreSQL側 postgresql.conf postgresのログの設定はこんな感じ。 # csvlogを出力 logging_collector = on log_destination = 'csvlog,stderr' # 1日でローテーション log_rotation_age = 1440 # /var/log/pgsql/postgres-%Y%m%d.(log|csv)に出力 log_directory = '/var/log/pgsql/' log_filename = 'postgres-%Y%m%d.log' # modeを644に log_file_mode
PostgreSQL 9.xにおける日本語全文検索について調べてみた - longkey1's blog
調べた経緯 データベースの内容を全文検索したいという要望は定期的にあるので、常に情報は探しているんだけど、PostgreSQLに関しては調べたことなかったので色々調べてみた。 Senna Senna 組み込み型全文検索エンジン - Senna 組み込み型全文検索エンジン これがスタンダードだった時期もあるんだろうけど、結局PostgreSQL9.x系にインストール出来なかった。 textsearch_sennaを使って動かそうとしたんだけど、そもそも公式サイトで配布されている圧縮ファイルをダウンロードしても、ちゃんとインストール出来ない。 CVSでソースコードをダウンロードして・・・という手順だと動くとMLに書かれていたので、チャレンジしてみたけど結局ダウンロード出来なかった。 ダウンロード出来たとしても、Senna本体が2010年からリリースされてないみたいだから、はっきりいって今更感が
PostgreSQL 9.2の同期レプリケーションを利用する際の勘所
DBMSの可用性とPostgreSQLのレプリケーション 勤怠管理やERPなど会社内の業務に欠かせないシステムはもちろんのこと、SNSやECサイトなど個人で利用するシステムでも、何かしらのDBMSを利用をするのが一般的です。 もしDBMSで障害が発生した場合、データの参照・更新が滞り、システム全体として役割を果たすことができなくなります。そのためユーザが利用したいときにシステムを利用可能にするためにはDBMSが継続的に稼働していることがとても重要です。 世の中にはDBMSは多数存在し、またDBMSの可用性を上げる機能やツールなどもさまざまに存在します。OSSの代表的なDBMSの一つであるPostgreSQLには可用性向上機能の一つであるレプリケーションが用意されています。 今回は最新バージョンであるPostgreSQL 9.2のレプリケーションについて、機能の紹介、利用時の注意点、設定によ
XIDを周回させてみよう
CloudNativePGを動かしてみた！ ～PostgreSQL on Kubernetes～（第34回PostgreSQLアンカンファレンス@オンライ...
Sharding & IDs at Instagram
Welcome to the Instagram Engineering Blog, where we share insights on building and scaling our service. With more than 25 photos & 90 likes every second, we store a lot of data here at Instagram. To make sure all of our important data fits into memory and is available quickly for our users, we’ve begun to shard our data—in other words, place the data in many smaller buckets, each holding a part of
Largeobject Reworks - KaiGaiの俺メモ
数日前にTOASTメカニズムで書いたように、PostgreSQLの現在のLargeObjectの実装とTOASTメカニズムの仕組みは非常に似通っている。 まず、テーブル定義。TOASTテーブルとpg_largeobjectは非常に似通った構造を持っている。 pg_toast_%u ( chunk_id oid, chunk_seq int4, chunk_data bytea, unique(chunk_id, chunk_seq) ) pg_largeobject( loid oid, pageno int4, data bytea, unique(loid, pageno) ) データ構造が似ているという事はやっている事も似通っており、利用者から長大なデータが渡されると、これを固定長のチャンク/ページに分割してこれを保存する。 ラージオブジェクトの場合、loread()やlowrite
xlogdumpによるトランザクションログの解析 — Let's Postgres
アップタイム・テクノロジーズ合同会社 永安 悟史 この記事は、PostgreSQL Advent Calendar #13の12月13日の記事です。 今回は、「PostgreSQL内部解析の強化期間」ということですので、普段はあまり覗くことのないトランザクションログの中を覗いてみる方法を解説します。 もっとも、普段あまり気にすることはなくとも、PostgreSQLのトランザクションログはアーカイブログとして保存してリカバリに使われたり、または（ファイル単位ではなくレコード単位ですが）レプリケーションの際の通信にも使われるものですので、知っておいて損はないでしょう。 普段、ほとんど気にせず使っている機能の内部がどのようなデータ形式になっているのか、その理解の一助になれば幸いです。 はじめに PostgreSQLは、データを障害から保護するために、データへの更新情報を時系列にトランザクションロ
Microsoft PowerPoint - 運用事例に学ぶPostgreSQL_発表版_修正.ppt
運用事例に学ぶ PostgreSQL NTT OSSセンタ 勝俣智成 坂本昌彦 近藤光正 OSSセンタのご紹介 – 自己紹介を兼ねて OSSセンタ ①OSSトータルサポート OSSトータルサポート例 クライアント ②OSS適用推進 ③技術開発(DBMS、クラスタ開発) Webサーバ Apache UltraMonkey Tomcat JBoss PostgreSQL MySQL Heartbeat Amanda ④ソフトウェア基盤技術力向上 ⑤新規ビジネス検討 APサーバ DBサーバ アクティブ スタンバイ サポートサービス プロダクト提供 パッチ投稿 周辺ツール整備 OSSコミュニティ パッチ件数72件 (H21年度実績) 各種ツールOSS化 NTTグループ会社 業務アプリ ミドルウェア (OSS) OS (OSS) Copyright(c)2011 NTT
pg_reorg: Project Home Page
pg_reorg は PostgreSQL のテーブルを再編成するシェルコマンドです。 共有ロックや排他ロックを取得しないため、再編成中であっても行の参照や更新を行うことができます。 このモジュールは CLUSTER や VACUUM FULL コマンドのより良い代替になります。 この pg_reorg プロジェクトは PostgreSQL コミュニティによる pgFoundry の中のプロジェクトです。 ダウンロード : ソースコードのほか、Windows 用バイナリもダウンロードできます。 バグレポート メーリングリスト への参加 ドキュメント ドキュメントはこちら。 実行時間 pg_reorg とclusterdb の比較に示します。 断片化のないソートされた状態 (not fragmented) では clusterdb のほうが高速ですが、完全に断片化した状態 (fully fr
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GitHub - reorg/pg_repack: Reorganize tables in PostgreSQL databases with minimal locks
http://postgres-parts.herokuapp.com/
GitHub - omniti-labs/omnipitr: Advanced WAL File Management Tools for PostgreSQL
Incrementally Updated Backups - PostgreSQL wiki
Amazon Web Services – RDBMS in the Cloud: PostgreSQL on AWS
Efficient min/max over partitioned table - PostgreSQL wiki
https://wiki.postgresql.org/images/7/7f/Adam-lowry-postgresopen2011.pdf
404 Not Found
Slony-I
[pgsql-jp: 37724] Re: INDEXを残したまま大量データを高速に挿入したい