PostgreSQLでテストデータを作成する | Let's POSTGRES
笠原 辰仁 本記事は2013年のPostgreSQL Advent Calendar の 12/25 の記事です(地味なトピックになってしまいすいません)。PostgreSQLでのテストデータ作成に役立つ機能を紹介します。 はじめに PostgreSQLを対象としたの性能検証や機能検証を行う際に、開発環境や試験環境でスキーマ(テーブルやインデックス)を作成し、ダミーのデータを投入してSQLのチェックを行うことが多々あるかと思います。単純な機能の正常試験であれば少量のデータ投入で事足りると思いますが、大量のデータに対する検索処理やバッチ処理を試す際は、それなりの量の試験データを生成し、DBに投入する必要があります。 通常、試験データは、例えば専用のジェネレータを作る、実際のデータをマスキングしたものを使う、サンプルとして存在するデータ(郵便番号のデータなど)を利用する、といったことが多いと思
株式会社シャノン技術ブログ: 数百GBのPostgreSQLを一瞬でバックアップする方法
こんにちは、インフラ部門のYanaです。 本日は、弊社で利用しているPostgreSQLのバックアップ取得方法についてご紹介します。 弊社は、データベースにPostgreSQL8.4系を利用しています。 定期的なバックアップとして一般的なpg_dumpも利用していますが、 データベース容量が数100GBになると数時間バックアップ時間を要してしまいます。 通常はこのバックアップ時間でも問題ありませんが、サービスの運用上この時間を許容できないシーンがありました。 バージョンアップの作業時間を短縮することが目的 弊社では、3ヶ月に1回提供アプリケーションのバージョンアップが行われます。 その際に、作業内容によってはデータベースの変更が行われます。 万が一、作業で問題があった場合は作業前の状態にロールバックする必要があります。 そのため、メンテナンス画面を表示し、リクエストの遮断した後にデータベー
PostgreSQL 9.1 の新機能—Let's Postgres
PostgreSQL 9.1.0 が 2011年9月12日にリリースされました。 最新版のバイナリやソースコードは "ダウンロード用ページ" で配布されています。 9.1 では、9.0 で新規に採用されたレプリケーション機能の使い勝手の強化の他、外部のファイルや DB に直接アクセスできる SQL/MED や、拡張モジュールの管理機能など、さらなる強化が行われています。 互換性に関する注意 最初が注意になってしまいますが、以前のバージョンとの互換性の無い設定がデフォルトに変更されています。比較的多くのアプリケーションで問題になる可能性があるため、あえて強調して注意させてもらいます。 standard_conforming_strings のデフォルトが on に変更 standard_conforming_strings = on がデフォルトになりました。E'...' 形式でない文字列内
ER Master
<body> <span>このページはフレーム対応のブラウザでご覧ください。</span> </body>
Database.com
Connect all of your data for a unified view of your customer, no matter where it is. The Salesforce Platform allows you to deliver a unified view of your customer with powerful and easy-to-use data integration tools. Create a more engaged customer and employee experience with third-party data integration. With the Salesforce Platform you can bring together disparate systems — data that lives in ex
セールスフォース、無料で使えるクラウドデータベース「Database.com」を発表。Dreamforce '10
セールスフォース・ドットコムは12月7日（現地時間）、サンフランシスコで行われた同社のイベント「Dreamforce '10」の基調講演で、クラウド上にホスティングされたデータベースサービス「Database.com」を発表しました。 （基調講演の内容については、1つ前の記事「セールスフォース・ドットコム、企業向けマイクロブログ「Chatter」を無料化。フリーミアム戦略へ。Dreamforce'10」を参照してください） Database.comはビジネスアプリケーション向けのリレーショナルデータベースサービス。ブラウザからスキーマを自由に定義でき、障害時の自動フェイルオーバー、普段のバックアップ、ディザスタリカバリなどの運用をすべてクラウドに任せることができます。 しかも3ユーザー、10万件、月間5万トランザクションまでは無料で利用可能。 セールスフォース・ドットコムは、同社が以前から
Cassandra入門と、さらに詳しく知るためのリソース集
クラウド時代の新しいデータベースとして、非リレーショナルな構造を持つNoSQLデータベースが話題になっています（NoSQL＝Not Only SQL。命名の経緯はこちら）。そのNoSQLの中で、もっとも注目されているデータベースの1つがApacheのCassandraです。 Cassandraは、Facebookで大規模データ処理のために開発され、その後オープンソースとなり、現在ではApache Software Foundationのプロジェクトとして開発されています。 現在、CassandraはFacebookやDiggなどで使われている、もしくは使うことが検討されているとされ、Twitterでも（ツイートデータの格納には使われないようですが、それ以外の用途で）利用されています。 TwitterとDiggがNoSQLの「Cassandra」を選ぶ理由 Twitterが、Cassandr
怪異・妖怪画像データベース｜国際日本文化研究センター
Copyright (c)2010- International Research Center for Japanese Studies, Kyoto, Japan. All rights reserved.
PostgreSQL: PostgreSQL 9.0 Beta 1 Now Available
The first beta release of PostgreSQL version 9.0 is now available. Version 9.0 is the first version of PostgreSQL to include built-in real-time binary database replication with query scale-out, consisting of two features, "hot standby" and "streaming replication". Combined with its other major features, this release will expand adoption of PostgreSQL by new users and in new types of applications.
PostgreSQL 8.4 の新機能 — Let's Postgres
NTT オープンソースソフトウェアセンタ 板垣 貴裕 2009年7月1日、PostgreSQL 8.4 がリリースされました。以前のバージョンから1年5ヶ月ぶりのリリースです。数多くの新機能が盛り込まれていますが、大まかに以下のカテゴリに分けて紹介します。今回は、応用SQL、大規模対応に引き続き、運用管理に関する新機能をご紹介します。 応用SQL 大規模対応 運用管理 その他の情報 その他の新機能 次のバージョンへ先送りされた機能 公式のリリースノートは PostgreSQL 8.4プレスキットを参照してください。ソースコードと各プラットホーム向けのバイナリもダウンロードできるようになっています。 応用SQLに関する新機能 応用SQLに関する機能では、特に「再帰SQL」と「Window関数」への対応が大きいでしょう。 PostgreSQL は標準SQLに良く準拠していると評価されることが多
PostgreSQL: PostgreSQL 8.4 Released: Now Easier to Use than Ever
The PostgreSQL Global Development Group has released version 8.4, continuing the rapid development of the world's most advanced open source database. This release contains an abundance of enhancements to make administering, querying, and programming of PostgreSQL databases easier than ever before. Our development team has spent 16 months adding over two hundred improvements to all aspects of datab
PostgreSQLを本当に高速化したい人のための10のポイント | 独り言v6
空気を読まずにPostgreSQLのを高速化する10のポイント - 象と戯れ -空気を読まずにPostgreSQLのを高速化する10のポイント - 象と戯れ - postgresqlグループ.の元エントリを読んで思うところがあったのだが、 PostgreSQLを高速化する16のポイント だからそんなせまっくるしいところでトンチンカンにdisる暇あるんだったら自分のブログでお好みの議論を書くかさもなきゃ/dev/nullにでも吐けとやんわりと言ってるんだよハゲ。 というわけでｗ。 だよねｗ。 まあ正直、上記元ネタのほうには色々突っ込みどころ満載なのだが、それは置いておくとしてL.starなりの高速化ポイントを一度書いておかないと、と思ったので記す。ただ、L.starはもうPostgreSQL界隈から離れて久しいので、必ずしも最新の内容を網羅していないことに注意されたし。また、出来るだけPos
Ywcafe.net
Ywcafe.net This Page Is Under Construction - Coming Soon! Why am I seeing this 'Under Construction' page? Related Searches: Free Credit Report music videos Migraine Pain Relief Best Mortgage Rates Credit Card Application Trademark Free Notice Review our Privacy Policy Service Agreement Legal Notice Privacy Policy
LinuxでPostgreSQLパフォーマンス向上
たとえばDebian packageをそのままもってくるとi486用のコードで 実行されることになる。自分の使っているマシン上でコンパイルすると CPU別に最適化してくれるので、数％から１０数％程度の高速化が期待 できる。 IDEのハードディスクを接続していてDMAが使えない状態だと極端に遅くなるの は当然である。が、しかし、たまに「LinuxのHDDアクセスは遅い」と騒いでい るのを見かけるので、一応、書いておく。 $ sudo hdparm -mcd /dev/hda /dev/hda: multcount = 16 (on) I/O support = 1 (32-bit) using_dma = 1 (on) using_dmaがonになっていれば良い。なっていなければ $ sudo hdparm -d 1 -c 1 -m 16 /dev/hda /dev/hda: settin
PostgreSQL安定運用のコツ :: handsOut.jp
スライド1: PostgreSQL安定運用のコツI/Oを制する者はRDBMSを制す日本PostgreSQLユーザ会永安 悟史 スライド2: アジェンダ• パフォーマンスと初期設定• データベースの監視• 性能劣化とメンテナンス• パフォーマンスチューニング(GUC編)• パフォーマンスチューニング(SQL編)• バックアップ&リカバリPostgreSQL安定運用のコツ 2 スライド3: (1)パフォーマンスと初期設定 スライド4: PostgreSQLの構成• さまざまなプロセス・メモリ領域・ファイルによって構成されるプロセス群メモリ群ファイル群postmaster(リスナプロセス)logger(サーバログ)設定ファイルpostgres(サーバプロセス)shared_buffers(共有バッファ)autovacuum(自動vacuum)テーブルファイルbgwriter(バックグラウン
PostgreSQL チューニング方法 - glxsのお気楽日記
色々と調べてみて一番分かりやすいサイトを参照して、PostgreSQLのチューニングを行った。 メインとなるのはメモリの割り当て調整。 DBシステムはどれだけメモリキャッシュから処理ができるかがポイントとなるので、 一番大変なshared_buffersのチューニング手順について明記する。 ※ちなみに参考したサイトはこちらになります。 Stray Penguin - Linux Memo (PostgreSQL-5) 1.運用テーブルの容量算出 まずは自分が使用しているDBユーザのIDを調べる。 ※以下のコマンドで#はSQLコマンド、$Linuxコマンドラインを表す。 #\c life_pv #SELECT usesysid FROM pg_user WHERE usename='postgres'; 調べたIDで保持しているテーブルが使用しているページ数を取得。 ページ数は通常8KBなの
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
ソーシャルゲームログ解析基盤のMongoDB活用事例
IDEA * IDEA
GitHub - livedoor/cicindela2: a highly customizable recommendation engine written in perl + MySQL
［PostgreSQLウォッチ］第26回 ボトルネックをビジュアルに分析するログ解析ツールpgFouine
