PostgreSQLでテストデータを作成する | Let's POSTGRES
笠原 辰仁 本記事は2013年のPostgreSQL Advent Calendar の 12/25 の記事です(地味なトピックになってしまいすいません)。PostgreSQLでのテストデータ作成に役立つ機能を紹介します。 はじめに PostgreSQLを対象としたの性能検証や機能検証を行う際に、開発環境や試験環境でスキーマ(テーブルやインデックス)を作成し、ダミーのデータを投入してSQLのチェックを行うことが多々あるかと思います。単純な機能の正常試験であれば少量のデータ投入で事足りると思いますが、大量のデータに対する検索処理やバッチ処理を試す際は、それなりの量の試験データを生成し、DBに投入する必要があります。 通常、試験データは、例えば専用のジェネレータを作る、実際のデータをマスキングしたものを使う、サンプルとして存在するデータ(郵便番号のデータなど)を利用する、といったことが多いと思
株式会社シャノン技術ブログ: 数百GBのPostgreSQLを一瞬でバックアップする方法
こんにちは、インフラ部門のYanaです。 本日は、弊社で利用しているPostgreSQLのバックアップ取得方法についてご紹介します。 弊社は、データベースにPostgreSQL8.4系を利用しています。 定期的なバックアップとして一般的なpg_dumpも利用していますが、 データベース容量が数100GBになると数時間バックアップ時間を要してしまいます。 通常はこのバックアップ時間でも問題ありませんが、サービスの運用上この時間を許容できないシーンがありました。 バージョンアップの作業時間を短縮することが目的 弊社では、3ヶ月に1回提供アプリケーションのバージョンアップが行われます。 その際に、作業内容によってはデータベースの変更が行われます。 万が一、作業で問題があった場合は作業前の状態にロールバックする必要があります。 そのため、メンテナンス画面を表示し、リクエストの遮断した後にデータベー
PostgreSQL 9.1 の新機能—Let's Postgres
PostgreSQL 9.1.0 が 2011年9月12日にリリースされました。 最新版のバイナリやソースコードは "ダウンロード用ページ" で配布されています。 9.1 では、9.0 で新規に採用されたレプリケーション機能の使い勝手の強化の他、外部のファイルや DB に直接アクセスできる SQL/MED や、拡張モジュールの管理機能など、さらなる強化が行われています。 互換性に関する注意 最初が注意になってしまいますが、以前のバージョンとの互換性の無い設定がデフォルトに変更されています。比較的多くのアプリケーションで問題になる可能性があるため、あえて強調して注意させてもらいます。 standard_conforming_strings のデフォルトが on に変更 standard_conforming_strings = on がデフォルトになりました。E'...' 形式でない文字列内
PostgreSQL: PostgreSQL 9.0 Beta 1 Now Available
The first beta release of PostgreSQL version 9.0 is now available. Version 9.0 is the first version of PostgreSQL to include built-in real-time binary database replication with query scale-out, consisting of two features, "hot standby" and "streaming replication". Combined with its other major features, this release will expand adoption of PostgreSQL by new users and in new types of applications.
PostgreSQL 8.4 の新機能 — Let's Postgres
NTT オープンソースソフトウェアセンタ 板垣 貴裕 2009年7月1日、PostgreSQL 8.4 がリリースされました。以前のバージョンから1年5ヶ月ぶりのリリースです。数多くの新機能が盛り込まれていますが、大まかに以下のカテゴリに分けて紹介します。今回は、応用SQL、大規模対応に引き続き、運用管理に関する新機能をご紹介します。 応用SQL 大規模対応 運用管理 その他の情報 その他の新機能 次のバージョンへ先送りされた機能 公式のリリースノートは PostgreSQL 8.4プレスキットを参照してください。ソースコードと各プラットホーム向けのバイナリもダウンロードできるようになっています。 応用SQLに関する新機能 応用SQLに関する機能では、特に「再帰SQL」と「Window関数」への対応が大きいでしょう。 PostgreSQL は標準SQLに良く準拠していると評価されることが多
PostgreSQL: PostgreSQL 8.4 Released: Now Easier to Use than Ever
The PostgreSQL Global Development Group has released version 8.4, continuing the rapid development of the world's most advanced open source database. This release contains an abundance of enhancements to make administering, querying, and programming of PostgreSQL databases easier than ever before. Our development team has spent 16 months adding over two hundred improvements to all aspects of datab
PostgreSQLを本当に高速化したい人のための10のポイント | 独り言v6
空気を読まずにPostgreSQLのを高速化する10のポイント - 象と戯れ -空気を読まずにPostgreSQLのを高速化する10のポイント - 象と戯れ - postgresqlグループ.の元エントリを読んで思うところがあったのだが、 PostgreSQLを高速化する16のポイント だからそんなせまっくるしいところでトンチンカンにdisる暇あるんだったら自分のブログでお好みの議論を書くかさもなきゃ/dev/nullにでも吐けとやんわりと言ってるんだよハゲ。 というわけでｗ。 だよねｗ。 まあ正直、上記元ネタのほうには色々突っ込みどころ満載なのだが、それは置いておくとしてL.starなりの高速化ポイントを一度書いておかないと、と思ったので記す。ただ、L.starはもうPostgreSQL界隈から離れて久しいので、必ずしも最新の内容を網羅していないことに注意されたし。また、出来るだけPos
Ywcafe.net
Ywcafe.net This Page Is Under Construction - Coming Soon! Why am I seeing this 'Under Construction' page? Related Searches: Free Credit Report music videos Migraine Pain Relief Best Mortgage Rates Credit Card Application Trademark Free Notice Review our Privacy Policy Service Agreement Legal Notice Privacy Policy
LinuxでPostgreSQLパフォーマンス向上
たとえばDebian packageをそのままもってくるとi486用のコードで 実行されることになる。自分の使っているマシン上でコンパイルすると CPU別に最適化してくれるので、数％から１０数％程度の高速化が期待 できる。 IDEのハードディスクを接続していてDMAが使えない状態だと極端に遅くなるの は当然である。が、しかし、たまに「LinuxのHDDアクセスは遅い」と騒いでい るのを見かけるので、一応、書いておく。 $ sudo hdparm -mcd /dev/hda /dev/hda: multcount = 16 (on) I/O support = 1 (32-bit) using_dma = 1 (on) using_dmaがonになっていれば良い。なっていなければ $ sudo hdparm -d 1 -c 1 -m 16 /dev/hda /dev/hda: settin
PostgreSQL安定運用のコツ :: handsOut.jp
スライド1: PostgreSQL安定運用のコツI/Oを制する者はRDBMSを制す日本PostgreSQLユーザ会永安 悟史 スライド2: アジェンダ• パフォーマンスと初期設定• データベースの監視• 性能劣化とメンテナンス• パフォーマンスチューニング(GUC編)• パフォーマンスチューニング(SQL編)• バックアップ&リカバリPostgreSQL安定運用のコツ 2 スライド3: (1)パフォーマンスと初期設定 スライド4: PostgreSQLの構成• さまざまなプロセス・メモリ領域・ファイルによって構成されるプロセス群メモリ群ファイル群postmaster(リスナプロセス)logger(サーバログ)設定ファイルpostgres(サーバプロセス)shared_buffers(共有バッファ)autovacuum(自動vacuum)テーブルファイルbgwriter(バックグラウン
PostgreSQL チューニング方法 - glxsのお気楽日記
色々と調べてみて一番分かりやすいサイトを参照して、PostgreSQLのチューニングを行った。 メインとなるのはメモリの割り当て調整。 DBシステムはどれだけメモリキャッシュから処理ができるかがポイントとなるので、 一番大変なshared_buffersのチューニング手順について明記する。 ※ちなみに参考したサイトはこちらになります。 Stray Penguin - Linux Memo (PostgreSQL-5) 1.運用テーブルの容量算出 まずは自分が使用しているDBユーザのIDを調べる。 ※以下のコマンドで#はSQLコマンド、$Linuxコマンドラインを表す。 #\c life_pv #SELECT usesysid FROM pg_user WHERE usename='postgres'; 調べたIDで保持しているテーブルが使用しているページ数を取得。 ページ数は通常8KBなの
MOONGIFT: » MySQL/PostgreSQL対応のデータベースフロントエンド「vFront」:オープンソースを毎日紹介
Webベースのデータベースフロントエンドとして有名なものはphpMyAdminだろう。だが開発の現場ではMySQLが利用されることもあれば、PostgreSQLが使われることもある（他のデータベースももちろんあるが）。その度にフロントエンドが異なるのは面倒だ。 管理画面 各種レポートの出力にも対応したこちらを使ってみるのはどうだろう。 今回紹介するオープンソース・ソフトウェアはvFront、細かな設定が可能なデータベースフロントエンドだ。 vFrontはPHPで作られたWebベースのデータベースフロントエンドだ。MySQLのみならず、PostgreSQLにも対応しているという特徴がある。さらにただデータベースのデータを全て編集できるという訳ではなく、テーブルを指定してCRUDを指定できるという利点がある。 テーブル構造確認 例えば修正されるとまずいテーブルや、見られることも問題があるテーブ
Database IDE | Aqua Data Studio - Database IDE | Aquafold
Why Aqua Data Studio? As the role of data in business continues to evolve, organizations need an efficient method to simplify complex, technical tasks and close the gap between IT and business teams. Working with multiple database platforms no longer has to be complicated. Streamline all your data management processes and tasks with Aqua Data Studio: a versatile and scalable database integrated de
LudiaFrontPage - Ludia Wiki
TypeError 'dict' object is not callable If you want to report a bug, please save this page and attach it to your bug report. Show debugging information Report bug Visit MoinMoin wiki Traceback A problem occurred in a Python script. Here is the sequence of function calls leading up to the error, in the order they occurred. /home/groups/l/lu/ludia/python/lib/python2.4/site-packages/MoinMoin/request.
OpenPNE の導入 - SNS 用 CMS の導入 [OpenPNE] - 鯖たま
What you get Expert curated premium domain name Professionally crafted logo design Guaranteed transfer or your money back Orange Signal: A bright name that grabs your attention. Possible uses: A food brand. A telecommunications company. An app. A security brand. A tracking service. A spy equipment brand. A music brand.
![OpenPNE の導入 - SNS 用 CMS の導入 [OpenPNE] - 鯖たま](https://cdn-ak-scissors.b.st-hatena.com/image/square/28c3f5493512a9266e9a152891b5b17f67dfbb7e/height=288;version=1;width=512/https%3A%2F%2Fwww.brandbucket.com%2Fsites%2Fdefault%2Ffiles%2Flogo_uploads%2F119103%2Fstamped_preview_w7.png)
[SQL] pgbench
pgbenchとはPostgreSQLのベンチマークテストに用いられるプログラムで、PostgreSQLとともに配布されています。 ここではそのpgbenchとベンチマークテストの概要について解説していきます。 pgbench INDEX ベンチマークテスト 1.1. ベンチマークテスト 1.2. SPEC 1.3. TPC pgbenchの導入 2.1. pgbenchとは 2.2. インストール pgbenchの使用方法 3.1. pgbenchの使用手順 3.2. オプション指定 データベースの初期化 4.1. データベースの初期化 4.2. スケーリングファクターの設定 ベンチマークテストの実行 5.1. ベンチマークテストの実行 5.2. 条件を指定してベンチマークテストの実行 PostgreSQL8.0とPostgreSQL8.1の性能比較 6.1. テスト方法 サーバーAの結
【PostgreSQLウォッチ】第23回 本当に速いPostgreSQL 8.1：ITpro
リリースされたばかりのPostgreSQL 8.1は，巷ではその高速性が話題になって いる。今回本格的なテストマシンを借りることができたので，PostgreSQL 8.0 に比べてどの程度高速化されたのか検証してみたい。 検証用に64ビット機を使用 検証に使ったハードウエアは Sun Microsystems社製の「Sun Fire V40z」とい う機種。CPUはAMDのOpteron，クロック2.2GHzで動作させているものを4個搭載 しているマルチCPUシステムだ(デュアル・コアではない)。メモリーは8GBを搭載，ハー ドディスクはUltra320のSCSIである。OpteronはPostgreSQLとの相性がよいと いう噂もあるので検証が楽しみだ。 使用したOSは，Miracle Linux 4.0の64ビット版。カーネルのバージョンは 2.6.9である。 PostgreSQL 8
dfltweb1.onamae.com – このドメインはお名前.comで取得されています。
このドメインは お名前.com から取得されました。 お名前.com は GMOインターネットグループ(株) が運営する国内シェアNo.1のドメイン登録サービスです。 ※表示価格は、全て税込です。 ※サービス品質維持のため、一時的に対象となる料金へ一定割合の「サービス維持調整費」を加算させていただきます。 ※1 「国内シェア」は、ICANN(インターネットのドメイン名などの資源を管理する非営利団体)の公表数値をもとに集計。gTLDが集計の対象。 日本のドメイン登録業者(レジストラ)（「ICANNがレジストラとして認定した企業」一覧（InterNIC提供）内に「Japan」の記載があるもの）を対象。 レジストラ「GMO Internet Group, Inc. d/b/a Onamae.com」のシェア値を集計。 2023年10月時点の調査。
PostgreSQLの今後 | gihyo.jp
11年目を迎えたPostgreSQL 2006年、トロントで盛大な誕生10周年記念サミットが開催されたPostgreSQLはいよいよ次の10年へと踏み出しました。筆者はPostgreSQLの誕生のころから開発に参加していますが、トランザクションログも副問い合わせも外部キーもなかった当初のPostgreSQLを考えると、現在のPostgreSQLはまったく別のソフトウェアのように思えるほどです。 今ではすっかり成長して大規模・ミッションクリティカルなシステムでも広く使われているPostgreSQLですが、2007年はどのような方向へ向かおうとしているのでしょうか？ レプリケーション、クラスタリングソリューションへの取組み 最近では、筆者のところで扱う比較的大型の案件のうち、半数以上が何らかの形でレプリケーションやHA(High Availability)ソリューションを採用しており、ますます
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
［PostgreSQLウォッチ］第26回 ボトルネックをビジュアルに分析するログ解析ツールpgFouine