タグ

postgresqlに関するpgsqlのブックマーク (46)

  • Grass on SQL - 分け入ってもコード

    Overview ちょっと草植えときますね型言語 GrassをSQLで実装しましたという話. Grassはλ計算をベースにした関数型プログラミング言語です.公式ページの仕様を元にSQL(PostgreSQL)で実装しました. 他Grassについては上記の公式ページとかここら辺を参照. プログラミング言語/Grass - プログラミングスレまとめ in VIP うはwww Mosh で Grass 実装したwwww - Higepon’s blog - Mona OS and Mosh Example 1 2 3 4 5 6 7 8 9 10 11 12 13 14 SELECT run_grass('wwWWwv wwwwWWWwwWwwWWWWWWwwwwWwwv wWWwwwWwwwwWwwwwwwWwwwwwwwww'); run_grass ----------- ww (1 r

    pgsql
    pgsql 2012/03/07
    ほむほむほむ
  • PostgreSQLカンファレンス2012参加レポート | Everyday Deadlock

    2012年3月24日に日PostgreSQLユーザ会主催で開催されたPostgreSQLカンファレンス2012に参加してきました。 各講演の立ち入ったレポートに関しては方々のブログで紹介されることを期待して、ここでは主に会議の全体感に関してレポートしたいと思います。 このカンファレンスはオフィシャルサイトにあるように技術的な話題を中心として、PostgreSQLに関する導入事例や技術的な話題を提供するためのカンファレンスです。 昨年度の参加者約180名に対して今年度は275名(関係者含む)ということで、日におけるPostgreSQLのユーザ層の広がりを感じさせます。 特にこの数年はビジネスとしてこのカンファレンスに参加する方も増えているそうで、業務用途としてのPostgreSQLの利用が広まっていることを示しているのではないかと思われます。 Linuxの急速な普及をきっかけとして、今や

  • しゅとろ〜む、しゅとろ〜む - KaiGaiの俺メモ

    昨年、オタワでTim Child氏の発表を聞いて以来、実装できないものかと思って暖めていたアイデアがある。GPUの処理能力を使って、PostgreSQLの検索処理を高速化できないか?というものである。 特に複雑な計算を含むクエリの場合、Index-Scanに落ちないで、全件スキャンが走ることが往々にしてあるが、こういったケースで有効に作用するのではなかろうか?という着想である。 クリスマス休暇の間、割とまとまった開発時間を取る事ができたので、PostgreSQLのFDW(Foreign Data Wrapper)として動作するモジュールを作成してみた。 モジュールの名前は PG-Strom で、ドイツ風に『しゅとろ〜む』と発音する。 これは GPU の処理単位である Streaming Multiprocessor に由来する。 もちろん、現状のFDWのI/F前提なので、更新は不可能でソー

    しゅとろ〜む、しゅとろ〜む - KaiGaiの俺メモ
    pgsql
    pgsql 2012/01/06
    GPU-FDW
  • PostgreSQL 9.1 COPY vs pg_bulkload - 日々の記録 別館

    先々週の続き。 今度はpg_bulkloadとCOPY処理の比較という観点で測定してみた。 測定環境と測定内容 測定環境は前回・前々回と同じ。 ロードデータ:2592000件のXML文字列(ファイルサイズ約1GB) データファイルとPostgreSQLデータベースクラスタは別Disk 比較対象:以下の組み合わせ XML型/TEXT型 通常テーブルへのCOPY/UNLLOGEDテーブルへのCOPY/pg_bulkload(通常モード)/pg_bulkload(並列モード) 測定結果 XML型 TEXT型 通常テーブルへのCOPY 58126.714 22930.184 UNLLOGEDテーブルへのCOPY 47997.477 14488.658 pg_bulkload(通常モード) 42734.223 9653.667 pg_bulkload(並列モード) 38335.477 9534.59

    PostgreSQL 9.1 COPY vs pg_bulkload - 日々の記録 別館
    pgsql
    pgsql 2011/12/27
    vs. UNLOGGED TABLE
  • The patch for Index Only Scan committed - spitz2bassの日記

    PostgreSQL9.2での新機能になるであろうIndex Only Scanがコミットされました。 アプリケーション+しくみ分科会でExplainingExplainを担当した身として とても気になる機能追加ですのでフライング気味ですがRobert Hassのblogを 追ってみました。 1.そもそもIndex Only Scanとは? PostgreSQLのデータアクセス方法はおおまかに3種類あります。 ・テーブルに直接アクセスするSeq Scan. ・インデックスにアクセスし、その後テーブルを参照するIndex Scan. ・論理計算が得意なビットマップを使って表に上手にアクセスするBitmap Scan. ※2011年6月4日しくみ分科会で発表された中西さんの資料が分かりやすいです。 今回、ここに新たなスキャン方法が加わることになります。 2.Index Only Scanとは

    The patch for Index Only Scan committed - spitz2bassの日記
  • IBM Systems Energy Estimator

    On-premises IT for hybrid cloud Keep your business and data protected and resilient across hybrid IT – even during disruption. Enterprise AI infrastructure Infuse AI and automation with your business transformation and data strategy. IT infrastructure modernization Modernize apps, servers and storage in place to integrate seamlessly with hybrid cloud and AI. Unlock innovation today As the digital

    IBM Systems Energy Estimator
    pgsql
    pgsql 2011/12/17
    ミドルウェア込ハードウェア
  • 2大オープンソースRDBMSの近未来が見えた!(1/2) - @IT

    オープンソースDBMSのコミュニティが一堂に会し、それぞれの技術について発表し合う「オープンソースカンファレンス 2011.DB」。MySQLとPostgreSQLの2大DBMSの将来像を探った。(編集部) 2011年11月5日、オラクル青山センターにてオープンソースカンファレンス2011.DBが開催された。話題をデータベースに限定してオープンソースカンファレンスを開催したのは、2008年6月以来3年ぶり。イベントではコミュニティを代表するメンバーが各製品の近況や概要を解説した。商用製品のオフィシャルなセミナーと違い、聴衆が仲間であったり、関連コミュニティのメンバーであったりするので、勉強会のように打ち解けた雰囲気で進んでいく。記事ではPostgreSQLMySQLのセッションを中心に紹介する。 9.1では同期レプリケーションまで進化 最初のセッションで登壇したのは日PostgreS

  • 削除フラグのはなし

    Query Optimization with MySQL 5.7 and MariaDB 10: Even newer tricksJaime Crespo

    削除フラグのはなし
  • 株式会社シャノン技術ブログ: 数百GBのPostgreSQLを一瞬でバックアップする方法

    こんにちは、インフラ部門のYanaです。 日は、弊社で利用しているPostgreSQLのバックアップ取得方法についてご紹介します。 弊社は、データベースにPostgreSQL8.4系を利用しています。 定期的なバックアップとして一般的なpg_dumpも利用していますが、 データベース容量が数100GBになると数時間バックアップ時間を要してしまいます。 通常はこのバックアップ時間でも問題ありませんが、サービスの運用上この時間を許容できないシーンがありました。 バージョンアップの作業時間を短縮することが目的 弊社では、3ヶ月に1回提供アプリケーションのバージョンアップが行われます。 その際に、作業内容によってはデータベースの変更が行われます。 万が一、作業で問題があった場合は作業前の状態にロールバックする必要があります。 そのため、メンテナンス画面を表示し、リクエストの遮断した後にデータベー

    株式会社シャノン技術ブログ: 数百GBのPostgreSQLを一瞬でバックアップする方法
    pgsql
    pgsql 2011/10/17
    warm-standbyによるバックアップ
  • PostgreSQLは標準でバックスラッシュをエスケープしない仕様になった

    PostgreSQL9.1の仕様変更にて、デフォルト時の設定として、standard_conforming_stringsがonとみなされるようになりました。この仕様変更により、デフォルト設定でのPostgreSQLは、バックスラッシュをエスケープする必要がなくなり、ISO規格のSQLと同様のエスケープルール(シングルクォートを重ねるのみ)となります。 PostgreSQLの文字列リテラルは、元々MySQL同様に、バックスラッシュをエスケープする仕様でした。その後、リリース8.1にて、設定パラメータ standard_conforming_strings が追加され、この値が on の場合、バックスラッシュをエスケープしない(ISO規格と同様の)仕様となりました。従来のリリースでは、standard_conforming_stringsを指定しない場合offとみなされていました。これは、後

  • PostgreSQL 9.1 の新機能—Let's Postgres

    PostgreSQL 9.1.0 が 2011年9月12日にリリースされました。 最新版のバイナリやソースコードは "ダウンロード用ページ" で配布されています。 9.1 では、9.0 で新規に採用されたレプリケーション機能の使い勝手の強化の他、外部のファイルや DB に直接アクセスできる SQL/MED や、拡張モジュールの管理機能など、さらなる強化が行われています。 互換性に関する注意 最初が注意になってしまいますが、以前のバージョンとの互換性の無い設定がデフォルトに変更されています。比較的多くのアプリケーションで問題になる可能性があるため、あえて強調して注意させてもらいます。 standard_conforming_strings のデフォルトが on に変更 standard_conforming_strings = on がデフォルトになりました。E'...' 形式でない文字列内

  • PostgreSQL 9.1登場、同期レプリケーション導入 | エンタープライズ | マイコミジャーナル

    PostgreSQL - The world's most advanced open sorce database PostgreSQL開発グループは9月11日(オーストリア時間)、最新安定版となる「PostgreSQL 9.1」を公開した。ほぼスケジュール通りにリリースが実施されたことになる。 PostgreSQL 9.1はさまざまな新機能が実装されたバージョンで、特にエンタープライズ用途で必要とされる長らく導入が期待されていた機能群が実装されているところが注目点となる。 PostgreSQL 9.1の主な特徴は次のとおり。 複数のサーバにおいてデータの一貫性と高い可用性を実現する同期レプリケーション。 カラムにロケールを指定して整列の順序を制御する機能。 パフォーマンスを引き上げるためのログを取らないテーブル機能。 高速処理を実現するためのk近似法(K-Nearest-Neighbo

    pgsql
    pgsql 2011/09/15
    ニュース集め
  • http://japan.internet.com/webtech/20110915/2.html

    pgsql
    pgsql 2011/09/15
    ニュース集め
  • 第20回しくみ+アプリケーション勉強会(2011年3月12日) — NPO法人 日本PostgreSQLユーザ会

    PostgreSQLのしくみ分科会+アプリケーション分科会では、以下の要領で勉強会を開催します。 日時 2011年3月12日(土曜日) 受付開始 14:10 講演開始 14:20 場所 産業技術大学院大学秋葉原サテライトキャンパス(千代田区外神田 1-18-13 秋葉原ダイビル 12 階) 開催趣旨 今回もDBエンジニアだけでなくアプリケーションエンジニアにもご興味を持って頂けるよう、 動作原理から応用まで、多面的にPostgreSQLを掘り下げていきます。 "Explaining EXPLAIN"は3回講演の第2回目で、テーブル結合などいよいよ佳境に入っていきます。 原田登志氏にはPostgreSQLでKVS的なデータ管理を行うhstoreについて、邦初の解説をお願いしました。 開発サイクルが速く技術フォローが難しいPostgreSQLの全文検索について、開発者である板垣氏ご人に全

  • PostgreSQLの現状と次期バージョン9.1の新機能。MySQL Conference & Expo 2011

    PostgreSQLの現状と次期バージョン9.1の新機能。MySQL Conference & Expo 2011 米サンタクララで4月11日から13日にかけて行われたイベント「MySQL Conference & Expo 2011」では、オープンソースのデータベースであるPostgreSQLについてのセッションもいくつか行われています。 PostgreSQLは、記事で紹介するセッションにも登場するPostgreSQLをベースとしたOracle互換のデータベースを開発しているEnterpriseDBが積極的に関与していることもあり、MySQLに比べるとエンタープライズ用途にフォーカスして進化しているようです。 PostgreSQLの現状と次期バージョンを紹介したセッション「The State of the Elephant」の模様を紹介しましょう。 PostgreSQLの利点とは? P

    PostgreSQLの現状と次期バージョン9.1の新機能。MySQL Conference & Expo 2011
  • パフォーマンス記録ツール「pg_statsinfo」を使ってみた - MATSU’s vision

    データベースを運用するときに 何をどのくらい使って、来年はどんな感じになっているかを 客観的に見る事ができればとても安心です。 客観データといえば、大量の数値データなのですが 滝のように流れる数字を追いかけてると 「映画にでてくるハッカーみたい!」と あこがれのまなざしで見つめられたりもするのですが この作業は美容に悪い事・・・うけあいです。 そこで、大量の数字はグラフにして さっと見てぱっと判断できるようにしておきます。 以前はデータでおろしてExcel等でグラフ化していましたが さらにこれもポチっとなーでグラフ一覧が見れるように。 世間の進化ってありがたいものですね。 さて今回は、PostgreSQLに初挑戦! pg_statsinfo というツールを使ってみました。 いろいろ収集してくれて、グラフの追加にカスタムもできるという コレクター垂涎の逸品のようですよ。 pg_statsin

    パフォーマンス記録ツール「pg_statsinfo」を使ってみた - MATSU’s vision
  • OSS-DB技術者注目の資格試験がやって来る(1/2) - @IT

    今月はオープンソースソフトウェアとデータベースに関する新しい資格試験、オラクルが新たに提供を始めたツール、そしてパフォーマンスチューニングの勉強会についてレポートします。 オープンソースデータベースの新試験登場 前回、データベース関連の技術者試験を一挙に紹介したばかりですが、さらに新しい試験が登場することが分かりました。オープンソースソフトウェアとデータベースを組み合わせた新しい試みです。 Linux技術者認定試験「LPIC」を実施しているLPI-Japanは2月1日、オープンソースデータベース試験の開発を始めたと発表しました。 試験の名称(仮称)は「オープンソースデータベース技術者認定試験(OSS-DB Exam)」です。初級向けの「Silver」と上級向けの「Gold」という2段階の試験を用意する予定で、試験配信および認定の開始は2011年7月の予定。試験センターで受験するCBT(Co

    pgsql
    pgsql 2011/02/17
    PostgreSQLは試験を作ってくれる人材が集まるのだけど、MySQLは人がいないのですよ。
  • 第20回しくみ+アプリケーション勉強会(2011年3月12日) — NPO法人 日本PostgreSQLユーザ会

    PostgreSQLのしくみ分科会+アプリケーション分科会では、以下の要領で勉強会を開催します。 日時 2011年3月12日(土曜日) 受付開始 14:10 講演開始 14:20 場所 産業技術大学院大学秋葉原サテライトキャンパス(千代田区外神田 1-18-13 秋葉原ダイビル 12 階) 開催趣旨 今回もDBエンジニアからアプリケーションエンジニアまでご興味を持って頂けるよう、 動作原理から応用まで、多面的にPostgreSQLを掘り下げていきます。 "Explaining EXPLAIN"は3回講演の第2回目で、テーブル結合などいよいよ佳境に入っていきます。 原田登志氏にはPostgreSQLでKVS的なデータ管理を行うhstoreについて、邦初の解説をお願いしました。 開発サイクルが速く技術フォローが難しいPostgreSQLの全文検索について、開発者である板垣氏ご人に全2回の

    pgsql
    pgsql 2011/02/04
    (1)Explaining EXPLAIN (2)KVS;hstoreを使って (3)組み込みの全文検索
  • PythonでPostgresqlに大量のデータをINSERTしてみた

    Python2.xでPostgresqlに大量データのInsertを試みました。 まず、SqliteやMongodbとかでやったときとの違いとしては選択出来るDriverが多いのです。 ①ocpgdb1.0.3 ②psycopg2-2.3.2 ③PyGreSQL4.0 ④pg8000-1.08 ドライバの版数は直近のものです。どれがいい・・というのは特には無さそうです。しかし、Installしてみると、④以外は全てErrorとなりました。コンパイルでエラーになるというのが共通です。何だかなー。因みに環境はFedora13+Python2.6.4+Postgresql9.0です。 サンプルみたいなものはあんまりWeb上には無いので、Manualを読みながらやってみました。 #!/usr/bin/env python import csv from pg8000 import DBAPI im

  • ストリーミングレプリケーションと pgpool-II の組み合わせ、簡単設定法

    Last modified: Mon Nov 8 11:34:34 JST 2010 ストリーミングレプリケーションとpgpool-IIの組み合わせ、簡単設定法 概要 このチュートリアルでは、ストリーミングレプリケーションとpgpool-IIの組み合わせを誰でも簡単に試せる方法を説明します。 必要なのはLinuxが動くマシン1台のみです。このマシンに、PostgreSQLのインスタンスを2つ、pgpool-II、pgpoolAdminを全部インストールしてしまいます。 この設定は非常に単純なものですが、それでもPostgreSQL 9.0自体に不足している以下のような機能を実現できます。 自動フェイルオーバ。 もし2台のPostgreSQLのうち1台がダウンしたら、pgpool-IIは自動的に残ったPostgreSQLが役割を引き継いでアプリケーションに対してデータベースサービスを継続させ