PostgreSQL Advent Calendar終了 - 日々の記録 別館
12/1から12/25までの間に開催されていたPostgreSQL Advent Calendar : ATNDが終わりました。 最初のほうのエントリがリンクになっていなくて面倒なので、ここでリンク付きの一覧にしちゃおう。 Author Title choplin SQLで素因数分解をする - Project Euler #3 - 分け入ってもコード umitanuki Heroku Postgresを触ってみた PostgreSQL Advent Calendar #2 - 象と戯れ - postgresqlグループ itagaki.takahiro SELECT * FROM Web-API : PostgreSQL Advent Calendar #3 - PostgreSQL 雑記 - postgresqlグループ KaiGai.Kohei 2011-12-04 kasahara.
PostgreSQL 9.1でのパーティション全体のソートの最適化
「PostgreSQL Advent Calendar」23日目です。 PostgreSQLにはパーティショニングテーブルというものがあります。今日はそのお話。 「カラム定義が同じ複数のテーブルに、データを分割して格納できる」機能といいますか、「テーブルに親子関係を持たせられる」といいますか、詳しくは、Let's PostgreSQLを参照。（丸投げ） 拙作「ふぁぼるっく」では、バックエンドのデータベースとしてPostgreSQLを採用しています。Twitterのつぶやきデータが大量に貯まり、SSDに載りきらないため、新しいデータはSSD上のテーブルスペース、古いデータはHDD上のテーブルスペースと分けて保存しています。 そこで検索は横断的にやりたいということで、パーティショニングテーブルを使っています。 しかし、どうにも重たい。要求は新しいもの順で表示するので、SSDだけにアクセスし、デ
[PostgreSQL] 知らないと損！コメントに関するtips３つ · DQNEO日記
テーブルやカラムにコメントを設定する CREATE TABLEするときに、一緒にコメントを設定しておくとハッピーになれます。 COMMENT ON TABLE members IS '会員テーブル'; COMMENT ON COLUMN members.id IS '会員ID'; コメントでは改行コードを含めることができます。 これを使うと、説明的な長いコメントを書くことができます。 ドキュメントをエクセルで残すよりも実用的なのでオススメです。 COMMENT ON TABLE members IS E'会員テーブル\n会員情報を格納するテーブルです。\n使い方はほげほげで、ふがふがに注意してください'; テーブルやカラムのコメントを見る 設定したコメントは、phpPgAdminやpgAdmin等で閲覧できます。 psqlで見るときは下記のようにします。 カラムのコメントを見る mydb=
SQLFeatureNotSupportedException - JDBC4.0 API の中で未実装のもの - 職業プログラマの休日出勤
PostgreSQL Advent Calendar 2011 24日目の記事です。飛び入り参加しました。 この記事の主題はPostgreSQLのJava言語向けクライアントインタフェースである、JDBC Driverです。「今さらJavaですか？」という声も聞こえてきそうですが、まだまだ多くの場所で使われていると思うので、敢て取り上げたいと思います。 2011年、「今年の漢字」として「絆」が選ばれたこともあり、PostgreSQLとプログラムとの絆を実現するドライバの話題は今年に相応しい、ですよね？ JDBC4.0 JDBCとは、Java言語環境から各種データベースへ接続するためのAPIです。各データベース製品は、このJDBCの仕様に従ってドライバを実装して提供することにより、Javaプログラムから簡単に接続してもらうことが可能になります。 このJDBCのバージョン4.0は2006年11
postgresqlを使った位置情報の計算について その２
PostgreSQL Advent Calendar 201118日目を担当します@soudai1025です。 先日はスーパーエンジニア石井達夫さん の鋭意開発中！pgpool-IIのオンメモリクエリキャッシュ機能でした。 そんなわけで本日の内容ですが実ははslonyとPostgreSQL9.0から実装されたレプリケーションの話をしようかなと思ったのですが 第 1 回 Slony-I を使用したシステム構築『Slony-Iを動かしてみよう』などがとても素晴らしい資料が豊富なので断念しました。 PostgreＳＱＬは日本語ドキュメントが豊富なのがいいところですよね。 なので昔にちょっとエントリーをかいたことがあるpostgresqlを使った位置情報の計算についての実践的な内容を記載したいと思います。 まずおさらいですが位置情報をつかった距離の計算はSQLで SELECT sqrt(power
【postgreSQL】point型からの地域標準メッシュコードの取得 - テックメモ跡地
PostgreSQL Advent Calender 用のエントリです。 エントリー当初は、slony-I on Iaasの運用を書こうと思ってましたが、急遽、別のネタが思い浮かんだので、位置屋らしく本件でエントリします。 地域標準メッシュコードとは？ 地域メッシュ - Wikipedia 日本地図の上に碁盤の目を張り巡らせて、1つ1つの枠にユニークなコードを割り振ました。ということですね。 以前、pythonで取得した記事となります。 【python】緯度経度から標準地域コードの取得 今回はpostgreSQLの上で取得してみようと思います。 準備 テーブルの作成 create table landmark ( name text, point point not null, mesh text); データも登録しましょう insert into landmark( name, poin
[PostgreSQL] 巨大なテーブルでカラム追加・削除する場合に気を付けるべきこと · DQNEO日記
ALTER TABLE verybigtable ADD COLUMN col_1 integer DEFAULT 0; これは要注意です。 このようなことをすると、テーブルの全行に対して更新処理がかかってしまい負荷が一気に上昇します。 サービス稼働中にカラム追加する場合は、DEFAULT制約はつけない方がよいでしょう。 どうしてもDEFAULT制約をつけたい場合は、 １．サービス停止してから上記のADD COLUMNを実行する または、 ２．いったんDEFAULTなしでカラム追加して、直後にDEFAULT制約をつける ALTER TABLE verybigtable ADD COLUMN col_1 integer; ALTER TABLE verybigtable ALTER COLUMN col_1 SET DEFAULT 0; という２つの方法があります。 方法２の場合は、負荷は全
独り言v6 » PostgreSQL 7.3から9.1までベンチを取ってみた。
PostgreSQL Advent Calendar参加作品です。 ネタはいろいろ考えたんだけど、例えばnode.js+plv8jsでjavascriptだけで遊ぶとか、なんかちょっとしたライブラリ書くとか、アイデアはあれど風邪を引いて実行力がないので手抜きにしました。単にpgbench取りました。 ただし手元にあったwubi+ubuntu8.10(新しいバージョンは何故かうちのマシンで動かなかったので何故か古い）でコンパイルできるバージョンを片っ端からインストールするというネタをかましました。本当はWAL導入前の6.5までいきたかったけど、7.2でpg_hba.cがエラーで入らず、直そうかと思ったが手間をかけたくないし断念。 実験概要 以下のバージョン（全てマイナーバージョンは最終版）を同一マシンにインストールし、挙動を比較する。 7.3 7.4 8.0 8.1 8.2 8.3 8.4
なんちゃってエンジニアのちょっとした楽する為の工夫：PostgreSQL Advent Calendar #19 - dai-yamashitaの日記
PostgreSQL Advent Calendar 2011の19日目を担当します@dai_yamashitaです。 pgpoolでmd5認証が通すことができない（ほんと誰か教えてください。。m(_ _)m) くらいの （PostgreSQLでmd5認証ぐらいはできるんですよ。。。）なんちゃってエンジニアですが、 そんなエンジニアが日々の運用を楽にするちょっとした工夫を今回ご紹介してみます。 今回のAdventカレンダーでもSELECT * FROMWeb-APIやmulticornを使ってPythonでfdwを実装する などでも紹介されていますが、FDWがPostgreSQL9.1ではサポートされました。 それに今までの導入とは異なり、EXTENSIONを使用して、DBを拡張（って表現で正しいのかな？？）することになっています。 すでに、複数のDBを所有していて、全DBにそのEXTEN
ウェブリブログ：サービスは終了しました。
「ウェブリブログ」は 2023年1月31日 をもちましてサービス提供を終了いたしました。 2004年3月のサービス開始より19年近くもの間、沢山の皆さまにご愛用いただきましたことを心よりお礼申し上げます。今後とも、BIGLOBEをご愛顧賜りますよう、よろしくお願い申し上げます。 ※引っ越し先ブログへのリダイレクトサービスは2024年1月31日で終了いたしました。 BIGLOBEのサービス一覧
The patch for Index Only Scan committed - spitz2bassの日記
PostgreSQL9.2での新機能になるであろうIndex Only Scanがコミットされました。 アプリケーション＋しくみ分科会でExplainingExplainを担当した身として とても気になる機能追加ですのでフライング気味ですがRobert Hassのblogを 追ってみました。 1.そもそもIndex Only Scanとは？ PostgreSQLのデータアクセス方法はおおまかに3種類あります。 ・テーブルに直接アクセスするSeq Scan. ・インデックスにアクセスし、その後テーブルを参照するIndex Scan. ・論理計算が得意なビットマップを使って表に上手にアクセスするBitmap Scan. ※2011年6月4日しくみ分科会で発表された中西さんの資料が分かりやすいです。 今回、ここに新たなスキャン方法が加わることになります。 2.Index Only Scanとは
Leaky Views と Security Barrier : PostgreSQL Advent Calendar #4 - KaiGaiの俺メモ
このエントリはPostgreSQL Advent Calendarに参加しています。12/4(日)担当也。ヨーロッパ中部時間ではまだ12/3(土)ですが。 RDBMSで行レベルのアクセス制御を実現する方法として、利用者に対して直接のアクセス権を付与せずに、特定のビューを通してだけアクセスを許可するのはしばしば使われるテクニックです。 ですが、場合によっては不可視な行の中身を参照できてしまうというのは、あまり広く認知されている訳ではないようです。 ので、問題のポイントと、現在開発中の PostgreSQL v9.2 に提案しているアイデアをご紹介します。 ユーザ定義関数のCOST値による問題 ここでは、以下の表を例に考えてみます。 customerテーブル 列名 型 制約 cid int primary key cname text not null cmail text cpasswd t
Synchronized Snapshot お試し:PostgreSQL Advent Calendar #7 - モメないためのメモ
このエントリはPostgreSQL Advent Calendarの12/7分です。 現在開発中のPostgreSQL 9.2でSynchronized Snapshot(同期スナップショット？)なる機能が導入されます。開発の動機はpg_dumpallで複数のデータベースのバックアップを一貫性のある内容で取りたいということのようで、あまり派手な機能ではないのですが、開発中の pgsql_fdw と組み合わせて面白いことできないかな、と思って調べたので内容を整理してみます。 そもそも「Snapshot(スナップショット)」って何？ PostgreSQLにおける「スナップショット」とは、MVCC で使われる情報の一つで、大雑把に言えばあるトランザクションからどの時点でのデータが可視であるかを判定する基準です。Synchronized Snapshotでは、このスナップショットを複数のトランザク
multicornを使ってPythonでfdwを実装する - そこはかとなく書くよ。
今の会社に入ってからPostgreSQLを使い始めました。というわけで、初心者ですがPostgreSQL アドベントカレンダー 2011に参加してみます。 さて、PostgreSQL 9.1からSQL/MED規格の一部である 外部データラッパ (FDW:Foreign Data Wrapper) がサポートされました。すでに PostgreSQL アドベントカレンダー 12月3日分にて、板垣さんが WebAPIをfdwから叩いてます。この記事では www_fdw という既存のfdwを利用する方法でしたが、今回は実際に自分でfdwを作ってみます。 fdwはAPIを6個程度書くだけで良いのでそれだけでもかなり書きやすいのですが、いかんせんCで書く必要があります。そこで、 multicorn を使ってpythonでfdwを書いてみました。 なにを題材に書こうかなと思ったのですが、Pure Pyt
xlogdumpによるトランザクションログの解析 — Let's Postgres
アップタイム・テクノロジーズ合同会社 永安 悟史 この記事は、PostgreSQL Advent Calendar #13の12月13日の記事です。 今回は、「PostgreSQL内部解析の強化期間」ということですので、普段はあまり覗くことのないトランザクションログの中を覗いてみる方法を解説します。 もっとも、普段あまり気にすることはなくとも、PostgreSQLのトランザクションログはアーカイブログとして保存してリカバリに使われたり、または（ファイル単位ではなくレコード単位ですが）レプリケーションの際の通信にも使われるものですので、知っておいて損はないでしょう。 普段、ほとんど気にせず使っている機能の内部がどのようなデータ形式になっているのか、その理解の一助になれば幸いです。 はじめに PostgreSQLは、データを障害から保護するために、データへの更新情報を時系列にトランザクションロ
PHPから見たPostgreSQLの数値データ型（数値リテラル） | Let's POSTGRES
smallintはint2、integerはint4 およびint、bigintはint8と同意です。またsequenceを使うという機能を除けば、serialはintegerと、bigserialはbigintと同様の動きをします。これらは小数点以下のない「整数値」です。 serial、bigserialの値のフォーマット・範囲のチェックなどはinteger、bigintと同じですので、以下はそれぞれに読み替えてください。 64bitシステムでの整数値のチェック smallintとinteger まず、値が負でない（すなわちマイナス記号がつかない）ことを必須にしてしまってよければ、smallintやintegerのチェックは簡単です。 if(!ctype_digit($_REQUEST['num']) || $_REQUEST['num'] > 32767) { // NG処理 } これ
PostgreSQL 9.0から使える識別子とリテラルのエスケープ
(Last Updated On: 2018年8月13日)PostgreSQL Advent Calender用のエントリです。 エスケープ処理が必要なのにエスケープ用のAPIが無い状態は良くありません。エスケープしないために動かないのはまだ良い方です。エスケープが必要なのにエ スケープをしなくても動いてしまい、セキュリティ上の問題となる場合もあります。全てのアプリケーション・ライブラリはエスケープが必要なデータに対するAPIを持っておくべき です。今回はPostgreSQL 9.0から追加されたエスケープ関数を紹介します。 PostgreSQL使い始めて最初の頃に気づくのはuserなどの予約語がフィールド名に使えない事かも知れません。例えば、 yohgaki@[local] test=# CREATE TABLE user (name text); ERROR: syntax erro
DOMAINを使ってみよう : PostgreSQL Advent Calendar #10 - 日々の記録 別館
このエントリは、PostgreSQL Advent Calendar : ATNDの12/10分です。 今回はPostgreSQLの型拡張機能の一つである、ドメイン機能を使って何が出来るのかを簡単に紹介したいと思います。 と、その前に・・・ データの制約 当たり前のことですが、RDBMSの列には「データ型」というものが設定されています。でも、データ型だけでは厳密な制約を課すことができないケースもありえます。 ex. integer型というだけでは、その列に「負数は論理上入らない」という制約はつけられない。 ex. text型というだけでは、その列に(電話番号のように)「数字とハイフンしか入らない」という制約はつけられない。 こうした意味的なチェックというのはアプリケーションでも勿論行えますが、データベースの機能としても存在しています。 PostgreSQLで使える制約 もちろん、Postg
GUIでデータベースを簡単にいじれるpgAdminとっても便利ですね: PostgreSQL Advent Calendar #9 | 何か作る人のログ
このエントリはPostgreSQL Advent Calendar用にPostgreSQLネタです。 とはいえ僕はWebアプリ屋でPostgreSQLが便利だな～と思ってる程度のレベルなので 他の方々のようなコアな話ではないのでご了承くださいませ(´・ω・｀) 僕自体Linuxコマンドラインを叩くこと自体嫌いではないのですが、 やっぱり色がついてたりマウスが使えたり、なによりも「便利」なGUIは大好きです。 (psqlとか読みにくくてあんまり好きじゃないです・・・) MySQLの場合は代表的なもので「phpMyAdmin」がありますが、 ブラウザ用なのでtextareaの入力が不便だったり、そもそPHPをサーバーに入れておかないといけないとか、セキュリティのことを考えると別サーバーにおくかー？とか色々細かいことを考えるとめんどくさくて好きではありません。 （ブラウザ型が好きな
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
SmalltalkでPostgreSQL！：PostgreSQL Advent Calendar #16 - からあげ三千世界