なぜ、人はSQLをループさせたがるのか
設計者にもうれしいO/Rマッパ「DBFlute」 7月13日、DB2の勉強会などを開催するコミュニティ「ClubDB2」が開催されました。冒頭のライトニングトークではフリーランスのオープンソースプログラマであり、DBFluteのメインコミッタでもある久保雅彦さん（写真）がDBFluteをアピールしました。 DBFluteを端的に説明すると、「DB設計者にもうれしいO/Rマッパ」だそうです。ただ、O/Rマッパを乱用されるとパフォーマンスに悪影響を及ぼしかねないので、データベース管理者からすると「えーやめてー」と忌避されがちです。しかし、DBFluteはデータベースの変更に強いという特徴があります。カラムの追加など、データベースの変更履歴を自動生成し、開発環境にスムーズに反映させることができます。それゆえにプログラマには当然のこと、管理者にも役に立つO/Rマッパと言えます。 また久保さんは「デ
PostgreSQLのシステムテーブル入門 （暗記用のSQL集） - 主に言語とシステム開発に関して
PostgreSQLで，システムテーブルを利用するための入門。 システムテーブルの使い方を覚えれば，自分が作ったテーブルの統計情報や，メタデータを取得する事ができる。 DBそのものの理解も深まる。 （１）情報スキーマ（人間に理解しやすい。調べ物をするとき便利） カラム一覧 制約一覧 （２）統計情報ビュー（パフォーマンス調整に便利） テーブル一覧 接続プロセス一覧 （３）システムカタログ（アプリからの利用向け） テーブル一覧 活用例 以下のSQLは，覚えやすいようにシンプルに記載してある。 いざという時に使うために，全部暗記しよう。 必要に応じてPostgreSQLの最新版のドキュメントを参照すること。 PostgreSQL日本語ドキュメント http://www.postgresql.jp/document/ （１）情報スキーマ（information_schema）を使おう Postgr
データベース負荷テストツールまとめ(5) - SH2の日記
というわけで、JPOUG> SET EVENTS 20120721 | Japan Oracle User Groupに参加して発表をしてきました。通常の勉強会と比べて発表者と聴講者の一体感を増すための工夫がなされていて、とても良かったと思います。有限コーヒーかと思ったら無限ビールだったのも驚きです。JPOUGの運営メンバのみなさま、会場を提供してくださった日本オラクルのみなさま、当日お越しいただいたみなさま、どうもありがとうございました。 私のセッションでは、データベース負荷テストツールまとめ(5)と題して過去4回分のまとめと自作ツールの紹介をさせていただきました。JdbcRunnerはOracle Database、MySQLとPostgreSQLの間でTPC-BとTPC-Cの性能比較ができる唯一のオープンソースソフトウェアですので、いろいろ試してみていただければと思います。試した結果
PostgreSQLのバックアップリカバリ (1) - aaabbb_200904の日記
Nagios との連携から始まったのだが、最近PostgreSQLを集中して触っている。その中でバックアップ&リカバリを試してみた。 PostgreSQL のバックアップは、DBの機能を使ったものでは、 1. pg_dump によるDBごとバックアップ 2. WALによるフル・差分バックアップ がある。 pg_dump はDBごとにまとめてダンプを取る方法で、その分差分バックアップは取れない。 一方2のWALバックアップは、アーカイブログ(変更内容を書き出したファイル)をバックアップすることで、差分バックアップが可能となる。 ただし、インスタンスごとに WALは1つだけらしく、DBごとにバックアップを取る場合には、それぞれをインスタンスとして分割するか、pg_dump で個別に取るかなどの対応が必要になりそうだ。 1のpg_dump は使い方が割合簡単で、例えば、mmmというDBのバックア
信じられないDB文化「固定長DB」でもあうんです。大規模コンシューマ向けサービスのRDB設計 - レベルエンター山本大のブログ
ずいぶん時間があいてしまったけど、大規模コンシューマ向けサービスRDB設計の続き。 僕はこのプロジェクトを自分のRDBの知識を使って革新してやろうと思って臨んだ。 しかし結果として逆に、コンシューマ向けサービスに最適化されたRDBの使い方について教わることになった。 ※ あと、KVSでいいじゃんって言ってる人もいるけど、それはKVS導入の苦労を知らない人だと思う。KVSの苦労は後で書く。 僕らが最近手がけているのは、とても大規模なコンシューマ向けサービスだ。 100万人の契約ユーザが使い、1テーブルに1億レコード以上のデータを貯め、24時間止めることが許されず、 要求から応答までのターンアラウンドタイムが1秒以内という厳しいSLAのサービスである。 中でも僕はDBやフレームワークの設計とアーキテクトっぽいことを担当している。 僕がこの現場に来て、驚愕した文化が2つある それは「Join禁止
信じられないDB文化「Join禁止」に「固定長DB」、、でも、合うんです。大規模コンシューマ向けサービスのRDB設計 - レベルエンター山本大のブログ
僕らが最近手がけているのは、とても大規模なコンシューマ向けサービスだ。 100万人の契約ユーザが使い、1テーブルに1億レコード以上のデータを貯め、24時間止めることが許されず、 要求から応答までのターンアラウンドタイムが1秒以内という厳しいSLAのサービスである。 中でも僕はRDBやフレームワークを担当している。 僕がこの現場に来て、驚愕した文化が2つある それは「Join禁止」と「固定長DB」だ。 ありえない。 とはいえ、正直に言えば「またか、、、」という感想でもある。 RDBを知らないレガシーな人たちが設計したDBではよくありがちな設計だからだ。 と僕は早々にこの文化と戦って、絶対に覆してやろうと考えてた。 過去の経験上それはたやすいハズだった。 しかし、この文化と戦うこと3ヶ月間。 屈した。初めて屈した。いや、屈したというよりは理解した。 大規模コンシューマ向けサービスのRDBという
NOT IN vs. NOT EXISTS vs. LEFT JOIN / IS NULL: PostgreSQL
Which method is best to select values present in one table but missing in another one? This: SELECT l.* FROM t_left l LEFT JOIN t_right r ON r.value = l.value WHERE r.value IS NULL , this: SELECT l.* FROM t_left l WHERE l.value NOT IN ( SELECT value FROM t_right r ) or this: SELECT l.* FROM t_left l WHERE NOT EXISTS ( SELECT NULL FROM t_right r WHERE r.value = l.value ) Let's see for PostgreSQL 8.
PostgreSQLのポイントインタイムリカバリ(PITR)めも - あられねこのめも
PostgreSQLのポイントインタイムリカバリ(PITR)のしくみとオンラインバックアップ手順、リカバリ手順のめも。 バックアップ概要 バックアップの種類 pg_dump サーバを起動したまま、pg_dumpコマンドでバックアップを取得します。DBをバックアップを取った時点のデータに戻すことができます。PostgreSQLのメジャーバージョンが異なるとき、この方法でデータの移行を行う必要があります。 オフラインバックアップ サーバを停止後、dataディレクトリ以下をまるまるコピーします。DBをバックアップを取った時点のデータに戻すことができます。 オンラインバックアップ バックアップツールを使用して、サーバを起動したままファイルをコピーします。また、アーカイブログも取得します。アーカイブログを適用することで、DBの状態を任意の時刻の時点に戻すことができます。 ここでは、このオンラインバッ
404 Blog Not Found:書評x3 - SQL本三大対決
2008年02月03日04:00 カテゴリ書評/画評/品評Lightweight Languages 書評x3 - SQL本三大対決 404 Blog Not Found:この発想はなかった - 書評 - 逆算式SQL教科書を書いたら、「いや、うちも」とばかりにどっさりSQL本が来た。 まずオライリー・ジャパンの矢野様からは、「STATISTICS HACKS(和訳)」と一緒に「SQLクックブック」と「SQL Hacks 」を、そしてC&R研究所の吉成様からは「SQL実践活用大事典 」を献本いただいた。 これだけ頂くと、まとめないわけには行かないだろうということで、まとめてみた。 まず、「SQLクックブック」。こちらは申し訳ないのだけど、かなり期待はずれ。確かに「逆算式SQL教科書」よりは用例も多かったのだけど、Cookbookを特徴づけていた綿密なDiscussionがスカスカ。他ならと
論理バックアップ（pg_dump と pg_dumpall） | Let's POSTGRES
NTT オープンソースソフトウェアセンタ 鈴木 幸市 3. 論理バックアップとリストア 論理バックアップを行うツールは pg_dump 及び pg_dumpall です。 pg_dump は PostgreSQL データベースクラスタの各データベース単位にバックアップを行います。pg_dumpall はターゲットのデータベースクラスタに格納してある全データベースのバックアップを行います。 pg_dump も pg_dumpall も、バックアップデータはデータベースを復元するために必要な SQL 文で構成されます。 従って、pg_dump や pg_dumpall を使うと PostgreSQL データベースの内容を別なデータベースに移行したり、特定のテーブルだけをバックアップしたりすることが可能となります。 pg_dump, pg_dumpall を使うためには特別な用意はいりませんが、
Cassandra入門と、さらに詳しく知るためのリソース集
クラウド時代の新しいデータベースとして、非リレーショナルな構造を持つNoSQLデータベースが話題になっています（NoSQL＝Not Only SQL。命名の経緯はこちら）。そのNoSQLの中で、もっとも注目されているデータベースの1つがApacheのCassandraです。 Cassandraは、Facebookで大規模データ処理のために開発され、その後オープンソースとなり、現在ではApache Software Foundationのプロジェクトとして開発されています。 現在、CassandraはFacebookやDiggなどで使われている、もしくは使うことが検討されているとされ、Twitterでも（ツイートデータの格納には使われないようですが、それ以外の用途で）利用されています。 TwitterとDiggがNoSQLの「Cassandra」を選ぶ理由 Twitterが、Cassandr
PostgreSQL日本語ドキュメント
PostgreSQL日本語ドキュメント 最新版の付属ドキュメント 翻訳作業中の最新バージョン/PostgreSQL 15.0 日本語マニュアル バージョン14 PostgreSQL14最新版 日本語マニュアル PostgreSQL14.5 日本語マニュアル PostgreSQL14.0 日本語マニュアル バージョン13 PostgreSQL13最新版 日本語マニュアル PostgreSQL13.1 日本語マニュアル バージョン12 PostgreSQL12最新版 日本語マニュアル PostgreSQL12.4 日本語マニュアル PostgreSQL12.3 日本語マニュアル PostgreSQL12.0 日本語マニュアル バージョン11 PostgreSQL11最新版 日本語マニュアル PostgreSQL11.5 日本語マニュアル PostgreSQL11.4 日本語マニュアル Post
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Hadoop＋Hive検証環境を構築してみる
PostgreSQL 9.0.1文書