100万件ぐらいのレコードを扱ったらOOMEが出た話。 - 谷本 心 in せろ部屋
要約 技術的な話だけ教えて、という方のために先に結論だけ書いておきますと、PostgreSQLはクエリを実行した時点で全レコードの情報を一気に読んできてヒープを埋めてしまう場合がある、ということ話です。 たとえば、ResultSet#nextメソッドを使いながら処理を回すようなコードを書いて、少ないヒープでも処理できるようにするのは常套手段だと思いますが、そういうコードを書いていても一気にヒープを消費してしまうことがあるのです。詳しくはこのドキュメントを見てください。 https://jdbc.postgresql.org/documentation/head/query.html#query-with-cursor ことの発端 ちょっと仕事でJava + jOOQ + PostgreSQLで、DBのデータを集計するようなバッチ処理を書いてまして、もちろん俺様の書いたコードにバグなんてある
大きめのテーブルにカラムやインデックスを追加する際の注意 - LukeSilvia’s diary
先日大きめ(といっても500万行くらい)のテーブルにインデックス付きのカラムを追加しようとして痛い目にあったので調査。 大きめのテーブルにカラムやインデックスを追加するとどうなるか 今回は単純に、「ALTER TABLE 〜 」で追加しようとしました。追加するカラムは3つで、 varchar(255) インデックスなし varchar(255) ↓のdate 型カラムとマルチカラムインデックスの形式のユニークインデックスあり date インデックスあり SQL を実行し、状況を「SHOW PROCESSLIST」で監視していたら、1つ目のカラム追加で次のような状態に… 最初にState が「copy to tmp table」状態になり、次の状態に遷移するまで1時間かかる 次にState が「Repair with keycache」状態になり、完了までに1時間かかる 次のカラム追加に対す
脚本登録＆公開サイト：はりこのトラの穴
Imitation tiger's room このページは、脚本作家による、全自動オリジナル脚本配付ページです。 現在の挑戦者人 現在のトラの巻、本 祝・はりこのトラの穴開設２０周年！！ Link Free!! リンクは御自由にどうぞ News 03/21 セールスマンがやって来た！が桑名高校演劇部さんによって上演されるそうです。 03/20 言葉にできないの！！！！が新規追加されました。 夢想曲 或いはアナタの掌の上で、が新規追加されました。 ケイン事務所は、いつもこうが新規追加されました。 ライへに縋ってが更新されました。 風になるが更新されました。 夢とシナリオが更新されました。 03/19 卒業が新規追加されました。 強迫性ニコニコ症候群が更新されました。 03/18 お嬢様とお月様が新規追加されました。 流れ星が聴こえるが更新されました。 強迫性ニコニコ症候群が新規追加されました
ハタさんのブログ : Q4MをPHP(PDO)で
Q4Mが無事インストールできたので、PHPから触ってみる。詳細なことは今度書く。とりあえず触りだけでも テーブル定義 drop table if exists hoge_queue; create table hoge_queue( id int not null, name varchar(25) not null ) engine=queue; こんなスクリプトをガンガン回して、監視 $conn = new PDO('mysql:host=localhost; dbname=hogetest', 'user', 'password'); $wait = $conn->prepare('SELECT queue_wait("hoge_queue", 10)'); $abort = $conn->prepare('SELECT queue_abort()'); $e = $conn->pr
Oracle Databaseの作成
2 Oracle Databaseの作成 この章では、Oracle Databaseの作成プロセスについて説明します。この章の内容は、次のとおりです。 Oracle Databaseの作成方法の決定 Oracle Databaseの手動作成 CREATE DATABASE文の理解 初期化パラメータの理解 データベース作成のトラブルシューティング データベースの削除 サーバー・パラメータ・ファイルを使用した初期化パラメータの管理 Oracle Database 10gに対するアプリケーション・サービスの定義 データベースを作成した後の考慮点 データベースに関する情報の表示 関連項目 基礎となるオペレーティング・システム・ファイルがOracle Databaseによって自動的に作成および管理されるデータベースの作成方法の詳細は、第III部「自動ファイル管理および自動記憶域管理」を参照してくださ
データモデルをビジュアルで確認·Jailer MOONGIFT
データベースというのは通常のプログラム言語に比べると構造やアクセス方法が異なる。使っていて便利なのだが、日々メンテナンスを行っていると、徐々に全体像の把握ができなくなってくる。 データビューワー それを防ぐにはデータのビジュアル化が必要だ。各種データベースに対応したこれを使ってみよう。 今回紹介するオープンソース・ソフトウェアはJailer、データモデルビューワーだ。 JailerはJavaで作られたソフトウェアで、WindowsやMac OSXなどマルチプラットフォームで動作する。XMLまたはデータベースから構造を分析し、マッピングすることが可能だ。データはリレーションに従って表示され、関連の線なども確認できる。 データモデルエディター モデルをクリックすると、連携しているモデルとの接続方法やn:1などの関係も分かる。また、データベースからXMLへのエクスポートも可能になっている。一つの
1つのSQL文で複数の表にINSERTする絶品テクニック（1/2） ― ＠IT
本連載はSQLの応用力を身に付けたいエンジニア向けに、さまざまなテクニックを紹介する。SQLの基本構文は平易なものだが、実務で活用するには教科書的な記述を理解するだけでは不十分だ。本連載は、著名なメールマガジン「おら！オラ！ Oracle - どっぷり検証生活」を発行するインサイトテクノロジーのコンサルタントを執筆陣に迎え、SQLのセンス向上に役立つ大技小技を紹介していく。（編集局） FOR...LOOP文を使って、いくつものSQL文でデータをINSERTしているPL/SQLプロシージャやプログラムをよく見掛けますが、実は1度にデータをINSERTする方法もあるんです。マルチテーブル・インサート（Multitable Insert）とはその名のとおり、1つのSQL文で複数の表にINSERTが可能になります。この最大のメリットは、やはりパフォーマンスです。では早速ご紹介します。 マルチテーブ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
258億語の日本語コーパスをウェブで公開～国立国語研究所 言語研究や自然言語処理技術開発での基礎資料
What is the Content Construction Kit? A View from the Database. | Lullabot
MySQLオフィシャルトレーニング お申込みのご案内
http://cafelounge.net/dev/?%A5%C7%A1%BC%A5%BF%A5%D9%A1%BC%A5%B9%A4%CE%B7%BF