100万件ぐらいのレコードを扱ったらOOMEが出た話。 - 谷本 心 in せろ部屋
要約 技術的な話だけ教えて、という方のために先に結論だけ書いておきますと、PostgreSQLはクエリを実行した時点で全レコードの情報を一気に読んできてヒープを埋めてしまう場合がある、ということ話です。 たとえば、ResultSet#nextメソッドを使いながら処理を回すようなコードを書いて、少ないヒープでも処理できるようにするのは常套手段だと思いますが、そういうコードを書いていても一気にヒープを消費してしまうことがあるのです。詳しくはこのドキュメントを見てください。 https://jdbc.postgresql.org/documentation/head/query.html#query-with-cursor ことの発端 ちょっと仕事でJava + jOOQ + PostgreSQLで、DBのデータを集計するようなバッチ処理を書いてまして、もちろん俺様の書いたコードにバグなんてある
Iciql
iciql is… a model-based, database access wrapper for JDBC for modest database schemas and basic statement generation for those who want to write code, instead of SQL, using IDE completion and compile-time type-safety small (<250KB) with debug symbols and no runtime dependencies pronounced icicle (although it could be French: ici ql - here query language) a friendly fork of the H2 JaQu subproject i
Commons DBCP
Commons DBCP は、データベースのコネクション・プーリングを扱うライブラリです。 Tomcat で標準採用されています。 動作説明 動作を簡単に説明します。 クライアントから接続要求が発生した場合 … getConnection() 1. DBCPは、プール内に空き接続があるか確認 2. あればそれを返す。この時その接続は アクティブ となる 3. プール内に空き接続が無ければ、新たに接続を作って返す クライアントから切断要求が発生した場合 … conn.close() 1. 切断要求のあった接続をプール内に保管する。この時その接続は アイドル となる 2. もしプール内に maxIdle 以上の接続が溜まったら、それ以上にならないように接続を削除する 接続監視スレッド DBCPには接続監視スレッドというものが存在します。 これは一定時間毎にプール内のアイドル接続をチェックするも
Apache Tomcat 7 (7.0.109) - The Tomcat JDBC Connection Pool
The JDBC Connection Pool org.apache.tomcat.jdbc.pool is a replacement or an alternative to the Apache Commons DBCP connection pool. So why do we need a new connection pool? Here are a few of the reasons: Commons DBCP 1.x is single threaded. In order to be thread safe Commons locks the entire pool for short periods during both object allocation and object return. Note that this does not apply to Co
DBCP より 50倍早い！？ BoneCP を使って高速コネクション・プーリングを実現する方法 : NETBUFFALO
import java.sql.Connection; import java.sql.SQLException; import com.jolbox.bonecp.BoneCP; import com.jolbox.bonecp.BoneCPConfig; public class MyBoneCPApp { private BoneCP bcp = null; private String driverClassName = "com.mysql.jdbc.Driver"; private String username = "root"; private String password = ""; private String url = "jdbc:mysql://localhost/test"; public void init() throws ClassNotFoundExc
Groovyでデータベース操作（GroovySQL） - No Programming, No Life
GinAのデータベースの章*1に書かれていることをまとめておこうと思う。 ここに書かれている内容はSQLをある程度理解している方を対象としています。また、JavaでDB操作を行ったことがあると理解が早まります。 DBに接続 まずは、JDBCドライバを使ってDBに接続する。ひとまず簡単な方法はファクトリメソッドを使う方法。groovy.sql.Sql#newInstance() を利用する。戻り値はgroovy.sql.Sqlインスタンス。 def db = Sql.newInstance( 'jdbc:〜〜', // DB接続文字列 'ユーザ名', // ユーザ名 'パスワード', // パスワード 'jdbcドライバクラス' // JDBCドライバ ) データの挿入・更新・削除 データの挿入・更新・削除を実行する方法としては、groovy.sql.Sql#execute(statment
[ORM][Java] JavaのORMをいくつか比較してみる
昼間のお仕事の関係でORMをいくつか触ったので、比較してみることにした。今更なーという感じはするけど、現時点で選ぶなら何なのだろうかと考える人の一助になれば。 ※ 2012/09/18 改訂。Spring DATA JPAと QueryDslについては詳細をGistにあげたので、リンクを貼りました。 Java Persistence API （JPA) JSR-317. 一応JavaEE6の標準になっているが、使いやすいわけではなく補助的に組み合わせて使うライブラリがいくつか存在するのでそれらについて後述。 大まかに、クエリを書く方法は2通り JPQL(SQLに似非の独自クエリ言語)を文字列で書く 例： select o from Order o where o.date < '2012-09-01' Criteria API(メタクラスを生成すればある程度は型安全だが、APIが使いにくい
![[ORM][Java] JavaのORMをいくつか比較してみる](https://cdn-ak-scissors.b.st-hatena.com/image/square/2ca341050f10d4817cf1da23b365475f46e606f1/height=288;version=1;width=512/https%3A%2F%2Fsecure.gravatar.com%2Fblavatar%2F588fe421844e932db3693c30245c8dc5ac18ca09cfc86cf5cb195f7110199049%3Fs%3D200%26ts%3D1721622601){kind=avatar}
1.宣言的トランザクション - soracane
宣言的トランザクションとは、「あるメソッドを呼び出したときにトランザクションをかける」と宣言する方法です。
81.Daoの作り方サンプル（通常の方法：SpringJDBC） - soracane
ここではHibernateやIBatisなどのO/Rマッピングを使用しないような、簡単なやり方を見て行きます。
パフォーマンス比較 Cassandra、Mongodb、SQLite、H2、MySQL、Postgres - cypher256's blog
下記のようなシステムでパフォーマンスが良さげな SQLite を使用予定ですが、もっと速いものが無いか確認のため他のデータベースのパフォーマンスを計測してみました。SQL 利用前提ですが、NoSQL が圧倒的な性能を出す場合は検討する必要があるので KVS も確認しました。 データ件数は 1 億件程度、JDBC SQL 利用可能 INSERT、UPDATE はバッチ SELECT は主キーアクセス性能を重視 将来スケールアウトのための分散はありえるが、スタンドアロンで遅いのはだめ データベースのパフォーマンス比較 計測したデータベース データベース名 タイプ 形態 評判 計測についての備考 SQLite RDB 組み込み ※2 おもちゃ、Android標準 JDBC操作 ※1 H2 RDB 組み込み ※2 組み込み最速 JDBC操作 ※1 Derby RDB 組み込み ※2 Java標準で
Commons DBCPを超えるTomcat JDBC Poolとは
Commons DBCPを超えるTomcat JDBC Poolとは：Tomcat 7の新機能で何ができるようになるのか？（番外編）（1/2 ページ） TomcatのDBコネクション・プールは2つある ＠IT読者の皆さんは「Tomcat JDBC Connection Pool」をご存じですか？ 通常、TomcatのDBコネクション・プールといえばApache Commonsプロジェクトの「Commons DBCP」を想像するかと思います。しかし、Tomcatには「Commons DBCP」以外にもDBコネクション・プールの実装が存在します。それが、「Tomcat JDBC Connection Pool」（以下、Tomcat JDBC Pool）です。 Tomcat JDBC Poolとは、Apache Tomcatプロジェクトが独自に作成したDBコネクション・プールの実装のことです。
JDBC
JDBC（java.sql, javax.sql) JDBC（Java Data Base Connectivity）はJavaからデータベースを呼び出すためのAPIです。 そのJDBCについて解説していきます。 JDBC（java.sql, javax.sql) INDEX JDBC API 1.1. JDBCドライバ 1.2. データベースへの接続 1.3. select文の実行（java.sql.Statementとjava.sql.ResultSet） SQL文の実行 2.1. insert, update, delete文の実行 2.2. java.sql.PreparedStatement 2.3. バッチ処理 トランザクション処理 3.1. 「java.sql.Connection」の自動コミットモード 3.2. その他のトランザクション実行方法 3.3. トランザクションの
Tomcat覚え書き
最終更新: 09.11/8 以下はJRE 1.5・Tomcat 6.0・MySQL 5.0によるWebアプリの運用環境構築の手順をメモしたものです。工人舎H6SKB04Aを買ってメインの別PCで動かしているシステムのクローンを作るべく最新版の各安定バイナリを落としてきたら，結果的にメジャ_ヴァージョンナップになりました。動作環境は Windows Vista Home Basic で，UACは切ってあります。 はじめは前回同様の手順で構築してみたんですが，MySQLが文字化けしちゃったのをどーーーしても解消できませんでした。結局Shift_JISを捨て，UTF-8に統一して対処しています。Shift_JISその他の文字コードをつかいたい方にはこのペイジは役に立ちません。 ありゃ，いま（07.9/25）見たら JRE の最新は 6 update 2 になってますね。MySQLも5.1？ 前掲
prepareStatementの使用 - データベース接続 - サーブレット入門
「PreparedStatement」は「Statement」と同じくデータベースに対するSQL文を実行するために使われますが、「PreparedStatement」で使うSQLは事前にコンパイルが行われています。その為高速に実行することが出来るようになっています。 ただ全てを事前にコンパイルしてしまっては同じ問い合わせにしか利用出来ません。そこでSQLの中でも変更が行われる部分を後からパラメータとして指定することが出来るようになっています。 「PreparedStatement」は例えば大量のINSERTを実行するような場合など基本的に同じSQL文で挿入する値の部分だけが違うようなSQLを実行する場合に便利なステートメントになっています。 PreparedStatementの作成 プリペアドステートメントは「java.sql.PreparedStatement」インターフェースのオブジェ
Java: PreparedStatement で like を扱う時の注意点 - toyfish.blog
JDBC には PreparedStatement クラスが用意されていて、SQL 文の一部をパラメータ化することができる。 パラメータ部分のエスケープ処理は JDBC ドライバが行ってくれるので、SQL インジェクション対策として最近では必須になりつつあるこのクラス。しかし、like 演算子を使う場合は、ちょっと注意が必要だ。 Lv 1 ネットで検索してみると、失敗例としてひっかかってくるのがこのパターン。 Statement stmt = conn.prepareStatement("select * from items where name like '?%'"); stmt.setString(1, "hatena"); ResultSet rs = stmt.executeQuery();name が "hatena" で始まる行を選択しようとしているわけだけど、これだと例外が
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
STBBS.NET blog: 2008/06