PostgreSQL JDBCドライバのタイムアウト設定 - n-agetsumaの日記
OracleのJDBCドライバと同様に、PostgreSQLのJDBCドライバにも同様のタイムアウト設定が用意されています。@yamadamnさんがWebLogicServer + Oracle JDBC向けにまとめた資料Oracle JDBCドライバプロパティの活用を参考に、WildFly + PostgreSQL版のタイムアウト設定を以下にまとめます。 データベース接続時のタイムアウト PostgreSQLのデータベース接続時のタイムアウトには2種類のパラメータがあります。いずれもデフォルトは未設定で、Javaのレイヤではタイムアウトの設定はされず、NW障害時やDBハングアップ時にはOSのTCP接続タイムアウトまで待ちます。 loginTimeout=<秒> このタイムアウト設定はTCP接続のタイムアウトではなく、ログイン処理全体のタイムアウトを示します。PostgreSQLへのログイ
100万件ぐらいのレコードを扱ったらOOMEが出た話。 - 谷本 心 in せろ部屋
要約 技術的な話だけ教えて、という方のために先に結論だけ書いておきますと、PostgreSQLはクエリを実行した時点で全レコードの情報を一気に読んできてヒープを埋めてしまう場合がある、ということ話です。 たとえば、ResultSet#nextメソッドを使いながら処理を回すようなコードを書いて、少ないヒープでも処理できるようにするのは常套手段だと思いますが、そういうコードを書いていても一気にヒープを消費してしまうことがあるのです。詳しくはこのドキュメントを見てください。 https://jdbc.postgresql.org/documentation/head/query.html#query-with-cursor ことの発端 ちょっと仕事でJava + jOOQ + PostgreSQLで、DBのデータを集計するようなバッチ処理を書いてまして、もちろん俺様の書いたコードにバグなんてある
JVM系言語のSQLマッパーについてPostgreSQLの型への対応状況を比較検証 - orangain flavor
KotlinでWebアプリケーションを作るにあたり、SQLを直接記述できるタイプのO/Rマッパー（本稿ではSQLマッパーと呼びます）を探し求めました。 SQLマッパーに求める機能 SQLマッパーに求める機能はBindとMapです。この記事ではBindとMapを次のように定義します。 Bind SQLに埋め込んだプレースホルダー（名前付きが望ましい）に対応するパラメーター群を渡す機能。 例: SELECT ... WHERE price BETWEEN :minPrice AND :maxPrice のようなSQLに、minPriceとmaxPriceプロパティを持つオブジェクトを渡す。 Map 実行結果として得られた行をオブジェクトにマッピングする機能。 例: SELECT id, name, price FROM ... のようなSQLの実行結果を、id, name, price のプロ
JDBC setFetchSize() ではまった話 | TECHSCORE BLOG | TECHSCORE BLOG
JDBCのsetFetchSizeメソッドはご存知でしょうか？ 通常、クエリの結果はResultSetにすべてロードされます。このため、大量のレコードを取得するようなクエリではOutOfMemoryErrorが発生してしまいます。 このような場合に有効なのがsetFetchSizeです。 たとえば、クエリ発行の前にsetFetchSize(1000)とすると、1000件ずつResultSetにとりこまれるようになり、OutOfMemoryErrorを回避することが可能です。 （もちろん、搭載メモリ量、１レコードあたりのサイズによります！） しかし、ここに罠がありました。。。 setFetchSizeを使用しているにもかかわらず、全件がResultSetにロードされてしまう場合があるのです。 JDBCドライバごとにsetFetchSizeの挙動がかなり違っているので、はまりどころです。 今回
早わかりSpring Data JDBC / jsug-2019-01
JSUG勉強会 2019その1 Spring Data JDBC正式リリース記念！データアクセス特集 https://jsug.doorkeeper.jp/events/86027
【kotlin】Coroutinesを使って、Spring WebFluxでJDBC処理を行う - White Box技術部
ちょっと記事を寝かせすぎてしまったのですが、今回は1.3でKotlin本体に入ることが決まったコルーチンのお話です。 WebFluxでJDBCを使うには Schedulers#elasticで対応 この方法の問題点 コルーチン コルーチンの導入 WebFluxのリクエストをコルーチンで処理 Suspending関数を使う関数もSuspendingに ブロッキング処理はSuspending関数で コルーチンとWebFluxでどうなったか WebFluxでJDBCを使うには 以前の発表資料にも記載したのですが、 Spring Boot 2から使えるSpring WebFluxは、Spring MVCと違い、ノンブロッキングなWebフレームワークなので、 ブロッキング処理として作られているJDBCを使うには一工夫必要です。 Schedulers#elasticで対応 解決策としては、（この言い回
PostgreSQL 互換 Amazon Auroraの高速フェイルオーバーを試してみた | DevelopersIO
ウィスキー、シガー、パイプをこよなく愛する大栗です。 先日正式リリースとなったPostgreSQL 互換 Amazon Auroraですが、Auroraの特徴の一つである高速なフェイルオーバーを試してみました。 高速フェイルオーバー ドキュメントにPostgreSQL互換Auroraの高速フェイルオーバーについて記述があります。PostgreSQL JDBC Driverを使用します。urlを複数記述して、targetServerTypeでmasterを指定するとWriterを高速にフェイルオーバーできます。 注意点として、targetServerTypeの指定ではコネクションのオープン時に判断されます。MySQL互換Auroraで使用されるMariaDB Connector/Jの場合はステートメントで判断しています。同じAurora用のフェイルオーバーでも挙動が異なるので注意して下さい。
Top 10 JDBC Best Practices for Java Programmers
JDBC Best Practices are some coding practices that Java programmers should follow while writing JDBC code. As discussed in how to connect to the Oracle database from Java, JDBC API is used to connect and interact with a Database management System. We have touched on some of the JDBC best practices in our last article 4 JDBC Performance tips, On which we have discussed simple tips to improve the p
Doma - Domaプロジェクトへようこそ
Domaプロジェクトは， Pluggable Annotation Processing API を利用したJava6（JDBC4.0）対応のO/Rマッパーとその開発支援ツールを提供します。 Domaの概要を知りたい場合は、概要のページを参照してください。 とりあえず動かしたい場合は、クイックスタートのページを参照してください。 Domaに関する最新のjarファイルやソースコードが必要な場合は、ダウンロードのページを参照してください。 Doma のメジャーバージョンには 1 と 2 がありますが、本サイトは、 バージョン 1 を対象にしています。 バージョン 1 は、Java 6 でコンパイルされ、 Java 6、 Java 7、 Java 8 上で動作します。 バージョン 2 は、Java 8 でコンパイルされ、 Java 8 上で動作します。 バージョン 2 については doma.re
mybatis – MyBatis 3 | イントロダクション
MyBatis とは？ MyBatis はカスタム SQL、ストアドプロシージャ、高度なマッピング処理に対応した優れた永続化フレームワークです。 MyBatisを使うことで、直接 JDBC を扱うコードを書いたり、クエリ引数やクエリ結果を手動で設定する必要がほとんどなくなります。 MyBatis の設定やデータベースレコードと Java オブジェクトの関連付けは、XML またはアノテーションを使って行うことができます。 このドキュメントの改善にご協力ください… このドキュメントの中で誤りや特定の機能に関する記述が抜けていることに気づいたら、詳しく調べてドキュメントを更新して頂けると助かります。 このマニュアルのソースは Markdown 形式で、プロジェクトの GitHub リポジトリで配布されています。 リポジトリをフォークして内容を編集したらプルリクエストを送信してください。 このドキ
MySQL Connector/J (JDBC ドライバ)の罠まとめ - ~saiya/hatenablog
MySQL JDBC ドライバ(MySQL Connector/J)、Java で MySQL といえばまずコレだが、これまた地味に罠が多い(そして多くの人が踏んで苦しむ)のでまとめてみた。 (2015/03/19) こちら のコメント欄でご指摘ただいた wait_timeout の件について記事修正いたしました。 Summary 以下、いずれもプログラム設計時に理解しておかないと、開発中は大丈夫そうでも実用した途端に苦しまされれてしかも設計から治す羽目になる要注意な罠である: SELECT 結果は全部メモリに載ってしまう (デフォルト設定で) 大量 SELECT する場合は FetchSize, ResultSetType を要設定 利用時には制約があるので、設計段階から考慮しなければならない (後述) idle 時間の「合計で」コネクションが切られる 前回のクエリ処理から一定時間以上経
コネクションプーリングの効果を実測してみる - n-agetsumaの日記
Java EE アプリケーションサーバを使うとどの製品にもDBコネクションプーリング機能が付いている。DB接続の再接続にはコストがかかることがこの機能の動機だが、いったいどれくらいの『コスト』なのか。あまり実データを見たことないので、実際に測ってみる。 テスト環境 コストを実感しやすいように、DBには接続ごとに対応した子プロセスをfork()するPostgreSQLを使ってみる。 Mac OS X (Core i5 1.7GHz) OracleJDK 1.7.0_51 PostgreSQL 9.3 PostgreSQL JDBC Driver 9.3-1100-jdbc41 Commons DBCP 1.4 テスト内容 10多重で1回、100回、1000回、10000回の新規接続して SELECT 1 を投げるプログラムを実行する。DBCPを使ったコネクションプーリングの有無で性能を比較す
Jdbi 3 Developer Guide
Jdbi provides convenient, idiomatic, access to relational data in Java. Jdbi 3 is the third major release, which introduces enhanced support for modern Java, countless refinements to the design and implementation, and enhanced support for modular development through plugins and extensions. Jdbi is built on top of JDBC. If your data source has a JDBC driver, you can use it with Jdbi. It improves JD
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Advanced database monitoring in modern java
DBのTCPプロトコルとJDBC
mybatis - Project Hosting on Google Code