100万件ぐらいのレコードを扱ったらOOMEが出た話。 - 谷本 心 in せろ部屋
要約 技術的な話だけ教えて、という方のために先に結論だけ書いておきますと、PostgreSQLはクエリを実行した時点で全レコードの情報を一気に読んできてヒープを埋めてしまう場合がある、ということ話です。 たとえば、ResultSet#nextメソッドを使いながら処理を回すようなコードを書いて、少ないヒープでも処理できるようにするのは常套手段だと思いますが、そういうコードを書いていても一気にヒープを消費してしまうことがあるのです。詳しくはこのドキュメントを見てください。 https://jdbc.postgresql.org/documentation/head/query.html#query-with-cursor ことの発端 ちょっと仕事でJava + jOOQ + PostgreSQLで、DBのデータを集計するようなバッチ処理を書いてまして、もちろん俺様の書いたコードにバグなんてある
JDBCレイヤでDBのシャーディングを行うsharding-jdbcを試してみた - たけぞう瀕死ブログ
DBのデータ量が増えてきた場合の対策の1つとしてユーザIDなどをキーにデータベースを分割するシャーディングと呼ばれる手法があります。これをJDBCのレイヤで実現してしまうsharding-jdbcというライブラリを見つけました。 github.com sharding-jdbcは中国のdangdang（当当）というEC大手企業が開発したOSSで、SQLをパースし、SQLに含まれるシャードキーを抽出して接続先のデータベースや、参照するテーブルを切り替えてくれるというものです。 使ってみる まずはpom.xmlに以下の依存関係を追加します。 <dependency> <groupId>com.dangdang</groupId> <artifactId>sharding-jdbc-core</artifactId> <version>1.4.1</version> </dependency>
SQL Workbench/J - Home
If you are a member or voter of the following political parties or agree with their despicable and inhumane political views, you are NOT WELCOME to use my software. AfD (Germany)Werteunion (Germany)Die Heimat (Germany)Die Basis (Germany)Freie Wähler (Germany, Bavaria)BündnisDeutschland (Germany)CDU aka "AfD mit Substanz" (Germany)CSU (Germany, Bavaria)FPÖ (Austria)Prawo i Sprawiedliwość (Poland)Fi
Java: PreparedStatement で like を扱う時の注意点 - toyfish.blog
JDBC には PreparedStatement クラスが用意されていて、SQL 文の一部をパラメータ化することができる。 パラメータ部分のエスケープ処理は JDBC ドライバが行ってくれるので、SQL インジェクション対策として最近では必須になりつつあるこのクラス。しかし、like 演算子を使う場合は、ちょっと注意が必要だ。 Lv 1 ネットで検索してみると、失敗例としてひっかかってくるのがこのパターン。 Statement stmt = conn.prepareStatement("select * from items where name like '?%'"); stmt.setString(1, "hatena"); ResultSet rs = stmt.executeQuery();name が "hatena" で始まる行を選択しようとしているわけだけど、これだと例外が
JDBCでint型のカラムの値がnullかどうか調べる方法 - かずきのBlog@hatena
ResultSet rs = stmt.executeQuery("select ...."); int value = rs.getInt("hogehoge"); このときvalueがnullなのかどうかを調べる方法を今まで知らなかった。 getObjectしてnullかどうか見るのは初心者さんらしい。 JDBCの正しい方法的には↓ ResultSet rs = stmt.executeQuery("select ..."); int value = rs.getInt("hogehoge"); // さっきのnullだった？？ if (rs.wasNull()) { System.out.println("hogehoge is null"); } なんかなぁ。
LinuxサーバからOracle JDBC接続するとEnd of TNS data channelやConnection resetが発生する場合の対処法 - けみかるはてな
事象 LinuxのAPサーバ上に配置したJavaバッチプログラムからOracle DBへJDBC接続しようとするとDBコネクション取得時にエラーが出ることがあった。 体感的には、何度かバッチ起動終了を繰り返すとDBコネクション取得にかかる時間がどんどん遅くなっていき、最終的に繋がらなくなる。 DB接続部分はいつもどおりのやり方。 Class.forName("oracle.jdbc.driver.OracleDriver"); Connection con = DriverManager.getConnection("jdbc:oracle:thin:@host:1521:sid", user, pass); 共有サーバ接続だと以下のエラー java.sql.SQLException: IO Error: End of TNS data channel at oracle.jdbc.dri
MemoryLeakProtectionとJDBC - 人類みんなごくつぶし
Tomcat上で、昔は文句言われずに動いてたWebアプリが、最近動かしたら、リロード時に怒られるようになった。こんなメッセージがでる。 致命的: The web application [/hogehoge] registered the JBDC driver [com.mysql.jdbc.Driver] but failed to unregister it when the web application was stopped. To prevent a memory leak, the JDBC Driver has been forcibly unregistered. ぐぐってみると、内臓DBCPのバグだから、君は悪くない！ほっとけ！っていうのがあって、ちょっとホッとしたが http://stackoverflow.com/questions/3320400/jdbc-dr
S2JDBCのiterate()で OutOfMemoryError - ログ日記
S2JDBCを使って DBのデータ数十万件をまとめてDLしようとしたらエラーになった。 getResultList()じゃなくてiterate()使ったら結果をまとめて保持しなくなるからメモリを使わなくなるんじゃないの？と思ったけどダメ。 WicketのResourceStream系がキャッシュしてるのか自分で書いたオブジェクトを書き出す処理がミスってたのか何か使い方が間違ってたのか分からずハマった。 Eclipse Memory Analyzer でダンプを見たら、どこかでデータを全件保持している模様。 2/29 ここから追記S2JDBC+PostgreSQLだとs2jdbc.diconのfetchSizeプロパティの設定＋トランザクションをきちんと開始する、で解決しそう。(とりあえずローカル環境でエラーの再現 → エラー修正の確認まではできた) PostgreSQL: http://o
MySQL JDBC Connector/J + DBCP + Spring framework (+Spring Security)でDB再接続時に例外発生 - けみかるはてな
MySQL+DBCPでDB接続するときは、DB接続タイムアウト時の対策として検証クエリを入れましょうというお話。 現象 MySQLのサーバパラメータ "wait_timeout" の秒数(デフォルト:28800秒 = 8時間) を超過してDBに再接続しようとすると以下の例外が発生した。 org.springframework.security.AuthenticationServiceException: PreparedStatementCallback; SQL [SELECT user_id, password, role_id FROM user WHERE user_id = ?]; The last packet successfully received from the server was 54,586,800 milliseconds ago. The last pac
MySQL Connector/Jにおける大量INSERTのチューニング - SH2の日記
ピンポイントチューニング講座です。まずは結果から。 このグラフは、以下のテーブルに50,000レコードINSERTしたときの処理時間を示したものです。性能に70倍以上もの差が出ているのはなぜか、見ていきたいと思います。 CREATE TABLE `loadtest` ( `id` int(11) NOT NULL, `data` varchar(100) DEFAULT NULL, PRIMARY KEY (`id`) ) ENGINE=InnoDB DEFAULT CHARSET=utf8 方法1 ベースライン conn = DriverManager.getConnection(JDBC_URL, JDBC_USER, JDBC_PASS); pstmt = conn.prepareStatement("insert into loadtest (id, data) values (?
Connector/JのSQLインジェクション脆弱性 - SH2の日記
PreparedStatement使ってるのにSQLインジェクションが起きるんですけど？という話題。徳丸浩の日記 - JavaとMySQLの組み合わせでUnicodeのU+00A5を用いたSQLインジェクションの可能性より。 再現したのでバグレポート投げておきました。MySQL Bugs: #41730: SQL Injection when using U+00A5です。すてきなパッチで解決されることを期待したいと思います。 うちの社内でcharacterEncoding使ってるところはないから大丈夫なはず…。と思っていたのですが、ブクマコメントをいただいたとおり、character_set_server=cp932の設定がされたmysqldにcharacterEncodingなしでつないだ場合もインジェクションを起こせますね。sjisもujisもeucjpmsもダメです。というわけで、
Connector/J 5.1とServer Side Prepared Statement - mir the developer
ここ数日「MySQL + Connector/J(JDBCドライバ) + プリペアードステートメント」の話題がちらほら出ています。正確に把握はしていないですがSQLインジェクション対策→PreparedStatementという流れできた話のようです。 徳丸浩の日記 - JavaとMySQLの組み合わせでUnicodeのU+00A5を用いたSQLインジェクションの可能性 へぼへぼCTO日記 - useServerPrepStmtsを使うのが根本解決だとはおもう。けど…？ id:kazuhookuのメモ置き場 - MySQL+Java でサーバサイドプリペアードステートメントを使うべきで「ない」理由 自分は元Connector/J開発メンバ(※インターン生として)でもありとても気になる話題なので、Connector/Jのソース解析も含めた説明をここで行いたいと思う。 プリペアードステートメント
MySQL+Java でサーバサイドプリペアードステートメントを使うべきで「ない」理由 - kazuhoのメモ置き場
useServerPrepStmtsのここの説明ではデフォルトがtrueになっているが、これは上述の通り嘘である。 (中略) そしてなぜfalseにされたかということの背景を察すると、trueにすることの弊害もありそうで、手放しでこれをtrueにすることを勧めることが少しはばかられる。 http://www.geminium.com/chiba_blog/2008/12/23/33/ 自分は Java 使ってないですが、MySQL の中の人が使うなって言ってます *1。その理由はメモリリークのような症状が出る可能性があるから。 So why are prepared statements a problem? Because users do not clean up/close unused prepared statements. Multiply the number of prep
SQuirreL SQL Client Home Page
SQuirreL SQL is hosted at: and IDEs used by SQuirreL developers: SQuirreL's SQL editor is based on: RSyntaxTextArea Feature highlights of 4.7.1: Multiple Alias modification Code completion offers contains mode Timeout for SQL executions Object tree: Save and restore selected nodes Data compare to clipboard Search function for table cell data popup Edit toggle button on SQL result tabs Graph Plugin
Servlet/JSP講座-ハイフンなどの文字化けについて
１．状況 MySQLの旧バージョン(3.52)を利用していた時は、Java(JSP)でDBに漢字を含む項目値を設定する時にはコード変換を設定していました。 4.0にバージョンアップした時に全ての漢字項目が表示できなくなったので、慌ててMySQLの環境設定にデフォルトのコードをShift_JISとして設定することで表示はされました。 ただこの時に今までのコード変換がただ単に漢字を表示させるための手段と勘違いしてしまい、プログラム中の全てのコード変換を削除してしまいました。 たまたま住所の番地は全て半角の数字とハイフンだったので気が付きませんでしたが、今回全角ハイフンを入力してみて"?"になり文字化けに気が付きました。 ２．原因と対処 原因はJavaでの内部的な文字表現は Unicode が使われており、それぞれの国やOSのデフォルトのエンコーディングから Unicode への
文字コードについて（シフトJISの問題）
文字コードをシフトJISで開発し、Windowsのサーバで動かす場合の文字コード問題について示します。 厳密にいうとWindowsが扱う文字コードは、シフトＪＩＳでは、ありません。MS932です。または、コードページ CP932ともいいます。MS932は、マ社がシフトＪＩＳを拡張して定義したコード体系です。 で、ここで何が問題になるかというと、クライアントへの出力をcharset="Shift_JIS"とか定義して、アプリケーションサーバーなど が一生懸命シフトＪＩＳで出力しようとすると、ある文字列が文字化けするのです。ようは、MS932にある文字コードはシフトＪＩＳには、ないので、'? 'で出力されるということです。なお、OC4JやJBuilderで利用するtomcatは、MS932で出力しようとするので、あんまり文字化けしませ ん。 Java内部で扱う文字コードは、Unicodeです。
JDBC 8.1.7上でのNLS環境におけるキャラクタの整合性の問題について
［概要］ Java言語においては内部使用キャラクタコードとしてUnicodeが使われています。その為Oracle JDBCドライバは、キャラクタデータをデータベースに挿入する時、またデータベースからデータを取り出す時点で適宜キャラクタ変換を実行します。Java クライアントからJDBCを経由してOracleデータベースにデータを挿入する場合、JavaVMがクライアント側のネイティブコードからJavaのUnicodeの変換を行い、JDBCはデータベースもしくは自身のコード変換機能利用してUnicodeからOracleのデータベースキャラクタセットへの変換を行います。逆にデータを取り出す場合はその反対の事が行われます。 しかしながら、このコード変換の結果いくつかのコード情報が欠落したり、文字化けしてしまう事が有ります。これは、Oracle JDBCのバグでもJava VMのバグでもありません。
まどぎわBLOG - Java Studio EnterpriseをOSS化 , WTP + TomcatでDataSourceを利用する
■ WTP + TomcatでDataSourceを利用する WTPを使って開発をする場合、Tomcatの<Context>はWTPが生成したものが使われます。自動生成されたContextは当然特別な設定はされておらず、そのままではDataSourceを利用することが出来ません。また生成されたserver.xmlのContextを直接編集しても起動時に上書きされるか、エラーが表示されてしまいます。 あれこれ試してみても分からないので、Googleで探してみるとこんな記事が見つかりました。webrootの下にMETA-INF/context.xmlが存在する場合、その内容を自動生成するContextにマージしてくれるようです。さっそく以下のような感じでcontext.xmlを作成してみたところ、自動生成されたserver.xmlにちゃんと反映されました。実際にアプリケーションからもDataS
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Free-ScalikeJDBC から見る合成可能なDSLの作り方
JRuby - User - Floating point imprecision in activerecord-jdbc-adapter?