Oracle で大量の insert を高速に処理する方法の検討
久々に Oracle ネタです。以前 セッション管理に向いているデータベースは MySQL ? Oracle ? というエントリを書いたのですが、それとは別に insert の処理をどうしても高速化する必要に迫られました。今回高速化すべき要件として同一テーブルに大量のデータを一気に登録する作業です。いわゆる管理系業務で良くある csv のインポート的な機能に相当します。 さてそのような要件の場合、insert の方法は大きく分けて以下の方法が考えられます。それぞれどんなものかを知りたい方は本エントリー最後の参考を読むと理解できると思います。 アプリ側から csv のデータを読み込んで for 文で件数分ループして insert する マルチテーブルインサート機能を用いて、１つの insert で複数データを一括登録する バルクインサート処理を行う PL/SQL を定義して一括登録する SQ
Oracle 運用術 ： これだけでほぼ十分。運用監視スクリプト
一応こんな感じのレポートがあがって来るというサンプルです。結果は仮想的な環境を想定したもので、内容はでたらめにしてあります。 =================== ora_perf_report.sh 2007/06/11 20:43:48 HostName: dev1 Database: testdb =================== /*---------------------------------------------------------------------------*/ // 最低限必要な shared_pool_sizeの測定 /*---------------------------------------------------------------------------*/ SHARED_POOL_SIZE ---------------- 29
セッション管理に向いているデータベースは MySQL ? Oracle ?
Catalyst-Plugin-Session-Store-DBIC とか検証してます。で前から気になってはいたのですが、Perl 界ではセッション管理するモジュールといえばほぼ全て MySQL が前提っぽい作りになってると思います。でも業務で使っているデータベースは Oracle でして、う〜ん・・・どうすっべかなぁ〜と思ってました。 で、試しに Oracle でセッション管理するためのテーブルをつくってみました。Oracle は VACHAR2 型とかは 4000 文字までしか扱えないので、セッションデータとして使うにはちょっと物足りないデータ型。CLOB 型を使えば解決できるんですが、DBI ベースにいろいろと指定してあげないとダメ。しかも多分遅い。遅いと推測していたから、今まで LOB や LONG 型はあえて使ってきませんでした。 session 格納に使うテーブルの構造はこんな
DBD::Oracle に激遅のコードが混在している件について
えーっと、ここ数日やっている DBIx::Class 関連なんですが、DBIx::Class::Schema::Loader::Oracle を作ってみたものの、Oracle の場合、なぜか _load_relationships が異常に遅いんですよ。でかなり深追いしてみました。 DBIx::Class::Schema::Loader::Base->_load_relationships あたりが遅いのでメソッドコールを深追い ↓ DBIx::Class::Storage::DBI->columns_info_for の $dbh->column_info そのものが遅いことを突き止める。 eval { my $sth = $dbh->column_info( undef, undef, $table, '%' ); $sth->execute(); while ( my $info =
DBIx::Class::Loader::Oracle 作りました（多分ちゃんと動いてる・・・）
Catalyst の Model に Class::DBI でなくて DBIC 試してみようと思ったら、DBIx::Class::Loader::Oracle がないので Helper スクリプトがエラーになってしまいます。 script/test_create.pl model DBIC DBIC dbi:Oracle:testdb test test123 exists "/test/script/../lib/test/Model" exists "/test/script/../t" This module has been deprecated in favor of Catalyst::Model::DBIC::Schema at /usr/local/lib/perl5/site_perl/5.8.6/Catalyst/Helper/Model/DBIC.pm line 45
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Erlang ODBC
