【データベースのパフォーマンス】1億件近いデータベースに対して分析処理をするのに、個人レベルで最速の処理をしようとすると、どのようなソリューションが適…
【データベースのパフォーマンス】1億件近いデータベースに対して分析処理をするのに、個人レベルで最速の処理をしようとすると、どのようなソリューションが適切ですか？ 1億件(40GB以上)が入っているテーブルに対して、参照及び更新の処理をしようと考えています。 現状、MySQL5.1＋SATA HDD(7200rpm)をRAID0+1で構築＋Windows XP＋3GB memoryの構成で処理しています。 現状、処理を実行すると、相当遅くなります。インデックスが効かない処理もありますので、莫大な時間が掛かります。 多角的に分析したいので、なるべく短時間に1億件の分析が終わると大変助かります。 個人レベル(コストは30万以下、最大でも50万以下)で、もっとも早く処理ができる方法論をアドバイス頂けると大変助かります。 ちなみに、Windows以外ではLinuxとFreeBSDが使えます。 宜しく
徳丸浩の日記 - そろそろSQLエスケープに関して一言いっとくか - SQLのエスケープ再考
補足 この記事は旧徳丸浩の日記からの転載です。元URL、アーカイブ、はてなブックマーク1、はてなブックマーク2。 備忘のため転載いたしますが、この記事は2007年11月26日に公開されたもので、当時の徳丸の考えを示すものを、基本的に内容を変更せずにそのまま転載するものです。 補足終わり 本稿ではSQLインジェクション対策として、SQLのエスケープ処理の方法について検討する。 最近SQLインジェクション攻撃が猛威を振るっていることもあり、SQLインジェクションに対する解説記事が増えてきたようだが、対策方法については十分に書かれていないように感じる。非常に稀なケースの対応が不十分だと言っているのではない。ごく基本的なことが十分書かれていないと思うのだ。 SQLインジェクション対策には二通りある。バインド機構を使うものと、SQLのエスケープによるものだ。このうち、SQLのエスケープについて、十分
MOONGIFT: » Rails製のデータベースフロントエンド「RailsDB」:オープンソースを毎日紹介
MySQLのフロントエンドとして有名なのがphpMyAdminだ。Railsをメインシステムにしておきつつも、このためにPHPをインストールすることも少なくない。だが本番環境下ではセキュリティの問題あるので利用が難しい。 そこでRailsで作られたフロントエンドを採用しよう。必要なときだけ立ち上げれば良いし、ApacheにPHPを組み込む必要もなくなる。 今回紹介するオープンソース・ソフトウェアはRailsDB、Railsで作られたデータベースフロントエンドだ。 RailsDBはMySQLだけでなく、SQLite3やPostgreSQLについても対応しているデータベースフロントエンドだ。現状ではデータの閲覧/編集機能はなく、データ構造の閲覧ができるようになっている。 ドライバは随時変更でき、各種データベースを一元管理できるようになる。実際、RailsのActiveRecordの実力を考える
Amazon SimpleDBの開発をしたいなら·SimplerDB MOONGIFT
AmazonのSimpleDBは試してみただろうか。スキーマ不要で利用でき、柔軟性の高いデータベースシステムだ。データを簡単にストアして、簡単に取り出すという目的にぴたりとマッチする。Amazon EC2やS3と組み合わせれば、どのようなシステムができるだろうか。 ライブラリからSimplerDBへ接続しているところ そんな大きな可能性を秘めたSimpleDBではあるが、現状ではベータ版とあって、アカウントの取得まで時間を要すること、さらにネットワークが必須であるという点が利用に難色を示している。開発時点で課金されてしまうのも問題だ。だが、それを解決できるのがこのソフトウェアだ。 今回紹介するフリーウェアはSimplerDB、Rubyで作られたAmazon SimpleDBクローンだ。ソースは公開されているが、ライセンスは明記されていないようなので注意されたい。 SimplerDBはAma
DBIx::Classでスレーブに接続する - libnitsuji.so
レプリケーション環境で、更新系クエリはマスター、参照系クエリはスレーブに振り分けるというのはよくあることだと思います。 PerlのO/RマッパーであるDBIx::ClassにはDBIx::Class::Storage::DBI::Replicationというのがあって、これを使うと利用側で接続先を意識することなくクエリを振り分けることができそうです。しかし、どうやら参照系は必ずスレーブへ振り分けてしまうようなので、トランザクションの中ではマスターを参照したいといった場合に対応できないんじゃないかと思いました。 そこで、明示的にスレーブの接続を取得する方法がないかなーと思ったんですが見当たらなかったので書いてみました。 実装するにあたり以下のClass::DBI用に書かれたコードを参考にしてみました。 http://d.hatena.ne.jp/tokuhirom/20060713/1152
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Introduction to DBIx::MoCo - naoyaのはてなダイアリー