【データベースのパフォーマンス】1億件近いデータベースに対して分析処理をするのに、個人レベルで最速の処理をしようとすると、どのようなソリューションが適…
【データベースのパフォーマンス】1億件近いデータベースに対して分析処理をするのに、個人レベルで最速の処理をしようとすると、どのようなソリューションが適切ですか？ 1億件(40GB以上)が入っているテーブルに対して、参照及び更新の処理をしようと考えています。 現状、MySQL5.1＋SATA HDD(7200rpm)をRAID0+1で構築＋Windows XP＋3GB memoryの構成で処理しています。 現状、処理を実行すると、相当遅くなります。インデックスが効かない処理もありますので、莫大な時間が掛かります。 多角的に分析したいので、なるべく短時間に1億件の分析が終わると大変助かります。 個人レベル(コストは30万以下、最大でも50万以下)で、もっとも早く処理ができる方法論をアドバイス頂けると大変助かります。 ちなみに、Windows以外ではLinuxとFreeBSDが使えます。 宜しく
[Rails] query-reviewerでRailsアプリのボトルネックを見つける - 射撃しつつ前転 改
query-reviewerはRails用のプラグインで、データベースにMySQLを使っている場合に、不適切な検索が行われていないかどうかを非常に簡単に調べることができる。（MySQL以外ではたぶん動かない。）使い方は非常に簡単で、 git clone git://github.com/dsboulder/query_reviewer.git vendor/plugins/query_reviewer するだけ。設定等はまったくいらない。インストールすると、Railsアプリの左上に「SQL DISABLED」というボタンっぽいのが出てくるので、そこをクリックしてENABLEDに変えてからページにアクセスすると、SQLの実行結果を教えてくれる。 スクリーンショットは開発者のブログで見られる。 大体、以下のような情報が得られる。 SQL EXPLAINの結果 SQLの実行時間 どれだけのSQ
![[Rails] query-reviewerでRailsアプリのボトルネックを見つける - 射撃しつつ前転 改](https://cdn-ak-scissors.b.st-hatena.com/image/square/85c67ab90ce937b14172441a0b6c0a1f54c8d1c2/height=288;version=1;width=512/https%3A%2F%2Fogimage.blog.st-hatena.com%2F10257846132660155560%2F10257846132660156811%2F1540586577)
MOONGIFT: » Railsを使ってDB構造を確認する「Rails schema browser plugin」:オープンソースを毎日紹介
Railsの便利な機能の一つが、DBのマイグレーション機能だろう。RDBMSは便利な反面、プログラム言語と溝があり、扱いが面倒な時があった。そのため、O/Rマッピングのようなツールが作られ、状態のバージョン管理としてマイグレーションがとても便利だった。 開発しているシステムのDB構造が手軽に閲覧できる マイグレーションによってDBの構造や中身をあまり意識せずとも開発が行えるようになったのはとても便利だ。だが、その反面DBのリソースを過剰に使ってしまう、富豪的なシステムになることがある。時にはその構造を見返す時も必要だろう。 今回紹介するオープンソース・ソフトウェアはRails schema browser plugin、DB構造出力ソフトウェアだ。 Rails schema browser pluginはRailsプラグインとしてインストールされるソフトウェアだ。データの表示などは全てWW
徳丸浩の日記 - そろそろSQLエスケープに関して一言いっとくか - SQLのエスケープ再考
補足 この記事は旧徳丸浩の日記からの転載です。元URL、アーカイブ、はてなブックマーク1、はてなブックマーク2。 備忘のため転載いたしますが、この記事は2007年11月26日に公開されたもので、当時の徳丸の考えを示すものを、基本的に内容を変更せずにそのまま転載するものです。 補足終わり 本稿ではSQLインジェクション対策として、SQLのエスケープ処理の方法について検討する。 最近SQLインジェクション攻撃が猛威を振るっていることもあり、SQLインジェクションに対する解説記事が増えてきたようだが、対策方法については十分に書かれていないように感じる。非常に稀なケースの対応が不十分だと言っているのではない。ごく基本的なことが十分書かれていないと思うのだ。 SQLインジェクション対策には二通りある。バインド機構を使うものと、SQLのエスケープによるものだ。このうち、SQLのエスケープについて、十分
MOONGIFT: » Rails製のデータベースフロントエンド「RailsDB」:オープンソースを毎日紹介
MySQLのフロントエンドとして有名なのがphpMyAdminだ。Railsをメインシステムにしておきつつも、このためにPHPをインストールすることも少なくない。だが本番環境下ではセキュリティの問題あるので利用が難しい。 そこでRailsで作られたフロントエンドを採用しよう。必要なときだけ立ち上げれば良いし、ApacheにPHPを組み込む必要もなくなる。 今回紹介するオープンソース・ソフトウェアはRailsDB、Railsで作られたデータベースフロントエンドだ。 RailsDBはMySQLだけでなく、SQLite3やPostgreSQLについても対応しているデータベースフロントエンドだ。現状ではデータの閲覧/編集機能はなく、データ構造の閲覧ができるようになっている。 ドライバは随時変更でき、各種データベースを一元管理できるようになる。実際、RailsのActiveRecordの実力を考える
Tokyo Cabinet
Our team of highly trained cybersecurity professionals provides expertise in compliance, tool assessments, threat hunting, incident response and more. Critical Start is leading the way in Managed Detection and Response (MDR) services. With a unique approach that treats every security alert as equal, Critical Start's proprietary Trusted Behavior Registry allows security analysts to resolve every al
Filter::SQLが使いやすくてしかたがない
Filter::SQL 作った - id:kazuhookuのメモ置き場にある、Filter::SQLが使いやすくて仕方がないという話。 前にも書いたけれど私はPerlのデータベースプログラミングに苦手意識がある。SQLもPerlも人並みにはできるけれど、その両方がまざったのはどうもだめだ。 だいたい、こちらはSELECTだけをすればいいのに use 5.010; use DBI; my $dbh = DBI->connect("dbi:SQLite:dbname=foo.db"); my $sth = $dbh->prepare("SELECT * FROM table WHERE bar > 1"); $sth->execute; while ( my $row = $sth->fetch ) { say join "\t", @$row; }のような呪文を書かなくてはならないのは苦痛
ウノウラボ Unoh Labs: PythonのORMを研究してみる(1)
Pythonで利用できるORMをざっと列挙してみると、次のようなものがあげられます。 SQLAlchemy SQLObject Django Storm Mother Dejavu GeniuSQL 実際に利用するとなると、ドキュメントの充実度とユーザ数でSQLAlchemyに一日の長があり、すでにPythonのORMの標準になったという感があります。 また、Djangoアプリケーションという点に限れば、Djangoに含まれるORM(django.db)を使うということになるでしょう。 しかしながら、必要とする機能や実行速度、生成するSQL、APIの好みといった点で、SQLAlchemyとDjango以外のライブラリを選択することもありうるでしょう。 実行速度という観点からみると、少し古い記事になりますが、下記のURLの記事が参考になります。 Storm,SQLAlchemy,GeniuS
Amazon SimpleDBの開発をしたいなら·SimplerDB MOONGIFT
AmazonのSimpleDBは試してみただろうか。スキーマ不要で利用でき、柔軟性の高いデータベースシステムだ。データを簡単にストアして、簡単に取り出すという目的にぴたりとマッチする。Amazon EC2やS3と組み合わせれば、どのようなシステムができるだろうか。 ライブラリからSimplerDBへ接続しているところ そんな大きな可能性を秘めたSimpleDBではあるが、現状ではベータ版とあって、アカウントの取得まで時間を要すること、さらにネットワークが必須であるという点が利用に難色を示している。開発時点で課金されてしまうのも問題だ。だが、それを解決できるのがこのソフトウェアだ。 今回紹介するフリーウェアはSimplerDB、Rubyで作られたAmazon SimpleDBクローンだ。ソースは公開されているが、ライセンスは明記されていないようなので注意されたい。 SimplerDBはAma
DBIx::Classでスレーブに接続する - libnitsuji.so
レプリケーション環境で、更新系クエリはマスター、参照系クエリはスレーブに振り分けるというのはよくあることだと思います。 PerlのO/RマッパーであるDBIx::ClassにはDBIx::Class::Storage::DBI::Replicationというのがあって、これを使うと利用側で接続先を意識することなくクエリを振り分けることができそうです。しかし、どうやら参照系は必ずスレーブへ振り分けてしまうようなので、トランザクションの中ではマスターを参照したいといった場合に対応できないんじゃないかと思いました。 そこで、明示的にスレーブの接続を取得する方法がないかなーと思ったんですが見当たらなかったので書いてみました。 実装するにあたり以下のClass::DBI用に書かれたコードを参考にしてみました。 http://d.hatena.ne.jp/tokuhirom/20060713/1152
DBIx::Class::Schema::Loaderの手動スキーマ生成、初心者向けチュートリアル - Yet Another Hackadelic
と言う訳で自分なりに色々調べてみた。 テスト用データベース定義 CREATE TABLE `User` ( `user_id` bigint(20) NOT NULL auto_increment, `name` varchar(255) character set latin1 default NULL, `created_on` datetime default NULL, `updated_on` datetime default NULL, PRIMARY KEY (`user_id`) ) ENGINE=InnoDB DEFAULT CHARSET=utf8; CREATE TABLE `Book` ( `book_id` bigint(20) NOT NULL auto_increment, `name` varchar(255) character set latin1 de
ブラウザ上で使えるJavaScriptによるデータベース「Traffy DB」:phpspot開発日誌
PHPでATOM、RSS1/2フォーマットのフィードが超簡単に吐き出せる「FeedWriter... 次の記事 ≫：優雅なWeb制作のためのJavaScript「yuga.js」 Taffy DB : A JavaScript database for your browser Taffy DB is a free and opensource JavaScript library that acts as thin data layer inside Web 2.0 and Ajax applications. ブラウザ上で使えるJavaScriptによるデータベース「Traffy DB」. Ajaxアプリケーションなどで、ブラウザ内で多くのデータを扱う場合に使えるライブラリのようです。 例えば、次のようにデータを検索することが出来るようです products.find({price:{
_ [Rails] とりあえずDB分割するだけなら驚くほど簡単だった件 - Don'tStopMusic(2007-10-31)
_ [Ruby] Ruby の新ロゴ Ruby Associationは2007年10月29日、Ruby公式ロゴ選定コンテスト「Rubyロゴコンテスト」の結果を発表した。Rubyの公式ロゴにはTom Schaub氏の作品が採用された。 Rubyの公式ロゴ決定! | エンタープライズ | マイコミジャーナル 公式ロゴが決定しました。おなじみのルビーを使っているせいか、そんなに代わり映えしないような。 まつもとさんが [ruby-list:44161]Ruby公式ロゴコンテスト結果発表 で選考基準を述べていますが、それぞれうなずける理由です。 興味深いと思ったのが、『「かわいい」ものは除く』という項。「エンタープライズ」という言葉も囁かれ始めている今日この頃、Rubyもそろそろ大人として扱われるようにという親心なのかもしれませんね。 _ [Ruby] 第二回Ruby認定試験を受ける予定 研
Multiple Database Connections in Ruby on Rails : Robby on Rails :
We have a client that already has some database replication going on in their deployment and needed to have most of their Ruby on Rails application pull from slave servers, but the few writes would go to the master, which would then end up in their slaves. So, I was able to quickly extend ActiveRecord with just two methods to achieve this. Anyhow, earlier today, someone in #caboose asked if there
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Railsでproduction環境からテスト用DBを再構築する方法 - Hello, world! - s21g
Introduction to DBIx::MoCo - naoyaのはてなダイアリー
BigTable のオープンソースクローン - Twisted Mind
IT化でいいじゃん - 2008年のはぶにっき
http://oss.timedia.co.jp/index.fcgi/kahua-web/show/MySQL%C6%FC%CB%DC%B8%EC%A4%CE%CE%B9
http://www.machu.jp/posts/20060206/p01/