RDB - 実例で学ぶ、JOIN (NLJ) が遅くなる理屈と対処法 - Qiita
"Nested Loop Joinしか取り上げて無いのにタイトルが大きすぎないか" と指摘を頂いたので、タイトルを修正しました。Merge JoinとHash Joinのことはまた今度書こうと思います。 「JOINは遅い」とよく言われます。特にRDBを使い始めて間がない内にそういう言説に触れた結果「JOIN=悪」という認識で固定化されてしまっている人も多いように感じています。 たしかに、JOINを含むようなSELECT文は、含まないものに比べて重たくなる傾向があることは事実です。また、本質的に問い合わせたい内容が複雑で、対処することが難しいものも存在します。しかし、RDBの中で一体どういうことが起きているのかを知り、それに基いて対処すれば高速化できることも少なくないと考えています。 本稿では、JOINの内部動作を解説した上で、Webサービスを作っているとよく出てくるJOIN SQLを例題に
パフォーマンス比較 Cassandra、Mongodb、SQLite、H2、MySQL、Postgres - cypher256's blog
下記のようなシステムでパフォーマンスが良さげな SQLite を使用予定ですが、もっと速いものが無いか確認のため他のデータベースのパフォーマンスを計測してみました。SQL 利用前提ですが、NoSQL が圧倒的な性能を出す場合は検討する必要があるので KVS も確認しました。 データ件数は 1 億件程度、JDBC SQL 利用可能 INSERT、UPDATE はバッチ SELECT は主キーアクセス性能を重視 将来スケールアウトのための分散はありえるが、スタンドアロンで遅いのはだめ データベースのパフォーマンス比較 計測したデータベース データベース名 タイプ 形態 評判 計測についての備考 SQLite RDB 組み込み ※2 おもちゃ、Android標準 JDBC操作 ※1 H2 RDB 組み込み ※2 組み込み最速 JDBC操作 ※1 Derby RDB 組み込み ※2 Java標準で
RailsでDBクエリを直接発行する方法 - Tech<3 by 榊祐介 - s21g
例えばselect結果をinsertするような場合は効率面からActiveRecordを通さずそのままSQLを実行したい。select結果が数千件ある場合ARで素直に書くとそのまま数千回insert実行しなきゃならんので。 Railsでは基本ARで操作できるけど必要があればSQL書ける柔軟な所がある。 今回の場合ActiveRecord::Base::connection::executeを使用する。 Railsレシピブックで言うとP239の例。 1 Class Entry < ActiveRecord::Base 2 def self.select_insert_hogehoge 3 sqlstr = "hogehoge" 4 return connection.execute(sqlstr) 5 end 6 end
[MySQL]datetime型のデータから日付別の集計を行う
MySQLで日付時間データ入れておくデータ型、 datetime型はよく使いますよね。 データだけあって、日付別の集計が必要になってくることがありますよね。 普通に考えて集計やろうとするならgroup by使うんですが このdatetime型、group by datetimeとやった場合、 秒あたりの重複数を数えてくれて日にち別の集計は行ってくれません。 そこで、substring関数。 substring(datetime,1,10) as date とやると group by でも使えます。 mysql> select id,board,dat,w,s,datetime from accesslog limit 100,1; +--------+----------+------------+------+------+--------------
最短かつ最速にアクセスする「DB高速化技術」（前編）：ITpro
ポイント ・高度なインデックスやジョインを利用し，最短経路でデータにアクセス ・メモリー不足を自律的に解消し，キャッシュのヒット率を高める ・インメモリーDBは全データをメモリーで処理し，高速化を図る 目的地に早く到着したいなら，最短の経路を最速で行けばよい。これはデータベース（DB）でも同様だ（図1）。インデックスなどを使ってデータへの最短経路を見つけ，メモリー・アクセスを増やして，最速でたどり着く。DBにはそんな技術が詰まっている。 図1●データベース高速化技術のポイント ビットマップ・インデックスなどを使い、データにたどり着く最短の道を選ぶ。また、できるだけメモリーにデータをキャッシュさせておくことで、アクセスのスピードを上げる、という二つのポイントがある [画像のクリックで拡大表示] 以下では，（1）データにたどり着く最短の道を選ぶ仕組みと，（2）アクセスのスピードを上げる仕組みの
SQL ServerとGRIDによる顧客分析の高速化が東武百貨店の集客力を強化
メインフレームからオープン系へ 東武百貨店は池袋本店（東京）を中心に、関東圏で4店舗を展開する百貨店だ。特に池袋本店は国内で2番目に広い売り場面積（約8万3000平方メートル）を有し、年商約1300億円（2006年度実績）に達するなど、国内屈指の巨艦店だ。大消費地の渋谷―新宿―池袋間を結ぶ地下鉄新線「副都心線」が2008年6月に開業予定で、域内へ消費者の流入が見込まれる一方、百貨店同士の競争が激化する見通しとあって、同社としても顧客満足度を高める施策に余念がない。 その施策の1つとして東武百貨店は、2007年3月、新しい顧客分析システムを稼働させた。20年ほど前からIBM製のメインフレームで運用してきた営業系基幹システムを、オープン系へと刷新すべく、2年がかりで続けているプロジェクトの一貫だ。同社情報システム部長の葛馬 正記氏は、「80年代は業務の効率化、90年代はサプライチェーンの自動化
SQL文をきれいにフォーマットしてくれる『SQL in Form』 | POP*POP
長～いSQL文を見ているとどこがどういう構造になっているのかがわからなくなってきますよね。 そうしたときに使えそうなのが「SQL in Form」です。 一般向けのサービスではないですが、関係ある方には便利なのでは。 以下に簡単にご紹介。 ↑ たとえばこのようなSQL文。コメント分やインデントがわかりにくくなっています。 ↑ SQL in Formを通せばこの通り。構造がすっきりして見やすいですね。 変換する際には改行やインデント、空白の扱いなどの設定をすることもできます。またデスクトップ用のアプリもあるみたいですね。 ご利用は以下からどうぞ。無料で使えます。 » SQL Formatter / SQLFormatter formats SQL Statements
瞬時にテストデータを大量生成してくれる『Data Generator』 - IDEA*IDEA ～ 百式管理人のライフハックブログ ～
ドットインストール代表のライフハックブログ
mysql を高速化したいときに読むメモ (TechKnowledge)
給料の振込口座として三井住友銀行に口座を持っています。自動支払いサービスを使用して光熱費等の公共料金の支払いをしていますが、先日それらの内の一つを失念してたことに気づきました。口座を確認した時にはすでに引き落としが完了していたため、手元の資金が心細くなった状態で数日を過ごさなければなりません。三井住友銀行で即日キャッシングが可能であれば、是非利用したいのですが。 運が良ければ、三井住友銀行の即日キャッシングは可能 三井住友銀行の特徴はまずクレジットカード会社との連携したサービスが魅力的なことがあげられます。キャッシングでは銀行カードローンですから、何より安い金利が大きい利点になります。概ね銀行系の審査に必要な時間は長くなるようですが、三井住友銀行ではカード発行が当日に行なってくれます。 三井住友銀行は即日キャッシングができるかと言うと微妙なことになります。申込から審査結果の連絡までは、土日
今夜分かるSQLインジェクション対策 ― ＠IT
【関連記事】 本内容についてのアップデート記事を公開しています。あわせてご確認ください（編集部） Security&Trustウォッチ（60） 今夜こそわかる安全なSQLの呼び出し方 ～ 高木浩光氏に聞いてみた http://www.atmarkit.co.jp/fsecurity/column/ueno/60.html Webアプリケーションに対する攻撃手法の1つであるSQLインジェクションの存在は、かなり広く知られるようになった。しかし、その対策はまだ本当に理解されていないように思える。フォームから渡された値の特殊文字をエスケープしたり、PHPのmagic_quotes_gpcといった自動エスケープ機能をオンにするだけで対策したつもりになっていないだろうか。 基本はもちろん、セカンドオーダーSQLインジェクションやマルチバイト文字を利用したSQLインジェクションの攻撃パターンや、その対
Web2.0ナビ: SQL-DESIGNERがスゴイ
いいね！ 0 ツイート B! はてブ 447 Pocket 2 データベースの設計時にER図をかくことが多いと思いますが、SQL-designerというウェブベースのツールが非常に使いやすいく、デザイン的にも綺麗で便利。 MSproject等のデータベース設計を行う専用ソフトは非常に多くあるが、どれもインストールが必要だったり、設定ファイルが必要だったり、ソフトが重かったり、環境依存が激しかったりして、使いにくい。 使いかたは簡単で、 １．ウェブページにいって ２．テーブルやフィールドを追加する ３．プリントアウトorXMLエクスポート だけ。 データの型なども選択できて、設計が終わったら、SQL文をそのまま発行したり、作ったEQ図をXMLでエクスポートやインポートすることも可能。Javascriptベースなので、めんどくさいインストールや環境依存もなし。 ウェブ上でやるのは、セキュリティ
ハッカーの金鉱脈「SQLインジェクション」の正体
最近，「SQLインジェクション」の危険性について語られる機会が増えているが，SQLインジェクションの正体，その問題点，そしてそれを防ぐための方策について詳しく理解している人はまだ多くない。ここでは，SQLインジェクションとは何かを明確に定義し，どのようにして行われるかを説明し，SQLインジェクションから組織を守る方法を読者に伝えることによって，この状況を改善したい。 SQLインジェクションとは何か SQLインジェクションとは，アプリケーションに含まれるコーディング・エラーが原因となって引き起こされるぜい弱性，または欠陥である。SQLインジェクションは，ユーザーが入力したデータを使ってアプリケーションがSQLステートメントを作成し，それをSQL Serverに送信して実行する場合に発生する。この欠陥が及ぼす影響は，コーディング・エラーの性質によって様々である。 具体的に言うと，その影響は，エ
【ハウツー】RDBMS操作ツール決定打!? - EclipseからOracle/DB2/MySQL/PostgreSQLを操作 (1) Eclipse SQL Explorerとは (MYCOMジャーナル)
RDBMSデータの管理アプリケーションにExecute Queryがある。MySQL AdministratorやpgAdmin IIIなどとは異なり、データベースに依存しない管理ツールだ。Javaで開発されたRDBMS操作ユーティリティで、さまざまなデータベースに対してSQLクエリの実行やデータベースのインポート/エクスポートなどが可能という特徴をもつ。ここでは同様のアプリケーションとして、Eclipse IDEを使って開発された「Eclipse SQL Explorer」を紹介したい。 Eclipse SQL ExplorerはJDBCを通じてデータベースの閲覧やクエリ操作を行うためのユーティリティツール。GNU LESSER GENERAL PUBLIC LICENSE Version 2.1のもとで公開されているオープンソースソフトウェアで、執筆現在での最新版は8月30日(米国時間
【ハウツー】これは便利! MySQL/PostgreSQLにも対応 - RDBMS操作ツール\"Execute Query\" (1) いろいろRDBMS管理ツール (MYCOMジャーナル)
オープンソースのRerational Database Management Ssystem(RDBMS)の雄といえばMySQLとPostgreSQL。アプリケーションに組み込んで使うタイプのRDBMSまで広げればApache Derby、H2、HSQLDBなども人気があるが、汎用的に幅広く使われているFLOSS RDBMSとなると、やはりMySQLとPostgreSQLの2つとなるだろう。 この2つのRDBMSに共通した特徴に、周辺ツールが充実しているということがある。10年まえであれば管理にCUIツールを使うことに違和感はなかったが、現在では優れたGUIツールがあり、広く利用されている。たとえばMySQLにはMySQL Administratorが、PostgreSQLにはpgAdmin IIIが用意されている。 図1.1 MySQL管理ツール – MySQL Administrato
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
リレーショナル・データベースの世界