HadoopとRDBとのつながりを考える
本連載の第3回は、Hadoop周辺プロダクトの紹介を中心に、HadoopとRDBMSとのつながりを解説し、スムーズなデータの移行手段について検討する。 RDBMS（リレーショナルデータベース管理システム）は、非常に多くのITシステムでデータの保存に利用されている。RDBMS以外のデータベース製品が選択されるのは例外的ケースであるという印象を受けるほどだ。トランザクション処理によりデータの一貫性を強力に保持できること、歴史が長く完成度の高い実装が多数存在すること、結果として多くの技術者がRDBのデータモデルとそのインタフェースであるSQLになじみがあることなどがその理由であろう。 ただし、高い一貫性を提供するRDBMSは、サーバーサイドでの処理量が多く、処理を並列化してスケールアウトを図ることが難しい。そのため、扱えるデータの規模を大きくしようとすると、高価なハードウエアを用意する必要に迫ら
「"プロアクティブ"なパフォーマンス・チューニングの心得」
「我々が日ごろお客様と接していて感じるのは、SQLレベルでのチューニングにはいろいろと気を配っているものの、システム全体や業務要件とのバランスへの配慮が欠けていたり、チューニングを組織的に行っていくための体制が作られていなかったりするケースが多いことだ。データベースの性能問題が生じる背後には、これらの取り組みが十分に行われていないことがあると見ている」――日ごろOracle Databaseのコンサルタントとして企業の支援にあたっている中島氏と開發氏はこう語る。では具体的に、どのような性能問題が生じているのだろうか。 まずはシステムの性能目標値や制約条件を明確にせよ 中島氏らが「一番困る」と声をそろえるのは、システムの性能目標値や、チューニングにかけられる期間／コストなどの制約条件が明確になっていないケースだ。 「我々コンサルタントには、期間とコストを無尽蔵にかけられるのなら、どんな性能問
［Windows Azure Platform編］DBサイズの制約を避ける
クラウドコンピューティングでは、クラウド事業者が集中管理する極めて多数のサーバーやネットワーク機器といったリソースが小口に分けられ、複数の企業や個人利用者に比較的低いコストで提供されます。サービス利用者にとっては、自分でハードウエアなどのインフラを用意することなく、必要なときに、必要な分だけリソースを安価に使えることが魅力です。 クラウドコンピューティングは大きな拡張性を備えているので、たとえアクセスが集中したとしても、リソース量を自在に増やすことができます。ただし、そうしたメリットを享受するには、クラウド事業者ごとに異なる設計のルールを守らなければなりません。 本連載では、マイクロソフトが提供するサービスの「Windows Azure Platform」に焦点を当て、その「デザインパターン」について解説をします。ここでは、クラウドの特性を生かしたり、制約を回避したりするための設計ノウハウ
バッチ処理時間が要件の7倍、SQL最適化から発想変えて対処
1. 届け先を管理する新設のDBサーバーで、バッチ処理時間が想定の6～7倍と判明 2. 一括ロードツールを使い、メモリー上での処理を活用して1時間以内に収めた 3. SOAサービスの粒度は、カスタマイズの手間を減らすため単純な機能単位にした 「1時間が要件のバッチ処理に当初、6～7時間もかかった。工夫を重ねて、ようやく時間内に収められた」（ヤマトシステム開発 グループソリューションカンパニー 次期NEKOプロジェクト マネージャー 田中諭氏）。 ヤマト運輸が5年ぶりの刷新を進めている基幹システム「第7次NEKOシステム」。住宅に送る「宅配」から、住宅に住む個人の都合に合わせて送る「個配」を目指したものだ。2010年9月には、送り状に記載された届け先の個人名や住所などを登録した「届け先DBサーバー」を新たに稼働させた。これまで送り状に書かれた届け先は、郵便番号など一部の情報しかシステムに登録
データベースの内部動作を知る
SQLのプログラミングは奥が深い。特にパフォーマンスの観点から、そう言えるだろう。 みなさんご承知の通り、同じ結果を出すプログラムでも、SQLの書き方次第で処理時間に何倍もの差が生じ得る。効率の悪いSQLを書いてしまう原因は、多くの場合、リレーショナルデータベースの内部動作やアプリケーションに関する理解不足である。両者をよく知った上で最適なSQLを書けるようになることは、システムエンジニアとしての重要なスキルの一つである。 特集『基礎から理解するデータベースのしくみ』では、リレーショナルデータベースの内部動作について、基本的な部分を分かりやすく解説している。SQLプログラミングに役立つことはもちろん、SQLチューニングやデータベース設計のための基礎知識としても不可欠だ。 イントロダクション ブラックボックスのままでいいの？ Part 1：SQL文はどのように実行されるのか SQL実行までの
クラウド時代を担うローカルストレージ--注目のウェブ技術「Indexed DB」
古くなったテクノロジと、ウェブをアプリケーション実行基盤として再構築する構想に取り組む各ブラウザメーカーは、クラウドコンピューティングの一見基本的ではあるが非常に重要な要素の下に集まり始めた。 その機能はローカルストレージというもので、その新しいメカニズムは「Indexed DB」と呼ばれる。 Indexed DBはOracleが提唱し、当初は「WebSimpleDB」と呼ばれていた。現段階ではその大部分がプロトタイプでしかなく、まだウェブプログラマーが使用できる状態ではない。しかし、Indexed DBは既にMicrosoft、Mozilla Foundation、Googleからの支持を得ている。そして、「Internet Explorer（IE）」「Firefox」「Google Chrome」のユーザー数を合わせると、今日のネットユーザーの90％以上に相当する。 「Indexed
SQL プログラミング言語資料 - SAK Streets
SQL 開発言語資料 SQL プログラミング言語資料 SQL 基礎編 SQL 基礎実地編 SQL チューニング編 Oracle PL/SQL 編 PostgreSQL 編、JAVA Servlet、JSP 編 MySQL 編 SQL その他応用編 VB プログラミング言語資料 VB RDO + SQL 応用編 VB ADO + SQL 応用編 VB oo4o + SQL 応用編 ASP VB Script プログラミング言語資料 ASP VB Script ADO + SQL 応用編 ASP VB Script oo4o + SQL 応用編 SQL 基礎編 2000.10.14 SQL 基礎編 (その一) テーブル操作 create table、alter table、drop table SQL 基礎編 - 【補足】複合キー alter table、primary key 2000.10
＠IT：Master of IP Network 総合目次
Master of IP Networkフォーラム 全記事インデックス 過去に掲載された全ての記事にアクセスできる目次です。更新： 2008/12/9
＠IT：SQLクリニック - バイナリーデータの格納
本連載はSQLの応用力を身に付けたいエンジニア向けに、さまざまなテクニックを紹介する。SQLの基本構文は平易なものだが、実務で活用するには教科書的な記述を理解するだけでは不十分だ。本連載は、著名なメールマガジン「おら！オラ！ Oracle - どっぷり検証生活」を発行するインサイトテクノロジーのコンサルタントを執筆陣に迎え、SQLのセンス向上に役立つ大技小技を紹介していく。（編集局） 今回は、非常に大きなデータを扱う方法を紹介しましょう。大きなデータを格納する際には、LOB（Large Object）という非構造化データ（バイナリデータや大量のテキストデータ）を使用します。 Oracleに格納できるLOBの種類 Oracleデータベースに格納できるLOBには、以下の4種類が存在します。 LOBの種類 説明 BFILE
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
OracleのSQLのアンチパターンの問題集1
安全な実装方法を解説、IPAが「安全なSQLの呼び出し方」公開 
PostgreSQLの分析関数の衝撃1 （モードとメジアン）：CodeZine