優良企業はなぜHadoopに走るのか
ちなみに、この分析のために必要とされるMapReduceのコードであるが、そのサイズはわずか20ステップだという。Yahoo!のプレゼンテーターである、エリック・バルデシュバイラー氏によると、たとえ経験の浅いエンジニアであっても、MapReduceによるプログラミングは可能であるとされる。 また、VISAのジョー・カニンガム氏からも、貴重なデータが提供されていたので以下に紹介する。同社では、1日に1億トランザクションが発生するため、2年間で700億強のトランザクションログが蓄積され、そのデータ量は36テラバイトに至るという。こうしたスケールのデータを、従来のRDBを用いて分析するには、約1カ月の時間が必要とされてきたが、Hadoopを用いることで13分に短縮されたという。 これまでは、Yahoo!にしろVISAにしろ、膨大なデータをRDBに押し込むほかに方法はなく、その分析に数十日を要する
データモデル正規化の目的と役割
【ビジネスルール】 契約形態としては、ライセンス契約とメンテナンス契約があり、ライセンス契約は見積を必要とするがメンテナンス契約は自動更新のため見積を必要としない。どちらの契約も顧客からの注文書に基づき処理を行う。 【確認事項】 1.見積と注文のリレーションシップは、ライセンスのみ見積が必要となるため、サブタイプのライセンス注文とのリレーションシップとなる。 2.見積と商品のリレーションシップが定義されており、ライセンス注文と商品の定義がないので、ライセンス注文時に商品構成が変更されることはない。 データベースの「正規化」とは データベースにおける「正規化」という言葉は広く一般に知れ渡っているので、ご存じの方も多いと思います。正規化とは、エンティティの独立性を最大限に高めると同時に、エンティティのデータを挿入、更新、削除した場合に「データ間に不整合が生じないようなデータ構造」を実現すること
キャッシュの大きいRDB vs インメモリデータベース、性能がどれだけ違うのか調べてみると
2週間ほど前に「インメモリデータベースがクラウド時代の主流になるという期待」というエントリを書きました。ハードディスクに代わり、メモリをデータベースの永続化手段とするインメモリデータベースは、超高速なアクセスとスケールアウトを実現する、クラウド時代のデータベースの主役になるのではないか、という内容です。 この記事に関して、TechVisorの栗原さんと次のようなやりとりをしました。 確かに、Oracle Real Application Cluster（以下、Oracle RAC）でデータベースが全部載るくらい十分にキャッシュ用のメモリを割り当てれば、メモリ上でデータベースを操作するインメモリデータベースと同じことではないのか、とも思います。 両者の違いは何かあるのでしょうか？ 調べてみることにしました。 インメモリデータベースは1000倍速い 調べてみるとすぐに、両者には明確な性能差があ
Yahoo!オークションでのMySQL 冗長化技術
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog こんにちはオークション事業部プラットホーム技術のチャックです。 オークションでは一部サービスに RDBMS の MySQL を使ってサービスをご提供させていただいております。 オークションでは多くのお客様よりアクセスを頂いておりますので、大量の更新、参照の処理速度に優れた MySQL を選択し、お客様にストレスなくサービスをご利用いただけるよう 日々業務に取り組まさせていただいております。 しかし、精密機器には故障がつきもので、サービス運用の観点からは 「機器が故障するのはしかたない、しかしそれをいかに早く復旧させるか」 といったことを念頭に入れております。 実際には、障害が起こってから復旧させるのではなく、障害が発生した場合に
Ywcafe.net
Ywcafe.net This Page Is Under Construction - Coming Soon! Why am I seeing this 'Under Construction' page? Related Searches: Free Credit Report music videos Migraine Pain Relief Best Mortgage Rates Credit Card Application Trademark Free Notice Review our Privacy Policy Service Agreement Legal Notice Privacy Policy
OTN Japan - Oracle9i 物理設計：第6部 断片化の解決
約半年に渡って解説してきた「Oracle9i物理設計」もとうとう最終回になりました。物理設計のうち皆さんが興味を持ちそうなところを中心に解説してきたつもりでしたがいかがでしたでしょうか？今後もiSeminarやOTNを通じてOracleDirect のメンバーで技術情報を発信してまいりますのでご期待ください。 はじめに 第5部の解説を受けて、本項では断片化の解決方法について解説いたします。断片化の解消の作業は出来る限り発生しない方がDBAの方々にとっても幸せだと思いますので、該当の断片化が発生しにくくなる事前の対策についても出来る限り解説します。 断片化解決の概要 断片化の解決方法は、断片化現象によりある程度は異なりますが、共通の手法で解決できるものもあります。まずは断片化現象ごとの解決方法を一覧にまとめてみました。次章以降で個別に解説したいと思います。
窓の杜 - 【REVIEW】「SQLite」のデータベースをGUIで操作できる高機能管理ソフト「PupSQLite」
「PupSQLite」は、フリーで利用できる軽量データベースエンジン「SQLite」のデータベースをGUIで管理できるソフト。Windows XP/Vistaに対応する寄付歓迎のフリーソフトで、作者のWebサイトからダウンロードできる。なお、動作には.NET Framework 2.0以降が必要。 本ソフトには「SQLite」のライブラリ“sqlite3.dll”が同梱されており、環境の構築作業などが必要なくそのまま利用可能。画面はMDI方式になっており、複数のデータベースをそれぞれ同時に子ウィンドウとして開くことができる。各データベース内のテーブルは、データベースのウィンドウ内にタブ切り替え型のグリッドビューとして表示される仕組み。 機能も充実しており、テーブル内データの閲覧・編集はもちろん、SQL文を発行して結果を表形式で閲覧できる機能、テーブル定義文を出力する機能、2つのテーブルを比
.NETアプリケーションからOracleに接続する：CodeZine
はじめに .NETアプリケーションからOracleへ接続するための最善の方法は、Oracle社が提供している「Oracle Data Provider for .NET」（以下、ODP.NET）です。なぜ、ODP.NETが最善の方法かというと、以下の2つの理由からです。Oracle接続に最適化されているため、パフォーマンスが良いOracle独自の機能が使用可能 今回は、このODP.NETを使用するために必要な準備とOracleに接続するための簡単なコードを紹介します。対象読者Visual Basic、もしくはC#を使ってプログラムを作ったことのある人。Oracleデータベース対応アプリケーション開発に興味のある人。 必要な環境 Microsoft .NET Framework 1.0 以上が必要です。また、ODP.NETから接続可能なOracleデータベースとして、Oracle8i R8
Visual Studio 2005からOracleを操作する：CodeZine
はじめに Oracleは、Oracle Developer Tools for Visual Studio（以下、ODT）と呼ばれるVisual Studioのアドインを提供しています。ODTは次のようにさまざまな機能を提供しています。Oracleエクスプローラデザイナとウィザード自動コード生成機能PL/SQLコード・エディタOracleデータ・ウィンドウOracle問合せウィンドウ統合されたヘルプ 今回は、ODTのインストールと設定方法について説明し、ODTの目玉機能の一つであるPL/SQLコード・エディタを使用した、Oracleのストアドプロシージャ開発について説明します。対象読者Visual Studio 2005を使用したことのある人。Oracleデータベース対応アプリケーション開発に興味のある人。 必要な環境 Visual Studio 2005 Standard Editio
Kazuho@Cybozu Labs: MySQL (InnoDB) に直接アクセスしてタイムライン処理を高速化する話
« フレンド・タイムライン処理の原理と実践 | メイン | MySQL の ORDER BY を高速化 » 2008年06月12日 MySQL (InnoDB) に直接アクセスしてタイムライン処理を高速化する話 フレンド・タイムライン処理の原理と実践 の続きです。 先のエントリでは、プルモデルの速度が当初予測していたよりも遅かった (というより SQL レイヤでのオーバーヘッドが大きそうだった) ので、MySQL Internals メーリングリストで質問したりしながら、C++ で直接 InnoDB にアクセスするようなコードを書いてみました。 タイムライン構築速度 タイムライン/秒 SQL そしたら、10倍以上高速に！ ベンチマークを perl ベースのものから mysqlslap に変えたのですが、プッシュモデルの 2/3 の速度が出ています。これなら、データサイズが約 1/10 にな
Googleの誇る巨大データベースBigTableのオープンソースクローン「Hypertable」
Googleのあの巨大な検索システムなどを支えるデータベース「BigTable」は書き込みが毎秒700MB、読み込みが毎秒18GBという化け物システムなのですが、それのクローンを作るプロジェクト「Hypertable」というのがあるようです。既にバージョンが今年の2月4日に「0.9 Alpha」まで到達しており、超巨大な分散データベースを考えている人々から注目されているようです。 詳細は以下から。 Hypertable: An Open Source, High Performance, Scalable Database http://www.hypertable.org/ ダウンロードは以下から。同梱されているテキストファイルにインストール方法などが記されています。 Download Hypertable 実際のテスト結果などは以下に書いてあります。 PerformanceTestAO
なぜ彼はLAMPを捨てXML DBに走ったのか（1/2） － ＠IT
日本アイ・ビー・エム 中林 紀彦 2007/10/22 最新のXMLデータベース実装となるViper 2（DB2 9.5）のリリースを機に、全4回の連載記事であらためてXMLデータベースの利点を考えてみる。そこで見えてきたものとは？（編集部） ■いかにしてKさんは設計変更のワナにはまったか これはインターネット上でサービスを提供しているある企業で働くKさんのお話です。この会社では、CGM（ユーザー生成メディア）サイトを立ち上げることになり、Kさんが全体のアーキテクチャ設計からデータベース、プログラミングまですべてを担当することになりました。しかもベータ・サービスの開始が1カ月後と迫っています。 Kさんは早速、アーキテクチャの選定に入りました。この部分は迷うことなくLAMPを選択しました（注1）。これまでの経験上慣れているのと、オープンソースであるためコストもかからないのでほかに選択の余地は
A5:SQL Mk-2 - フリーのSQL開発ツール/ER図ツール
A5:SQL Mk-2は複雑化するデータベース開発を支援するために開発されたフリーのSQL開発ツールです。 高機能かつ軽量で、使い方が分かりやすいことを目標に開発されています。 SQLを実行したり、テーブルを編集するほかに、SQLの実行計画を取得したり、ER図を作成したりすることが出来ます。 特徴・機能 OCI接続・直接接続・ADOまたはODBCを介したDBへの接続 Oracle DatabaseはOCI経由の接続・直接接続が出来ます。 PostgreSQLとMySQLは直接接続が出来ます。 Microsoft SQL Serverは、OLE DBプロバイダを直接呼び出した接続ができます。 IBM DB2は、ODBCドライバを直接呼び出した接続ができます。 その他のデータベースは、ADOまたはODBCを利用して接続します。 Oracle, PostgreSQL, MySQLは、A5:SQL
最短かつ最速にアクセスする「DB高速化技術」（前編）：ITpro
ポイント ・高度なインデックスやジョインを利用し，最短経路でデータにアクセス ・メモリー不足を自律的に解消し，キャッシュのヒット率を高める ・インメモリーDBは全データをメモリーで処理し，高速化を図る 目的地に早く到着したいなら，最短の経路を最速で行けばよい。これはデータベース（DB）でも同様だ（図1）。インデックスなどを使ってデータへの最短経路を見つけ，メモリー・アクセスを増やして，最速でたどり着く。DBにはそんな技術が詰まっている。 図1●データベース高速化技術のポイント ビットマップ・インデックスなどを使い、データにたどり着く最短の道を選ぶ。また、できるだけメモリーにデータをキャッシュさせておくことで、アクセスのスピードを上げる、という二つのポイントがある [画像のクリックで拡大表示] 以下では，（1）データにたどり着く最短の道を選ぶ仕組みと，（2）アクセスのスピードを上げる仕組みの
JavaでRubyのfixtureみたいなことをしよう - Fixtureを作りました - 矢野勉のはてな日記
Java Ruby on Railsのfixtureという機能は有名なので皆さんご存じかと思います。JavaでいうJUnitのTestCaseクラスに、 fixture :test と書くだけでtestというテーブルにtest.ymlという名前で用意されたテストデータが投入されるという機能です。 同じような機能はJavaでもかなり以前からDbUnitとして提供されてきましたが、使い勝手という点で圧倒的にfixtureが勝っている。というのは、DbUnitは汎用的なライブラリなので使うためにはDBへの接続定義をコードで書いたり、ロードするxmlファイルを探したり、といろんな手間があったのです。 DbUnitはデータベーステストのデファクト・スタンダードなのでJavaプログラマなら一度くらいは使ったことがあるかと思います。私も仕事柄いろんなところのアプリケーション開発環境を構築するのを手伝いま
表ロックの種類と相互関係 - オラクル・Oracleをマスターするための基本と仕組み
● ロックを取得可能 × ロックの取得は不可能 ▲ ロックを取得可能であるが別セッションからの同一行へのアクセスは待機させられる(TX待機) ▼ ロックを取得可能であるが別セッションからの プライマリキー制約、ユニーク制約 に該当する行の INSERT は待機させられる(TX待機) ▲ ▼ に関して：トランザクションが分散トランザクションの場合には初期化パラメータによってタイムアウトが発生する。 参考 ⇒ ORA-02049: タイムアウト: 分散トランザクションがロックを待機しています。 共有ロックと排他ロック 共有ロック 共有ロックとは主に参照を行う際に掛けるロックであり複数設定することも可能。しかし SELECT の度にロックを掛けているわけではなく、データや表定義が変更されると困る操作のときにだけ掛けられる。 例: 更新予定の行を宣言して SELECT する(RSロック)、インデッ
【ハウツー】RDBMS操作ツール決定打!? - EclipseからOracle/DB2/MySQL/PostgreSQLを操作 (1) Eclipse SQL Explorerとは (MYCOMジャーナル)
RDBMSデータの管理アプリケーションにExecute Queryがある。MySQL AdministratorやpgAdmin IIIなどとは異なり、データベースに依存しない管理ツールだ。Javaで開発されたRDBMS操作ユーティリティで、さまざまなデータベースに対してSQLクエリの実行やデータベースのインポート/エクスポートなどが可能という特徴をもつ。ここでは同様のアプリケーションとして、Eclipse IDEを使って開発された「Eclipse SQL Explorer」を紹介したい。 Eclipse SQL ExplorerはJDBCを通じてデータベースの閲覧やクエリ操作を行うためのユーティリティツール。GNU LESSER GENERAL PUBLIC LICENSE Version 2.1のもとで公開されているオープンソースソフトウェアで、執筆現在での最新版は8月30日(米国時間
トップページ - DB Designer 4 日本語化サイト
オープンソースでフリーなER図作成ツール「DBDesigner4」の日本語化を試みるサイトトップページ このサイトについて bookmark このサイトはfabForceで公開されているDBモデリングツール「DB Designer 4」の日本語化を試みるサイトです。 個人が運営するサイトなので公式なサイトではありません。 「DB Designer 4」はGPLライセンスで公開されているオープンソースソフトウェアです。 「DB Designer 4」についての詳細情報は本家サイトをご参照ください。 fabFORCE.net DBDesigner4の特徴 bookmark 直感的なGUIによるERモデル図のモデリング ERモデル図からSQL文（CREATEやDELETE）の自動生成 データベースからリバースエンジニアリングによるERモデル図の生成 データベースとERモデル図の同期化機能 軽快
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
リレーショナル・データベースの世界
SQLで木と階層構造のデータを扱う――入れ子集合モデル