Embulkを業務システムで使った話 - 今日もプログラミング
背景 自分はSIerのエンジニアである。 いろいろなお客様の、いろいろな業務システムと格闘するのがお仕事である。 また、今はembulk-input-jdbcとかembulk-output-jdbcのコミッタもやっている。 業務システムとRDBとテキストファイル 業務システムでは、たいていRDBを使っている。 そして、サーバ間でデータを連携するために、RDBからテキストファイルにエクスポートしたり、テキストファイルをRDBにインポートしたりすることが結構ある。 そんなときどうするかと言うと、RDB付属のツールを使うことが多い。 例えば、OracleへのインポートであればSQL*Loader、MySQLへのインポートであればmysqlimport、というように。 RDB付属のツールの問題点 いろいろなお客様がいて、いろいろなシステムがあるので、RDBもいろいろである。 ちなみに、うちの会社で
「応用分野の広い超高速DB技術ができた」、東大・喜連川教授が41億円の成果報告
東京大学生産技術研究所喜連川研究室は2014年7月9日、国から41億円の助成金を受けた研究プロジェクト「FIRST喜連川プロジェクト」の成果報告会を開いた。同プロジェクトでは、既存技術に比べて1000倍の高速で動作する「非順序型データベースエンジン技術」を開発。中心研究者である東大の喜連川優教授（写真1）は「ディスクでもフラッシュでも、商用ソフトでもオープンソースソフトウエア（OSS）でも、同じように高速化する技術ができた」と成果を語った。 FIRST喜連川プロジェクトの正式名称は、内閣府最先端研究開発支援プログラム（FIRST）の「超巨大データベース時代に向けた最高速データベースエンジンの開発と当該エンジンを核とする戦略的社会サービスの実証・評価」で、2010年3月から2014年3月末までの4年間で、非順序（アウト・オブ・オーダー）型実行原理に基づく超高速DBエンジン技術（非順序型DBエ
東大・喜連川研、地理空間DB「PostGIS」を100倍以上に高速化
東京大学生産技術研究所喜連川研究室がオープンソースソフトウエア（OSS）の地理空間データベース（DB）「PostGIS」に、喜連川優教授の研究チームが開発した「非順序型実行原理に基づく超高速DBエンジン技術」を実装し、従来に比べて処理速度を100倍以上高速化した。2014年7月9日に東京都内で開催する「FIRST喜連川プロジェクトの報告とビッグデータの今後に関するシンポジウム」で詳細を発表する。 PostGISはOSSのリレーショナルDBである「PostgreSQL」をベースにした地理空間DBである。PostGISに対して、非順序（アウト・オブ・オーダー）型実行原理に基づく超高速DBエンジン技術（非順序型DBエンジン技術）を適用することで、地図上の特定エリアにターゲットを絞って解析を行うようなクエリー処理が、従来に比べて100倍以上高速化したという。9日に開催するシンポジウムでは「渋谷にい
『アメーバピグにおけるDB構成&対応記』
2ヶ月前にインフルエンザとウィルス性胃腸炎でひどくダメージを受けた増田(@masudaK)です。アメーバピグは2009年2月に始まったサービスで、FLASH・Javaで作られています。そして、データストアにMySQLを用いてます。本記事では、わたくしが2年ほど見続けているアメーバピグのDB環境について構成や、日々どのようにして問題と向き合っているかを紹介したいと思います。インフラ寄りの内容が多いため、アプリ寄りの話は弊社生沼の資料を御覧ください。 1. 構成と規模 1.1. 構成 まず構成ですが、読み書きはすべてマスターへ行うようにしています。そのため、スレーブには参照を向けず、ホットスタンバイとして使っています。バージョンに関しては2012年中旬までは5.0を使ってましたが、DC移転にあわせて5.5にあげました。ロック機能を用いたシャード構成をしてまして、2014年3月現在6シャードにな
アジャイルな分析を可能にするカラムナデータベース、プラガブルなDB
10月17日から3日間、インサイトテクノロジーは「db tech showcase」を開催しました。国内外のさまざまなデータベース製品の専門家が登壇し、それぞれの技術を熱く解説しました。主催者がスピーカーに徹底したのは「ノー・セールス・トーク」（宣伝禁止）。あくまでも「エンジニアを対象とした技術解説に専念するように」というルールだったそうです。 カラムナデータベース「Vectorwise」の速さの秘密 db tech showcaseのセッション内容は盛りだくさんでしたが、本稿ではActianのVectorwiseに絞って紹介しましょう。 Vectorwiseは分析の速さが特徴です。TPC-HのNon-Clusteredで結果を見ると確かに（1TB以下では）性能的にもコストパフォーマンスでもダントツのように見えます。どうしてこのような結果が出せるのか。まずは概要をインサイトテクノロジーの新
複合主キーを避けるべき理由 - 虎塚
データベース設計の話をしていて、「連番の主キーは業務上意味のないデータだから、テーブルに持たせるのはムダだ。複合主キーにするべき」という意見を聞く機会がありました。 脊髄反射で「ないわー」と思ったものの、理由を上手く説明できなかったので、改めて考えてみました。 その結果、次のような結論に至りました。 単一の連番カラムによる主キーと、複合カラムによる主キーとで迷ったら 実装をシンプルにし、業務変更の影響範囲を小さくするために、複合主キーを避ける というわけで、調べたことや考えたことをメモしておきます。# 間違っている部分があれば、教えていただけると嬉しいです。 （2011/07/25 追記）複合主キーとサロゲートキーについては、要件やシステムに依存して多様な判断がありうると思います。にもかかわらず、「避けるべき」というタイトルにしたのは極端でした。申し訳ありません。ご指摘下さった皆さん、あり
SQL Serverというブラックボックスを開いてみる
SQL Serverというブラックボックスを開いてみる：Dr. K's SQL Serverチューニング研修（1）（1/3 ページ） SQL Serverは一般的にチューニング不要のデータベースと認識されている。しかし基幹系業務システムへの導入が進むにつれて、パフォーマンス・チューニングのニーズは急速に高まってきた。そこで本記事では、日本におけるSQL Serverコンサルタントの第一人者、熊澤幸生氏にSQL Serverチューニングのノウハウを語っていただくことにした。インタビュアーはSQL Serverへの造詣が深いITジャーナリスト、工藤淳氏が担当する。（編集局） ―― はじめに 「簡単に導入できるのはいいけれど、いざチューニングしようと思うとブラックボックスで手出しできない」と思われがちなSQL Server。だが、本当にSQL Serverは“いじれない”のだろうか？ 「そんなこ
DBの「トランザクション分離レベル」が必要な理由 （PostgreSQLで，ファントム・リードを防止すべきサンプル事例） - 主に言語とシステム開発に関して
データベースには，「トランザクション分離レベル」というものがある。 以下では，それが なぜ必要なのか？ デフォルトのレベルでは，どうして駄目なのか？ PostgreSQLでは，どうやってレベルを変更・確認するのか？ などを取り上げる。 トランザクション分離レベル トランザクション分離レベルとは： 複数のトランザクションが同時に実行された場合に、他のトランザクションからの影響がどのくらい「分離」するか，のレベル。 ANSI規格では，４つのレベルがある。 READ UNCOMMITTED （一番低い） READ COMMITTED REPEATABLE READ SERIALIZABLE（一番高い） 徹底比較!! PostgreSQL vs MySQL 第３回：トランザクションの比較 http://thinkit.co.jp/free/article/060... トランザクション処理に詳しく
Drizzleプロジェクトの目指すもの、その先を読む（1/3） － ＠IT
クラウドコンピューティング環境のような“massively concurrentな世界”で使えるデータベースを目指すDrizzle。その開発の方向性からこれからのWebシステムで求められるデータベースのあり方が見えるかもしれない。一足先にDrizzleに触れてみよう（編集部） Drizzleとは Drizzle とは、MySQLのもともとの目標である、使いやすさ、信頼性、そしてパフォーマンスに重点を置いたMySQLの派生プロジェクトで、Brian Aker氏（米サン・マイクロシステムズ CTO/Labs：元MySQL Director of Architecture）によって立ち上げられました。 MySQLと比較して機能面におけるDrizzleの大きな違いは、サーバアーキテクチャをマイクロカーネルにすることで、サーバ（MySQLでいうmysqld）には必要最小限の機能しか搭載せず、代わりに
NoSQLについて知っておくべき10の事柄
TechRebublicに「10 things you should know about NoSQL databases」（NoSQLデータベースについて知っておくべき10の事柄）という記事が掲載されています。NoSQLデータベースについての現状がよくまとまっている内容でしたので、見出しとポイントをまとめて紹介したいと思います。 10の事柄は前半と後半の2つに分かれていて、前半の5つではNoSQLの利点について説明されており、後半の5つは課題について説明されています。原文はそれなりに長い説明がされているので、詳しくは原文をぜひ見てみてください。以下はそれを1行程度に要約したものです。 5つのNoSQLの利点 Five advantages of NoSQL 1：Elastic scaling （弾力性のあるスケーラビリティ） NoSQLデータベースでは、ノードの追加による拡張性に柔軟に対
ORACLE／オラクルちょこっとリファレンス
最終更新日：2023/01/03 はじめに オラクルデータベースでシステムの開発をしたり、データベースの勉強をしている時に 「あ、この構文どうやって書くんだったかなぁ」とか 「こういう処理がしたいんだけど何かいい関数がないかなぁ」、 「データベースの情報が取得したいんだけど、どうやるんだろう？」といった ちょこっと調べたい時に使ってもらえればと思い、当サイトを開設しました。 内容は自分が開発してる時にちょっと調べたいと思ったことを中心に書きましたので、 たぶん皆さんのお役に立てると思います。 当サイトはリンクフリーです。 皆様のページにリンクを貼っていただければ嬉しいです。(*^_^*)
Oracle エクスポート／インポート
エクスポート／インポートとは異なるハードウェア構成およびソフトウェア構成のプラットフォーム上にあるOracle データベース間で、データオブジェクトの転送を行うためのオラクル標準ツール。 「エクスポート」にてＤＢ情報（オブジェクト定義や表データなど）をダンプファイルに抽出し、 「インポート」にてダンプファイルの情報を利用してＤＢ情報を出力する。 実行方法各ユーティリティはＯＳコマンド「exp」「imp」とパラメータオプションを指定して実行する。 エクスポート実行方法には以下の３種類がある（インポートの場合はexp部分がimpに変わるだけ）。 ■コマンドライン $ exp [パラメータ]... コマンドの後ろにパラメータを列記して実行する。 ■対話方式 $ exp プロンプトにパラメータが表示されるので、随時入力して実行する（基本的なパラメータしか指定できない）。 ■パラメータファイ
続、グーグルはリレーショナルデータベースをクラウドに乗せるか？
先週、グーグルはリレーショナルデータベースをクラウドに乗せるかというエントリを書いたところ、いくつかのコメントやトラックバックをいただきました。 いずれも興味深いコメントだったにも関わらず、コメント欄に利用しているTypePad Connectがなぜかうまく動作しておらず、表示できませんでした。しかしそれではもったいないので、このエントリとして紹介させていただこうと思います（TypePad Connectには障害報告しました）。 元になったエントリの主旨をまとめると、Google App EngineはJavaに対応したし、企業内のデータセンターとセキュアな通信もできるようになった。これはGoogle App Engineが企業向けのサービスとして方向を定めたことを示す。だとすると、企業システムに不可欠なリレーショナルデータベースもきっとGoogle App Engineにのせてくるのでは
列指向データベース管理システム - Wikipedia
列指向データベース管理システムは、データベース管理システム (DBMS) の内部構造において、列のデータをひとまとまりにして取り出すときに効率的であるように設計されたものである。これはデータウェアハウスや図書館のカタログのように、大量の類似のデータ項目に対し集計が行われるものに対して有用である。[1]このアプローチはvalue-basedなストレージ構造を使用する行指向データベースや相関データベースと対比される。 列指向データベース管理システムは、一般的に「カラムナデータベース」 (Columnar Database) とも呼ばれる。 詳細[編集] 通常のDBMSシステムはひとつの行を構成する列データをひとまとまりとして格納する。これに対し列指向DBMSでは、列の値をまとめてファイルシステム上の近い場所に（あるいはひとまとまりの論理構造として）置くというアプローチがある。 利点[編集] 行
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Rails 複数DB Casual Talks #mdb_casual
できるエンジニアになるための ちょい上DB術・基礎編 インデックス － ＠IT自分戦略研究所
削除フラグのはなし
連載記事 「さらっと覚えるSQL＆T-SQL入門」 － ＠IT
ソーシャルゲームのためのデータベース設計
contrast.ie