カラム型データベースでトランザクション処理を実現するカラクリとは？ インメモリとカラム型データベースの可能性を調べる（その5） SAPのHANAは、最初からインメモリデータベースとカラム型データベースの技術を用いて高速な集計や分析処理と高速なトランザクション処理とを両立させることを目指して開発されたと、HANAの開発者でありSAPの共同創業者であるハッソ・プラッタナー氏はHANAの設計思想と実装を解説した著書「In-Memory Data Management」で書いています。 ここでは、その書籍および公開されている論文「Efficient Transaction Processing in SAP HANA Database – The End of a Column Store Myth」（SAP HANAデータベースにおける効果的なトランザクション処理 ― カラムストア神話の終焉）から

インメモリデータベースでサーバが落ちたらデータはどうなる？ インメモリとカラム型データベースの可能性を調べる（その3） サーバのメインメモリ上にあるデータは、サーバの電源が落ちれば消えてしまいます。だからこそ、現在のデータベースではデータを失わないように永続化の手段としてデータベースやログをハードディスクに保存しています。 データベースをメインメモリ上に保持するインメモリデータベースでは、万が一サーバの電源が落ちるなどの物理的障害が発生したらどうなるのでしょう。メモリの内容が消えるのと同時にデータベースを失ってしまったり、整合性が失われるなどの問題が発生してしまう心配はないのでしょうか。 結論としては、インメモリデータベースでもつねにログをハードディスクやフラッシュドライブなどのストレージへ書き込んで、サーバの物理的障害に備えています。インメモリデータベースであっても、メインメモリだけに依

従来のデータベースをメモリに載せるだけではだめなのか？ インメモリとカラム型データベースの可能性を調べる（その2） 現代のサーバは1台で複数のプロセッサを備え、数百ギガバイトから数テラバイトのメインメモリを搭載可能です。これは多くの企業で利用されているデータベースがそのままメモリに載るほどの容量です。 大量のメモリを搭載したサーバを用いれば、Oracle DatabaseやSQL ServerやDB2など従来のディスクベースのデータベースでも、データベースをまるごとメインメモリのバッファキャッシュに載せることができます。そうすればディスクアクセスのボトルネックは事実上ほとんどなくせるため、高速なデータベースアクセスが実現します。 だとしたら、データベースをすべてメモリに載せる機能を備えたインメモリデータベースを、わざわざ使う必要はあるのでしょうか？ この疑問は、以前の記事「キャッシュの大き

インメモリデータベース、カラム型データベースは使い物になるのか？ インメモリとカラム型データベースの可能性を調べる（その1） ERPベンダ最大手のSAPは2010年、新規に開発したデータベース「SAP HANA」（当時の名称は「SAP High-Performance Analytics Appliance」）を発表しました。 HANAの製品化を背景に、SAPは2012年5月にデータベース市場への本格参入を宣言し、オラクルやIBM、マイクロソフトとデータベース市場で競合していくことを表明。そして今年2013年2月にはついにERPと組み合わせた「SAP Business Suite powered by SAP HANA」の出荷を開始し、業務アプリケーションのバックエンドデータベースとしてHANAの本格利用を開始しました。 HANAには、これまで主流だったリレーショナルデータベースとは異なる

SAP、ミッションクリティカルなERP/CRM向けクラウドサービス「SAP HANA Enterprise Cloud」を発表。基幹業務に特化したベアメタルサーバと仮想プライベートクラウド SAPは、同社の主力製品であるSAP Business Suiteを、ミッションクリティカルな基幹業務向けにクラウドで本格的に提供するサービスを発表しました。 「SAP HANA Enterprise Cloud」は、同社の専用データセンターを基盤にインメモリデータベースであるSAP HANAを用い、その上にERP/CRMなどの機能を持つSAP Business Suiteと、データ分析機能を備持つNetWeaver Business Warehouseなどのアプリケーションを提供します。 SAPはSAP HANA Enterprise Cloudを、大規模でミッションクリティカルな基幹業務用途を対象に

「何年も前に、私たち物理学者はムーアの法則が終わると予想していました。一方で、分子コンピュータや素粒子コンピュータといった新しいコンピュータが登場すると考えられています。問題は、それがいつかということです」 著名な理論物理学者のミチオ・カク博士は、先日公開されたBigThinkのビデオでムーアの法則の終焉と、その先のコンピュータについて語っています。カク博士は、10年程度でムーアの法則は終わり、次は分子コンピュータだと予想しています。 シリコンの次は分子コンピュータ、そして量子コンピュータ カク博士は、ムーアの法則が熱と量子力学的な微細化の限界に近づきつつあると説明します。現在のプロセッサの回路は原子20個分の幅しかなく、これが5個になると、熱によってチップが溶ける、あるいは量子論に支配されて電子の位置が決定できなくなり、電子が回路の中にあるのか、外にあるのか分からなくなるため、シリコンに

経営コンサルティングなどを提供する米アクセンチュアは、独自のクラウドサービス「Accenture Cloud Platform」を発表。コンサルティングやソリューションの提供だけでなく、クラウドを通じたITインフラも自社サービスとして提供することになります。 アクセンチュアはこれまでに4000ものクラウド関連のプロジェクトを顧客から依頼されており、今後さらにそれを推進するとのこと。プレスリリースから引用します。 The Accenture Cloud Platform represents an important next step in Accenture’s cloud strategy and reaffirms the company’s intent to providing cloud brokering and orchestration services that are

Hadoopはビッグデータ処理の汎用プラットフォームであり、SQLやジョインやトランザクションなどが使えるようになる。Hadoopの生みの親であるダグ・カッティング氏は、都内で開催された日本Hadoopユーザー会主催のイベント「Hadoop Conference Japan 2013 Winter」にビデオメッセージで参加。Hadoopの現在、そして将来像について語りました。 カッティング氏が語ったHadoopの将来とはどんなものなのか。ポイントを紹介しましょう。 バッチ処理を超え続くApache Hadoopの進化 Apache Software FoundationのChairmanでありClouderaのChief Architect、Doug Cutting氏。 今日はみなさんと一緒に参加したかったのですが残念ながらかなわず、このビデオをお送りすることになりました。 MapRedu

プロジェクトリーダーに必要な6つの能力。スクラムの生みの親が語る、絶えざるイノベーションの創造（前編） スクラムは、アジャイル開発における方法論の中でもっとも普及している方法論の1つです。スクラムという用語を用い、その考え方を最初に提唱したのは、1986年に一橋大学の野中郁次郎氏と竹内弘高氏が日本企業のベストプラクティスについて研究し、ハーバードビジネスレビュー誌に掲載された論文「The New New Product Development Game」でした。それが1990年代半ばにジェフ・サザーランド（Jeff Sutherland）氏らによってアジャイル開発の方法論としてのスクラム（アジャイルスクラム）になったわけです。 野中氏は知識創造理論によって知られており、ウォールストリートジャーナルによる、「もっとも影響力のある思想家リスト」の20位にランクされています。 1月15日に都内で

プロジェクトリーダーに必要な6つの能力。スクラムの生みの親が語る、絶えざるイノベーションの創造（後編） スクラムは、アジャイル開発における方法論の中でもっとも普及している方法論の1つです。スクラムという用語を用い、その考え方を最初に提唱したのは、1986年に一橋大学の野中郁次郎氏と竹内弘高氏が日本企業のベストプラクティスについて研究し、ハーバードビジネスレビュー誌に掲載された論文「The New New Product Development Game」でした。それが1990年代半ばにジェフ・サザーランド（Jeff Sutherland）氏らによってアジャイル開発の方法論としてのスクラム（アジャイルスクラム）になったわけです。 1月15日に都内で開催されたアジャイル開発をテーマにしたイベント「Scrum Alliance Regional Gathering Tokyo 2013」では、2

NoSQLの登場は、「データベースといえばリレーショナルデータベース」という状況を大きく変えました。リレーショナルデータベースと比べて高速でスケーラビリティに優れたNoSQLデータベースは登場当初から注目されましたが、一方でいまに至るまでさまざまな種類の製品が登場して混沌としているようにも見えます。 （作者 Stefan Edlich、翻訳者 大田 緑 - (株)チェンジビジョン、投稿日 2013年1月1日） NoSQLは厳しい批判に少なくとも4年間さらされてきました。そして、今、NoSQLの現状について中間報告する時がやって来ました。NoSQLの周辺ではいろいろなことが起こったため、全体像をつかんで、どのような目的を達成したか、また、NoSQLはどこで失敗したかを評価するのは簡単なことではありません。 様々な分野において、NoSQLは産業的にも学問的にもかなり成功をおさめてきました。大学

Hadoopといえば大規模分散フレームワークであり、実行にはそれなりのサーバ群を揃えなければならない、と思われがち。 しかしHadoopでもっとも有名なディストリビューションを提供するClouderaは、PC上の仮想マシンで手軽にHadoopを実行できる仮想マシンイメージ「Cloudera's Hadoop Demo VM for CDH4」を無償公開しています。 VMware Player、KVM、VirtualBoxなど幅広い仮想マシンに対応。個人のPCを使って、例えばWindowsの上でも簡単にHadoopを試すことができます。 仮想マシンを使ったHadoopの実行手順を詳しく解説

Hadoopとはどういうソフトウェアであり、いまどのような状況になっているのか。NTTデータの濱野賢一朗氏が、先日行われた第2回 NHNテクノロジーカンファレンスで行われたセッション「日々進化するHadoopの『いま』」で分かりやすく解説しています。 （本記事は「日々進化するHadoop。これまでのおさらいと最近の動向（前編）」の続きです） Hadoopの1.0系と2.0系 Hadoopの開発はかなり活発に進んでいます。 Hadoopでいちばん分からないといわれるのがバージョンで、これは以前からHadoopに接している私たちでもよく分からないくらいです。 Hadoopのバージョンには大きく二系統あって、少し前まで0.20系と呼ばれていたもので、これが現行は1.0系と呼ばれています。もうひとつが0.21、0.22、0.23系と呼ばれていたもの、これがいま2.0系と呼ばれています。 対外的には

大規模な分散処理フレームワークとしてHadoopが登場したことにより、ビッグデータのブームや、大規模なソーシャルゲームでのログ解析による改善、コマースサイトでの機械学習によるレコメンデーションなど、多くの変化が引き起こされてきました。 そしてそのHadoop自体も、日々進化し続けています。 Hadoopとはどういうソフトウェアであり、いまどのような状況になっているのか。NTTデータの濱野賢一朗氏が、先日行われた第2回 NHNテクノロジーカンファレンスで行ったセッション「日々進化するHadoopの『いま』」で分かりやすく解説しています。 この記事ではそのセッションの内容をダイジェストで紹介しましょう。 日々進化するHadoopの「いま」 NTTデータ 基盤システム事業部 濱野賢一朗氏。 NTTデータというところで仕事をしています。NTTデータ自体はもう5年くらいHadoopをやってまして、そ

Mr. Admin、今週のエピソード。 最初は順調に見えて「これは楽勝だわ」と思う仕事でも、結局最後の仕上げに予想以上の手間をとられてくたくたになってしまうこと、ありますよね。

IBMもFusion-io対抗のフラッシュストレージへ本格参入。フラッシュストレージベンダのTexas Memory Systems買収 IBMはフラッシュストレージベンダのTexas Memory Systems買収を発表しました。Texas Memory Systemsの製品には、ラックマウント型フラッシュストレージや、PCIe直結のサーバ内蔵型のフラッシュストレージなどがあります。 RamSan-820は1Uサイズのシャーシに最大24テラバイトのフラッシュストレージを搭載可能で、45万IOPS、4GB/秒のスループット。8GbitファイバーチャネルやQDR InfiniBandで接続可能。 Fusion-ioが開いた市場へ、EMC、IBMが参入へ PCIe接続のサーバ内蔵型フラッシュストレージはFusion-ioがほぼ単独で切り拓いてきた市場で、圧倒的な高性能と低消費電力低発熱などの

ステージの上に専門家が並び、与えられたテーマに沿って本音をぶつけ合う。IT業界ではこうした形態のパネルディスカッションが、ベンダー主催の大きなイベントからコミュニティによる勉強会まで、さまざまな場所で行われています。 筆者（新野）は、10年以上前からパネルディスカッションのモデレータの依頼を数多く受けてきました。おそらく、IT業界においてモデレータをもっとも多くこなしてきたひとりだと思います。 大きなイベントでは、例えば2009年、2010年にIBMのイベント「IBM Rational Software Conference 2009」や「Innovate 2010」で、アジャイル開発をテーマにしたパネルディスカッションのモデレータを担当し、来場者アンケートの評価で2年連続して基調講演を含めて全数十セッション中最高の評価を得たことがありました。コミュニティ主催のイベントでも、昨年の「クラウ

情報システムやソフトウェアの開発に携わる技術者、マネージャー、スタッフなどを対象とした「全国スキル調査」（主催は特定非営利活動法人 ITスキル研究フォーラム）が、8月17日まで開催中です。 診断は以下の3種類で、登録すれば誰でも無料で参加できます。 ■IT技術者向けスキル診断「ITSS-DS」 ITサービスを提供する企業に在籍し、他社向け情報システムや販売用パッケージソフトの企画・開発や運用・保守を請け負ったり、技術者として派遣されている方などが対象 ■組込みソフト技術者向けスキル診断「ETSS-DS」 家電、自動車、産業機械などに組み込まれているソフトウェアやシステムの開発に携わっている方が対象 ■ユーザー企業情報システム技術者向け「UISS-DS」 一般企業やIT企業に在籍し、自社で利用する情報システムの企画・開発や運用・保守を担当している方が対象 IT技術者向けでは、今回からクラウド

海外ではなぜアジャイル型開発が普及しているのか、IPA（独立行政法人情報処理推進機構）が継続的に行っている非ウォーターフォール型開発についての調査や提言活動の一環として、海外でのアジャイル開発の背景などについての報告書「非ウォーターフォール型開発の普及要因と適用領域の拡大に関する調査報告書 （非ウォーターフォール型開発の海外における普及要因編）」が公開されました。 調査対象国は、アメリカ、イギリス、中国、ブラジル、デンマークです。アメリカはアジャイル宣言が行われたアジャイル開発先進国として、イギリスもアジャイル開発の先進国として選ばれ、中国は日本のオフショア先であり新しいソフトウェア開発市場が起こりつつある国として、ブラジルはアジャイルコミュニティが活発化しており、デンマークは政府がアジャイル開発を推進している国として選択されました。 報告書のハイライトを紹介します。 海外でなぜアジャイル

IPAによる海外でのアジャイル開発についての報告書「非ウォーターフォール型開発の普及要因と適用領域の拡大に関する調査報告書 （非ウォーターフォール型開発の海外における普及要因編）」を紹介した昨日の記事「海外でなぜアジャイル開発が普及しているのか？ IPAが分析と提言」は、とても多くの読者に読んでいただき、ツイッターやブックマークなどでもコメントが多数寄せられました。 そうした反響の中で、この調査報告の作成に関わったアジャイル開発の第一人者である平鍋健児氏から「資料の付録にある海外でのインタビューが興味深いので注目してほしい」というメールをいただきました。 インタビューの中で「日本国内に限らず、海外でもアジャイル型開発の普及が進みにくい領域がある」という点を指摘部分は、アジャイル開発がどう位置づけられているのかをあらためて浮き彫りにしているように思います。主に、「リーンソフトウェア開発」シリ