筆者らは、オープンソースソフトウエアの分散処理ミドルウエア「Hadoop」を、基幹系のバッチ処理システムに適用するためのフレームワーク「Asakusa」を開発した。AsakusaはHadoopと同様に、オープンソースソフトウエアとして公開する。公開日は、本連載の4回目をお届けする2011年3月31日の予定である。 Asakusaを使うことでHadoopによる分散処理のメリットを享受することが可能となり、これまでRDBMSを利用していた場合と比べて、多くのケースでバッチ処理システムの性能を大幅に向上することができる。筆者らが実際に構築を支援したシステムでは、それまで4時間かかっていた処理が数分で終わるようなケースも出てきている。 盛んに報道されているように、Hadoopはすでに多くの導入実績がある。ただしその用途は、ログ分析システムやレコメンデーションエンジンなどのビジネスインテリジェンス（

Miro boosts security for its visual collaboration app The Enterprise Guard suite will let business users automatically identify and classify sensitive data and gives IT admins more control over encryption.

日立はHadoopの利用を検討する企業に対し、設計支援や導入検証を行うアセスメントサービスを開始する。ミドルウェアやハードウェアの提供にもつなげる構え。 日立製作所（以下、日立）は1月17日、Hadoopを利用した大量データ分散処理のアセスメントサービスを発表した。2月21日から提供開始する。 具体的には、Hadoopを検討しているがデータをどう処理すべきか判断できない企業に対し、アセスメントサービスを通じて分析や検証を支援したり、ユーザーの目的に合ったデータ処理技術を提案したりすることで、分散処理システムへの投資判断ができる状態に引き上げる。ユーザーが、将来的なHadoopの適用に向けた技術的な検証をしたり、日立のミドルウェア製品によるデータ処理システム構築の計画を立てたりするのに役立つという。 実際のところユーザーは、Hadoopに興味や理解があっても、検証環境を持たないことも多い。本

印刷する メールで送る テキスト HTML 電子書籍 PDF ダウンロード テキスト 電子書籍 PDF クリップした記事をMyページから読むことができます 日立製作所は1月17日、オープンソースの分散並列処理フレームワーク「Hadoop」と同社の高速データ処理ソフトを活用した大量データ分散処理のアセスメントサービスを2月21日から提供することを発表した。クラウドソリューション「Harmonious Cloud」のサービスの1つとして提供する。 アセスメントサービスは、分析計画策定コンサルティング、分析方式検証支援、基盤導入検証支援、技術研修といったメニューから構成される。アセスメントとは別に、システムインテグレーションサービスも提供する。パブリッククラウドとして、Harmonious Cloudで提供しているPaaS環境と大量データ分析処理製品を組み合わせたサービスも提供する。また、オンプ

今回取り上げた分散バッチ処理はいずれも、トランザクション処理システムが管理するデータをテキストデータなどとして複製してから処理を行う。データウエアハウス（DWH）よりも、導入コストや開発コストが安価だ 同社は2009年10月、当日の売り上げを店舗別、商品別に分析するために使用していたデータウエアハウス（DWH）ソフトを廃棄した。売り上げ分析をやめたわけではない。DWHを、「テキストファイルを使ったバッチ処理」に置き換えたのだ。 現在同社は、POSレジから集めた売り上げデータをテキストとして保存し、1時間ごとにバッチ処理を行って、店舗別、商品別の売上高を集計する。非常に古典的なバッチ処理に見えるが、処理時間は大幅に短縮した。 同社は全国に70店舗を展開し、合計3万アイテムの商品を扱う。その3万アイテムすべてに対して、売り上げ個数や粗利益、値引き消化率（値引きをして売れた商品の比率）、廃棄率、

日立製作所は2011年1月17日、オープンソースの分散バッチ処理ソフト「Hadoop」の評価や検証を行う「大量データ分散処理アセスメントサービス」を発表した。大量のデータを保有する企業などに対して、Hadoopを使うことでどのようなシステムが実現できるかを提案するコンサルティングサービスや、性能評価などの検証支援サービスを提供する。サービス開始は2月21日。 Hadoopは、米グーグルの分散処理ソフトを基にした分散バッチ処理ソフトで、米国だけでなく日本でもユーザー企業による導入が進んでいる（関連記事：リクルートや楽天、分散バッチ処理ソフトHadoopの利用を拡大）。日立としては、「ユーザー企業はまだ、Hadoopを使って何ができるか見極めている状態」（同社広報）と考え、まずはHadoopに関する評価と検証のサービスを開始した。将来的には、Hadoopを使ったシステム構築サービスなども提供す

Hadoopは、グーグルが検索エンジン用に開発したバッチ処理システムを基に開発された、オープンソースソフトだ。グーグルが開発した分散ファイルシステム「Google File System（GFS）」を模した「Hadoop Distributed File System（HD FS）」と、データ処理機構「MapReduce」を模した「Hadoop MapReduce」で構成する。 米国では米VISAや米JPモルガン・チェースのような大手金融機関が、バッチ処理にHadoopを使用する。 そのHadoopがいよいよ、日本企業でも使われ始めた。例えば楽天は、ある商品に対するお薦め商品をリストアップする「レコメンド処理」にHadoopを使用する。NTTデータは、全国の渋滞情報をリアルタイムに可視化するシステムの構築にHadoopを採用した。三菱UFJインフォメーションテクノロジーもHadoopを使っ

印刷する メールで送る テキスト HTML 電子書籍 PDF ダウンロード テキスト 電子書籍 PDF クリップした記事をMyページから読むことができます 2009年に引き続き2010年もビジネスインテリジェンス（BI）と、その基盤となるデータウェアハウス（DWH）市場では、さまざまな動きが起きている。企業買収もあれば、新技術の台頭もある。この1年間にBIとDWHの市場でどんな動きがあったのかを振り返ってみる（2009年については「激化するBI戦争はDWH分野へと戦線拡大」を参照していただきたい。またBIがどんなものなのかは「BIによるデータ活用ことはじめ」でとても分かりやすくまとめられているので、是非参照してもらいたい）。 IBMとEMCの買収 2010年を振り返ってまず注目できるのが、IBMによるDWHアプライアンス専業ベンダーNetezzaの買収だ。IBMは2007年11月にBIソフ

リクルートや楽天が、オープンソースの分散バッチ処理ソフト「Hadoop」の利用を拡大している。リクルートはWebサーバーのログ解析用DWH（データウエアハウス）としてHadoopを採用。楽天はグループ内の全ログデータを対象とした統合ログ解析基盤の構築を、Hadoopベースで進めている。 NTTデータやウルシステムズなどのシステムインテグレータも、Hadoopを使ったシステム構築に取り組み始めており、1000台規模のHadoopクラスターもすでに稼働している。これら事例は、2010年12月15日に東京・秋葉原で開催された「日経コンピュータセミナー・Hadoopが変える企業情報システムの実像」で発表された。 DWHの構築にHadoopとHiveを採用－－リクルート リクルートは、同社の「じゃらんnet」や「カーセンサー.net」「suumo」といった様々なWebサイトのログデータを一元的に解析

アイネットは2010年12月14日、企業向けのファイル共有・ストレージサービス「Cloudstor」を、2011年2月1日から提供開始すると発表した。パソコンのほかスマートフォンやタブレットPCなど、様々な機器から、ネット上に保存したファイルにアクセスできる。開発にはオープンソースの分散処理ソフト「Hadoop」を活用した。 Hadoopと安価なLinuxサーバーやストレージ機器を組み合わせて、Cloudstorのストレージ基盤システムを開発した。Cloudstorの料金は、1ユーザー当たり月額2400円（ストレージ容量は2Gバイト）から。追加料金を支払うことでストレージ容量を増やすことができ、100Gバイトの料金は約5000円になるという。 同社によれば、Cloudstorのストレージ基盤システム構築にかかった費用は、1Tバイト当たり約10万円。同社の田口勉 常務取締役は「国内の競合他社

分散環境に対応したデータべースNoSQLとRDBMSとの違い クラウド対応のソフトウェアを実現する上でもう1つの課題はデータベースだ。企業で一般的に用いられている既存のリレーショナルデータベースは、分散環境でスケーラブルな性能を発揮するのは苦手である。そのため、クラウドに適応し、よりスケーラブルに性能を向上させることができる仕組みを備えた「NoSQL」（Not Only SQL）と呼ばれる新しい種類のデータベースが登場してきた。従来のリレーショナルデータベースがなぜクラウドのような分散環境でスケーラブルに性能を向上させにくいのかといえば、データベースに関する多くの資源が集中管理されているためだ（図3）。 例えば、リレーショナルデータベースに備わっているトランザクション機能では、データの一貫性をどんなときでも維持するため、排他制御の機能がある。これは、Aさんが更新中のデータはBさんは削除でき

写真●ITpro EXPO 2010のブースでは、Lindacloud にHadoopを組み込んだアプライアンス「Lindacloud for Hadoop」やNASサーバーを搭載した「Lindacloud for NAS」などを出展した ITpro EXPO AWARD 2010の大賞に輝いたのは、NTTデータのクラウドコンピューティング専用のハードウエア「Lindacloud」だ。同社が自社で設計したサーバーきょう体と、一般的なデスクトップ用の部品を組み合わせることで、低いサーバー冷却コストと、低価格を実現した。 同社は、Lindacloudに様々なソフトウエアを搭載して提供していく。ITpro EXPO 2010展示会では、Lindacloud にOSS（オープンソースソフトウエア）の分散処理ソフト「Apache Hadoop」を組み込んだアプライアンス「Lindacloud for

Facebookが15日に発表した新しいサービス「Facebook Messages」は、チャットやつぶやき、そして電子メールなど、自分宛のテキストやメッセージをすべて1つのインボックスで管理できると発表されました。 同社が15カ月かけて開発してきたこの新サービスのバックエンドデータベースは、これまで同社が大規模運用してきたMySQLでも、同社が開発したNoSQLデータベースのCassandraでもなく、グーグルのBigTableをモデルとしてオープンソースで開発された分散データベース「HBase」でした。 Facebookのソフトウェアエンジニア、Kannan Muthukkaruppan氏がFacebookにポストした記事「The Underlying Technology of Messages」で、その技術的背景が紹介されています。 MySQLとCassandraが落選した理由 H

「トヨタ、次代の敵はグーグル」---。こう題するコラムが、2010年10月13日付の日経産業新聞に掲載された。米グーグルは弊社のようなメディア産業だけでなく、広告産業やソフトウエア産業の既存企業に深刻な打撃を与えてきた。そして今や、世界最大の自動車メーカーであるトヨタ自動車さえも、グーグルを脅威と見なし始めているというのだ。 トヨタはグーグルの何を脅威と感じているのか。トヨタは10月5日、スマートグリッド（次世代送電網）の中核となる独自の情報システム「トヨタ スマート センター」を開発したと発表した（発表資料）。日経産業新聞によれば、トヨタの幹部は「スマートグリッドで（グーグルに）攻め込まれたら、事業の根幹が崩れる」との危機感から、自社によるスマートグリッドシステムの開発に取り組んでいるのだという。 電気自動車を充電するためのインフラを他社に押さえられ、規格や仕様を支配されると、「車を自由

印刷する メールで送る テキスト HTML 電子書籍 PDF ダウンロード テキスト 電子書籍 PDF クリップした記事をMyページから読むことができます この数年で企業がシステムに蓄積されるデータを活用する、ビジネスインテリジェンスに大きな注目が集まっている。連動する形でビジネスインテリジェンスの基盤となるデータウェアハウスも大きな動きを見せている。そうした中で大手ベンダーである米Teradataはどんな価値をユーザー企業に提供するのか。同社の最高技術責任者（CTO）のStephen Brobst氏に話を聞いた。 “データの嵐”がやって来た ――今回の「Teradata PARTNERS 2010」では“ビッグデータ”が大きく注目されている。 Brobst　ビッグデータがメインテーマになると言えるだろう。このビッグデータには2つの側面がある。1つがソーシャルメディアなど、テキストのような

印刷する メールで送る テキスト HTML 電子書籍 PDF ダウンロード テキスト 電子書籍 PDF クリップした記事をMyページから読むことができます その量がこれまでとは異なる“ビッグデータ”だが、その質も異なっている。そこから企業にとって価値ある洞察や知見を生み出すには、従来とは異なる“ビッグアナリティクス”が必要になっている――。 データウェアハウス大手の米Teradataのユーザー企業が中心となって運営するイベント「Teradata PARTNERS 2010」が10月24〜28日に開催。イベント2日目となる10月25日の基調講演でTeradataでビジネス開発とマーケティングを担当するエグゼクティブバイスプレジデントのDarryl McDonald氏が話したビッグデータ。企業はそのビッグデータにどのように対応しようとしているのか、イベント中に開催されたセッションやメディア向け

NTTデータがクラウドコンピューティング専用のハードウエア「Lindacloud」を自社開発し、10月から販売を開始した。オープンソースソフトウエア（OSS）の分散バッチ処理ソフト「Hadoop」のアプライアンスサーバーや、NAS（ネットワーク接続型ストレージ）などとして販売する。同社のハード事業参入は、前身の日本電信電話公社時代のメインフレーム「DIPS」以来となる。 Lindacloudは、NTTデータが自社で設計した冷却能力の高いサーバーきょう体と、一般的なパソコン用パーツを使って組み立てた。これにより、サーバー冷却に必要な消費電力を削減すると共に、低価格を実現した。 Lindacloudを開発した同社テレコムビジネス事業部第三統括部の角野みさき部長は、「通信事業者向けにHadoopを使ったシステムを開発するなかで、Hadoopに適した低価格サーバーが必要となった。だが、ニーズを満た