タグ

Hadoopとcloudに関するnobusueのブックマーク (9)

  • 基幹システムをクラウドへあげるのは簡単ではなかった。ノーチラス・テクノロジーズがクラウドの現実を語る(前編)

    基幹システムをクラウドへあげるのは簡単ではなかった。ノーチラス・テクノロジーズがクラウドの現実を語る(前編) 基幹システムをクラウドで実現する。その過程でどのような技術を用い、どのような苦労があったのか。小売り流通業である西鉄ストアの基幹システムをAmazonクラウド(以下、AWSAmazon Web Services)の上で実現したノーチラス・テクノロジーズが、その詳細について紹介したセミナーを5月15日、アマゾンジャパン社のセミナールームで開催しました。 大規模システム開発の現状、Hadoopの可能性、クラウドのメリットとデメリットなど、参考にすべき多くの内容が語られたセミナーでした。この記事ではその概要を紹介します。 止まってはいけない基幹システムをクラウドへ ノーチラス・テクノロジーズ 代表取締役社長 神林飛志氏(写真中央)。 西鉄ストア様の部基幹システムをクラウドへ移行する

    基幹システムをクラウドへあげるのは簡単ではなかった。ノーチラス・テクノロジーズがクラウドの現実を語る(前編)
  • 西鉄ストア、Hadoopベースの基幹系システムがアマゾン上で稼働

    西鉄ストアが「Hadoop」と「Asakusa Framework」の組み合わせで基幹系システムを刷新し、2013年3月末から「Amazon Web Services(AWS)」上で稼働させている。開発元のノーチラス・テクノロジーズが2013年4月9日に発表した。Asakusa Frameworkは、オープンソースソフトウエア(OSS)の分散バッチ処理ソフトHadoopを使って基幹系バッチ処理を行うためのフレームワークである。 西鉄ストアが今回刷新したのは、売り上げの確定処理などを行う「売上・売掛金管理システム」、仕入・費用の計上や買掛金・未払い金などの債権管理・支払い管理を行う「仕入・買掛管理システム」、店舗内のテナントの売り上げや手数料を管理する「テナント管理システム」、個別原価法で損益を管理する「管理会計システム」の4つ。流通業としての同社の基幹系システムのほぼすべてを、Asakus

    西鉄ストア、Hadoopベースの基幹系システムがアマゾン上で稼働
  • 米マイクロソフト、Windows ServerとWindows Azure向けの「Hadoop」

    米マイクロソフトは2011年10月12日(米国時間)、オープンソースソフトウエア(OSS)の分散バッチ処理ソフト「Hadoop」の中心的な開発企業の一つである米ホートンワークスと提携して、Windows ServerとWindows Azure向けのHadoopディストリビューションを提供すると発表した。2011年末までに、Windows Azure向けHadoopのCTP(コミュニティ向け技術評価版)をリリースする。 Hadoopは、米グーグルの「MapReduce」や「Google File System」を参考にした分散バッチ処理ソフトで、米ヤフーが中心となって開発してきた。ホートンワークスは、ヤフーのHadoop開発チームが今年6月に独立した企業である。またHadoopは現在、Apacheソフトウエア財団のトッププロジェクトである。 MSとホートンワークスは共同で、Windows

    米マイクロソフト、Windows ServerとWindows Azure向けの「Hadoop」
  • Hadoopカンファレンスが開催、本格普及を見据えた支援サービスや先進事例が充実

    オープンソースの分散バッチ処理ソフト「Apace Hadoop(以下、Hadoop)」の国内コミュニティが主催するイベント「Hadoop Conference Japan 2011 Fall」が2011年9月26日に都内で開催された(写真1)。第3回となる今回は、リクルートが会場提供と運営支援をすることにより、コミュニティ主催のイベントとしては異例の1000人規模の会場を確保(写真2)、月曜日にもかかわらず多くの参加者が午前10時の開始前から来場した。 米国のHadoopベンダー3社が基調講演 午前中に開催された基調講演では、Hadoopを使ったシステム構築を支援する、ベンダー3社が相次いで登壇。Hadoopの企業情報システムでの利用を前提に、「いかに簡単に構築運用できるか」を主なテーマに据えて、自社製品やサービスの最新動向を語った。 最初に登壇したのは、米ClouderaのTodd Li

    Hadoopカンファレンスが開催、本格普及を見据えた支援サービスや先進事例が充実
  • Hadoop専用機「リンダ」を解剖

    NTTデータの「Lindacloud(リンダクラウド)」は、「Hadoop」に最適化したハードウエアを同社が自ら設計・製造したアプライアンスサーバーだ。機能をそぎ落として、低コストと低消費電力を追求したハードウエアは、大手クラウド事業者が使うサーバーによく似ている。Lindacloudが象徴する、サーバーの新潮流を探った。 Lindacloudが搭載するHadoopは、分散バッチ処理プログラムを開発するためのミドルウエアだ。複数のサーバーにデータを分散保存してバッチ処理を実行し、結果を集約するという機能を備える。 Lindacloudは、高さ42Uのラックに搭載した35台の専用サーバーユニットで構成する。合計で32個のプロセッサと、256Gバイトのメモリー、128T(テラ)バイトのハードディスクを搭載して、価格は800万円(図1)。インテグレーション費用も含まれていることを考えると、安価と

    Hadoop専用機「リンダ」を解剖
  • MapReduceとパラレルRDBでベンチマーク対決、勝者はなんとRDB!

    大量のデータを処理する手法として登場したMapReduce。クラウドに対応した分散処理の定番として話題に上ることが増えてきました。 MapReduceは、大量のデータを分割し、分割したデータを分散したノードに投げてノードごとに処理を実行、結果を集約して最終的な答えを求める、といった手法です。 しかしMapReduceが登場する以前から商用レベルで使われていた分散処理手法があります。データを分散したデータベースに格納し処理を行うパラレル・リレーショナルデータベース(パラレルRDB)がその1つです。 パラレルRDBは、データを複数のデータベースに分散して配置、データベースごとに処理を行い、結果を求める手法です。中央に共有メモリを配置するなどの方法で分散したデータベース同士の連携を行うことが一般的です。 ではパラレル・リレーショナルデータベースはMapReduceより遅いのか? 劣るのか? 両者

    MapReduceとパラレルRDBでベンチマーク対決、勝者はなんとRDB!
  • Hadoop、hBaseで構築する大規模分散データ処理システム

    CodeZine編集部では、現場で活躍するデベロッパーをスターにするためのカンファレンス「Developers Summit」や、エンジニアの生きざまをブーストするためのイベント「Developers Boost」など、さまざまなカンファレンスを企画・運営しています。

    Hadoop、hBaseで構築する大規模分散データ処理システム
  • Legacy Communities - IBM Community

    If you’re looking for a developerWorks forum — Don't panic! You are in the right place. You are here because specific IBM developerWorks forums, blogs and other Connections content have been decommissioned. This page will help you find the content you are looking for, get answers to your questions, and find a new community to call home. Where am I? You are on the IBM Community area, a collection o

  • Hadoop World NYC 参加記 - moratorium

    Hadoop World NYC 参加記 2009-10-07 (Wed) 10:03 Hadoop と言う訳でHadoop World NYC, 2009の参加記を書きます。 1日目はSystem Administrator用のトレーニングコースを受け、2日目がカンファレンス番でした。トレーニングコースはDeveloper向け(3日間)とManager向けのビジネス寄りのコースが有り、合計で100人ぐらいは参加していたと思います。カンファレンスの番自体は400~500人の参加でした。 まずSystem Adminコースですが、大体以下のような内容でした。 MapReduceの基概念 ハードウェア/ネットワーク機器の選定ポイント OSやJavaなど、ソフトウェアでの注意点 Hadoop(Cloudera Distribution)のインストール方法 パラメーター/パフォーマンスチュー

  • 1