タグ

developとmapreduceに関するfragarach_the_swordのブックマーク (4)

  • [AWARD受賞製品]可用性と使い勝手を高めたHadoop互換のビッグデータ基盤

    ITpro EXPO AWARD 2011で優秀賞に輝いたのは、EMCジャパンのビッグデータ処理ミドルウエア「EMC Greenplum HD」である。OSS(オープンソース)の「Apache Hadoop」とのアプリケーション開発互換性を保ちつつ、同社が一から企業向けに作り直し、性能、可用性、使い勝手を向上させている。 国内の第一号ユーザーはリクルート(Webのログ解析などに利用)。2011年内は、ユーザー数社に対して限定的にGreenplum HDを導入する。2012年の年明け以降、広く一般への販売を開始する。料金はサブスクリプション(購読)形式とし、データ処理ノード1台あたり年額50万円前後としている。 ITpro EXPO 2011の展示ブース(写真1)では、実機(3台のデスクトップPC)を用いたデモンストレーションやシアター上映を通し、Apahce Hadoopと比べたGreen

    [AWARD受賞製品]可用性と使い勝手を高めたHadoop互換のビッグデータ基盤
    fragarach_the_sword
    fragarach_the_sword 2011/11/05
    [AWARD受賞製品]可用性と使い勝手を高めたHadoop互換のビッグデータ基盤 - ITpro EXPO AWARD 2011 レビュー:ITpro
  • Hadoop使ってる?

    NTTデータのHadoopアプライアンス「Lindacloud for Hadoop」のプラットフォームとなる「Lindacloud」 米Googleの分散データ処理技術をオープンソースとして実装した「Hadoop」――。膨大なデータを高速に解析するツールとして桁違いの可能性を持ち、国内の一般企業でも利用が始まりました。 楽天は、ある商品に対するお薦め商品をリストアップする「レコメンド処理」などにHadoopを使用。NTTデータは、全国の渋滞情報をリアルタイムに可視化するシステムなどにHadoopを採用しました。 システムインテグレーターはHadoop関連のツールやサービスを相次いで発表しています。Hadoopを企業情報システムに組み込みやすくなってきました。 Hadoopの導入事例 グーグル発「Hadoop」、日企業も利用へ リクルートや楽天、分散バッチ処理ソフトHadoopの利用を拡

    Hadoop使ってる?
    fragarach_the_sword
    fragarach_the_sword 2011/02/13
    Hadoop使ってる? - 週末スペシャル:ITpro
  • Hadoop MapReduceプログラムを解剖する

    オープンソース・ソフトウェア「Hadoop」のMapReduceジョブは、標準ではJavaで記述します(その他には、Pig、Hive、JAQLといったものがあります)。しかし、意外と初心者には分かりにくいと筆者は感じます。記事では、MapReduceジョブのサンプルコードを使って、できる限り正しくコードの意味を理解し、MapReduceへの入り口を示したいと思います。 HadoopでMapReduceを記述するときに使うAPIが、0.19から0.20に変わるところで新しくなっています。実は、現時点でHadoopプロジェクト体からでさえも、新APIを使ったサンプルが提示されていません。記事では、新しいAPIで筆者が書き直したサンプルを使って解説しますので、このサンプルは0.19以前のHadoopでは動かないことに注意してください。この記事は、0.20.2を使って検証し、解説しています。

    fragarach_the_sword
    fragarach_the_sword 2010/12/08
    Hadoop MapReduceプログラムを解剖する(1/6):CodeZine
  • 平成21年度 産学連携ソフトウェア工学実践事業報告書の公表について(METI/経済産業省)

    高信頼組込みソフトウェア開発(委託先:一般社団法人JASPAR) 報告書(PDF形式:3,278KB) (ZIP形式:2,993KB) ソフトウェア工学の実践強化に関する調査研究(委託先:株式会社三菱総合研究所) 報告書(PDF形式:2,501KB) クラウドコンピューティング時代のDependabilityの考え方などに関する米国の動向調査(委託先:株式会社アイ・ビー・ティ) 報告書(PDF形式:4,583KB) (ZIP形式:4,300KB) クラウド・コンピューティングに関する国内外の制度・技術動向等の調査研究(委託先:株式会社野村総合研究所) 報告書(PDF形式:2,050KB) 高信頼クラウド実現用ソフトウェア開発(分散制御処理技術等に係るデータセンター高信頼化に向けた実証事業)(委託先:株式会社エヌ・ティ・ティ・データ) (PDF形式:9,606KB) (ZIP形式:8,656

    fragarach_the_sword
    fragarach_the_sword 2010/10/25
    平成21年度 産学連携ソフトウェア工学報告書の公表について(METI/経済産業省)
  • 1