タグ

Hadoopに関するmikurinsのブックマーク (6)

  • Cloudera Standard のご案内 ~ 無償版 大幅機能強化のお知らせ | Cloudera Japan

    データを信頼し、AI を信頼する 信頼できるデータ、信頼できるモデル、信頼できる AI を実現するために、これほど多くのクラウドのさまざまなデータタイプを管理でき、オープンデータのイノベーションと大規模展開に対応できるプラットフォームは他にありません。

    Cloudera Standard のご案内 ~ 無償版 大幅機能強化のお知らせ | Cloudera Japan
  • Welcome to Apache Hadoop!

    Apache Hadoop プロジェクトでは、信頼性の高いスケーラブルな分散コンピューティングのためのオープンソースソフトウェアを開発しています。Hadoop には以下のサブプロジェクトがあります。 Hadoop Common: Hadoop のほかのサブプロジェクトをサポートする共通のユーティリティです。 Avro: 各種スクリプト言語に動的に組み込み可能なデータ直列化システムです。 Chukwa: 大規模分散システムを管理するためのデータ収集システムです。 HBase: 巨大テーブル用の構造化データストレージをサポートするスケーラブルな分散データベースです。 HDFS: アプリケーションデータに対して高いスループットでのアクセスを可能にする分散ファイルシステムです。 Hive: データ・サマライゼーションやアドホックなクエリー操作を可能にするデータウェアハウス・インフラストラクチャです

  • NTTデータのHadoop報告書がすごかった - 科学と非科学の迷宮

    業界トップ のエンタープライズ Hadoop 企業 Cloudera に入社しました http://www.cloudera.co.jp/ 今年の6月に、「平成21年度 産学連携ソフトウェア工学実践事業報告書」というドキュメント群が経産省から公表されました。 そのうちの一つに、NTTデータに委託されたHadoopに関する実証実験の報告書がありましたので、今更ながら読んでみることにしました。 Hadoop界隈の人はもうみんなとっくに読んでるのかもしれませんけど。 http://www.meti.go.jp/policy/mono_info_service/joho/downloadfiles/2010software_research/clou_dist_software.pdf 「高信頼クラウド実現用ソフトウェア開発(分散制御処理技術等に係るデータセンター高信頼化に向けた実証事業)」という

    NTTデータのHadoop報告書がすごかった - 科学と非科学の迷宮
  • Map/Reduce Tutorial

    このドキュメントでは、チュートリアルとして役立つことを目的に、ユーザーが触れる Hadoop Map/Reduce のすべての側面についてまとめて説明します。 Hadoop のインストールと設定が済み、すでに実行されていることを確認してください。詳細については、以下を参照してください。 Hadoop を初めて使うユーザーは、Hadoop クイックスタートを参照してください。 大規模な分散クラスタを使うユーザーは、Hadoop クラスタセットアップを参照してください。 Hadoop Map/Reduce は、どこにでもあるごく普通のハードウェアで構成した (数千ノードの) 大規模なクラスタ上で、膨大なデータ (数テラバイトのデータセット) を並列処理するアプリケーションを簡単に記述できるようにするソフトウェアフレームワークです。 通常、Map/Reduce のジョブは、入力データセットを独立

    mikurins
    mikurins 2014/11/29
    うーむ(深読み)
  • 日立製作所、Hadoopバッチ処理ソフトを導入したブレードシステムを発表

    日立製作所は2013年4月17日、Hadoopを使ってバッチ処理を高速化するために必要なハードウエア/ソフトウエア一式をパッケージ化した製品「かんたんHadoopソリューション for バッチ処理(Asakusa Framework & JP1)」(写真)を発表した。ミドルウエアのインストールや初期導入の手間を省略できる。4月18日に販売を開始し、4月26日に出荷を開始する。 データ集計ソフトであるHadoopのディストリビューションの一つ「Cloudera Hadoop」と、バッチ処理に特化したHadoopフレームワーク「Asakusa Framework」の二つを、ブレードサーバー「HA8000-bd_BD10」(OSはRed Hat Enterprise Linux)とジョブスケジュール実行ソフト「JP1/Automatic Job Management System 3」の環境に導

    日立製作所、Hadoopバッチ処理ソフトを導入したブレードシステムを発表
    mikurins
    mikurins 2013/04/19
    Hadoopか…自宅にもほしいな(何
  • Twitter、買収したBackTypeのリアルタイムデータ処理技術「Storm」を公開へ

    Twitterは米国時間2011年8月4日、同社が先月買収した米BackTypeのリアルタイムデータ処理技術「Storm」をオープンソースとして公開すると発表した。ミズーリ州セントルイスで開催される技術カンファレンス「Strange Loop 2011」に合わせ、9月19日にリリースする。 BackTypeはソーシャルメディアのデータ解析を手がける新興企業で、Twitterの投稿(ツイート)を解析するサービス「BackTweets」などを展開していた。買収後、既存ユーザーへのBackTweetsの提供のみ継続し、他の製品やAPIサービスは中止した。同社のサービスは米Microsoftや米AOL、米Timeなどが採用していた(関連記事:Twitter、ソーシャルメディア解析のBackTypeを買収)。 TwitterのNathan Marz氏によると、Stormは分散処理ソフトウエア「Ha

    Twitter、買収したBackTypeのリアルタイムデータ処理技術「Storm」を公開へ
  • 1