タグ

HadoopとApacheに関するdecoy2004のブックマーク (5)

  • NoSQL「HBase」はIoTにも最適--柔軟なスキーマでデータ構造の変更に対応

    印刷する メールで送る テキスト HTML 電子書籍 PDF ダウンロード テキスト 電子書籍 PDF クリップした記事をMyページから読むことができます HBase登場の背景 2月24日、オープンソースソフトウェア(OSS)プロジェクト支援団体Apache Software Foundation (ASF) は「Apache HBase 1.0」のリリースを発表しました。HBaseの開発が開始されてから約8年、数々の機能強化と安定性向上のための改良を経て、成熟した製品として一つのマイルストーンに達したことが合意された結果です。第2回では、このHBaseについて掘り下げていきます。 HBaseは、ASFプロジェクトとして開発されているOSSのNoSQLデータベースです。同じくApacheプロジェクトの分散データ処理基盤として開発されている「Apache Hadoop」上で動作し、分散型の

    NoSQL「HBase」はIoTにも最適--柔軟なスキーマでデータ構造の変更に対応
  • 日本よ、これが2014年のHadoopだ!─「Hadoop Conference Japan 2014」基調講演レポート | gihyo.jp

    よ、これが2014年のHadoopだ!─「Hadoop Conference Japan 2014」基調講演レポート 7月8日、東京・ベルサール汐留において「Hadoop Conference Japan 2014(主催: 日Hadoopユーザ会⁠)⁠」が開催されました。2009年の初開催以来、今回で5回目となる同カンファレンスですが、今回の参加登録者数約1,300名のうち、65%(約840名)が初参加とのこと。「⁠Hadoopの裾野の拡がりを確実に感じる」(⁠NTTデータ 濱野賢一朗氏)との言葉通り、HadoopもHadoopユーザもこの5年で大きく変化を遂げていることを示したカンファレンスとなりました。 基調講演会場の模様。今回のテーマは「和風⁠」⁠、来場者には扇子が配られ、登壇者は障子をバックにはっぴ姿で講演を行いました 稿では基調講演の内容をもとに、最初に公開されてから10

    日本よ、これが2014年のHadoopだ!─「Hadoop Conference Japan 2014」基調講演レポート | gihyo.jp
    decoy2004
    decoy2004 2014/08/25
    『最近,MapReduce以外のアルゴリズムを動かしていこうとする流れが顕著になっており,その象徴的存在が新フレームワークのYARNであると濱野氏は言います。』
  • Apacheソフトウェア財団、分散並列処理プログラミングフレームワーク「Apache Hadoop 2.5.0」を公開

    Apache Software Foundationは米国時間8月11日、分散並列処理プログラミングフレームワーク「Apache Hadoop」のバージョン2.5.0を提供開始した。 リリースの主な機能や改良点は以下の通り。 HTTPプロキシサーバ使用時の認証機能の向上 「Graphite」に直接書き込むことができる新たなHadoop Metricsシンク Hadoop互換ファイルシステム(HCFS)に関する仕様化 POSIX形式の拡張ファイル属性のサポート WebHDFS API経由でfsimageを閲覧するためのOfflineImageViewer NFSゲートウェイに対するサポートの向上とバグ修正 HDFSデーモンを操作するためのウェブユーザーインタフェース(HTML5とJavaScript)の改良 YARNのREST APIによる、アプリケーションのサブミット(実行)およびキル(

    Apacheソフトウェア財団、分散並列処理プログラミングフレームワーク「Apache Hadoop 2.5.0」を公開
  • MapReduce代替の「Apache Spark 1.0」が登場 | OSDN Magazine

    非営利団体のApache Software Foundation(ASF)は5月30日、大規模なデータ処理を行うための分析ソフトウェア「Apache Spark 1.0」のリリースを発表した。「Apache Hadoop」のMapReduceを置き換えることを目指すもので、多くの変更点が加えられている。 Apache Sparkは米カリフォルニア大学バークレー校のAMPLabで開発された分散コンピューティングフレームワーク。高度なDAG(Directed Acyclic Graph)実行エンジンを持ち、より小さい粒度での処理を行うのが特徴。バッチモードで処理を行うMapReduceと比べるとインメモリ利用時に最大100倍の高速化が可能で、かつより高い安定性もあるという。HDFS、HBase、Cassandraに対応し、スタンドアロンのほか「Apache Mesos」、Amazon AWS

    MapReduce代替の「Apache Spark 1.0」が登場 | OSDN Magazine
    decoy2004
    decoy2004 2014/06/04
    『DAG実行エンジンを持ち、 より小さい粒度での処理を行うのが特徴。バッチモードで処理を行うMapReduceと比べるとインメモリ利用時に最大100倍の高速化が可能で、かつより高い安定性もある』
  • Cloudera Standard のご案内 ~ 無償版 大幅機能強化のお知らせ | Cloudera Japan

    データを信頼し、AI を信頼する 信頼できるデータ、信頼できるモデル、信頼できる AI を実現するために、これほど多くのクラウドのさまざまなデータタイプを管理でき、オープンデータのイノベーションと大規模展開に対応できるプラットフォームは他にありません。

    Cloudera Standard のご案内 ~ 無償版 大幅機能強化のお知らせ | Cloudera Japan
    decoy2004
    decoy2004 2014/03/16
    『ロジスティック回帰のような機械学習アルゴリズムは従来のHadoopベースの実装に比べて100倍高速に実行できます』
  • 1