タグ

hdfsに関するnabinnoのブックマーク (2)

  • [第6回]クラスターのアーキテクチャー HDFS編

    第3回でディストリビューションとディトリビューターや製品ベンダーを詳しく説明しましたが、その後2012年6月に様々なベンダーからApache Hadoop関連製品が新たにリリースされています。 米クラウデラは2012年6月5日(現地時間)、Apache Hadoopバージョン2をサポートしたCDH 4.0.0をリリースしました。 同じくHadoopのディストリビューターである米ホートンワークスも2012年6月12日(現地時間)、Apache HadoopのディストリビューションHortonworks Data Platform (HDP) 1.0を、Apache Hadoop 1.0.3ベースでリリースしました。このディストリビューションには管理とモニタリングサービスを提供するコンポーネント、Apache AmbariベースのHortonworks Management Center (H

    [第6回]クラスターのアーキテクチャー HDFS編
  • Hadoopを支える「HDFS」

    出典:日経コンピュータ 2012年6月7日号 pp.102-103 (記事は執筆時の情報に基づいており、現在では異なる場合があります) Hadoopの高速性をひも解くとき、分散ファイルシステム「HDFS」の存在は欠かせない。MapReduceと協調して行う“ローカル処理”は、バッチ処理の高速化に向くアーキテクチャーだ。そんなHDFSにも、BIツールなどが使いづらいという課題がある。HDFSの代替製品をHadoopに組み込む動きは、その解決を目指すものだ。 「HDFS(Hadoop Distributed File System)」は、その名の通り分散バッチ処理ソフト「Apache Hadoop」向けのファイルシステムだ。ファイルを分割して複数のディスクで管理、大量データ処理のスループットを引き上げる。最近になり、HDFSの課題を解決しようと、代替製品をHadoopに組み込む例が増えてきた。

  • 1