タグ

関連タグで絞り込む (1)

タグの絞り込みを解除

hdfsとHadoopに関するkomlowのブックマーク (2)

  • HDFSの新しい機能を確認 (3) – HDFSスナップショット | Tech Blog

    現在、Hadoop 2.x系では HDFSのスナップショット機能が含まれています [1]。CDH5からこの機能がサポートされました。 HDFSスナップショットとは? HDFSでのスナップショットとは、HDFSサービスを停止せず、特定の時点での「状態」を保持するための機能です。従来のHDFSには、 削除したファイルの復旧ができない(HDFSにゴミ箱機能はありますが、、) ある時点でのリカバリができない 定期的なスナップショットを取る仕組みがない という課題がありました。 たとえば、ある時点でHDFSの一貫性があるバックアップを取りたい場合、厳密に一貫性を確保するためにはネームノードを一旦セーフモードにするなどの操作の必要がありました。が、この際にダウンタイムが生じてしまいます。HDFSスナップショットにより、HDFSを停止せずに、特定の時点でのバックアップを取得することが可能になります。 H

    HDFSの新しい機能を確認 (3) – HDFSスナップショット | Tech Blog
  • Hadoop Internals

    This project contains several diagrams describing Apache Hadoop internals (2.3.0 or later). Even if these diagrams are NOT specified in any formal or unambiguous language (e.g., UML), they should be reasonably understandable (here some diagram notation conventions) and useful for any person who want to grasp the main ideas behind Hadoop. Unfortunately, not all the internal details are covered by t

  • 1