http://www.cloudera.com/sites/default/files/HDFS_Reliability.html
The Hadoop Distributed Filesystem (HDFS) is a distributed storage system for reliably storing petabytes of data on clusters of commodity hardware. This short paper examines the reliability of HDFS and makes recommendations for best practices to follow when running an HDFS installation. Overview of HDFS HDFS has three classes of node: a single name node, responsible for managing the filesys
HDFSでアトミックな追記操作がサポート - moratorium
HDFSでアトミックな追記操作がサポート 2008-07-28 (Mon) 10:12 Hadoop 今週末、HDFS(Hadoop Distributed File System)についにアトミックな追記操作をサポートするパッチがコミットされたようです！ - HADOOP-1700 これが安定すれば、ログファイル等をどんどん追記して、半リアルタイムで解析するような基盤を簡単に作れるようになるでしょう。 そのほかにもHadoopは色々と開発が進んでいて、一部がTomWhiteさんのエントリにまとまっています。どんどん便利に、かつカスタマイズ可能になって行くので楽しいです。以下に簡単にまとめておきます。 JobSchedulerの改善(現在はFIFOしか無いが、Facebookから公平性を考慮したスケジューラーの実装が上がっている) HDFSのブロック配置アルゴリズムをプラッガブルに Ins
HDFS Reliability Document by Cloudera. Inc. - moratorium
HDFS Reliability Document by Cloudera. Inc. 2009-01-14 (Wed) 23:57 Hadoop HDFS Reliability Clouderaという会社から、HDFSの耐障害性の解説と、運用する点でのポイントが書かれたドキュメントが出ているみたいです。 Cloudera このClouderaという会社はSleepycat(BDB作ってた会社、Oracleが買収)の元CEOが立ち上げた会社で、Hadoopの商用サポート・トレーニングをしてるみたいですね。 メンバーを見ると、層々たる面々。ChristophさんはGOOGにいる時に取り上げられてたりしてましたね。 Hadoop周りの人(そんな人いるのか？)は要注目の会社だと思います。 Similar Posts: HDFSでアトミックな追記操作がサポート Hadoopのインストールとサンプ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
C API to HDFS: libhdfs
agilecatcloud.com
Hadoop分散ファイルシステム：アーキテクチャと設計
