サクサク読めて、アプリ限定の機能も多数!
トップへ戻る
災害への備え
grokbase.com
こんにちは、 恐らく既存の手段は無いかと思いますが、"もし何か有効な情報があれば"との期待を込めての投げかけです。 <<背景>> hadoop を利用したシステム構築を行う上で、どうしても多数の細かなファイルの発生が避けられない状況です。 放置すれば、当然 NameNode の fsimeg がメモリーに展開できなくなる所まで行きつきますので、 1. 不要なものは定期的に削除 2. アクセス頻度の低いものは、定期的に har 化 を行う予定です。 <<課題>> [2] の har 化に関し、出来れば "アプリ側にはhar 化を意識をさせたくない無い"場合の解決策を模索しています。 つまり、アプリは通常通り "hdfs://"でアクセスするけど、実態が既にhar 化されていた場合は、"何れか"で hdfs:// → har:// に変換してアクセスし、ストリームを戻すと言った動作です。正直、
Grokbase is a growing mailing list archive that facilitates discovery of discussions and users within and across groups. ©2018 Grokbase
このページを最初にブックマークしてみませんか?
『Mailing List Archives - Grokbase』の新着エントリーを見る
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く