HDFS と HARの違いをアプリに隠蔽させる方法 - Grokbase

テクノロジーカテゴリーの変更を依頼記事元:

grokbase.com

4 usersがブックマークコメント

記事へのコメント0件

注目コメント
新着コメント

新着コメントはまだありません。
このエントリーにコメントしてみましょう。

注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています

リンクを埋め込む

以下のコードをコピーしてサイトに埋め込むことができます

<iframe marginwidth="0" marginheight="0" src="https://b.hatena.ne.jp/entry.parts?url=https%3A%2F%2Fgrokbase.com%2Ft%2Fgg%2Fhadoop-jp%2F129mm2gs0y%2Fhdfs-%25E3%2581%25A8-har%25E3%2581%25AE%25E9%2581%2595%25E3%2581%2584%25E3%2582%2592%25E3%2582%25A2%25E3%2583%2597%25E3%2583%25AA%25E3%2581%25AB%25E9%259A%25A0%25E8%2594%25BD%25E3%2581%2595%25E3%2581%259B%25E3%2582%258B%25E6%2596%25B9%25E6%25B3%2595" scrolling="no" frameborder="0" height="230" width="500"><div class="hatena-bookmark-detail-info"><a href="https://grokbase.com/t/gg/hadoop-jp/129mm2gs0y/hdfs-%E3%81%A8-har%E3%81%AE%E9%81%95%E3%81%84%E3%82%92%E3%82%A2%E3%83%97%E3%83%AA%E3%81%AB%E9%9A%A0%E8%94%BD%E3%81%95%E3%81%9B%E3%82%8B%E6%96%B9%E6%B3%95">HDFS と HARの違いをアプリに隠蔽させる方法 - Grokbase</a><a href="https://b.hatena.ne.jp/entry/s/grokbase.com/t/gg/hadoop-jp/129mm2gs0y/hdfs-%E3%81%A8-har%E3%81%AE%E9%81%95%E3%81%84%E3%82%92%E3%82%A2%E3%83%97%E3%83%AA%E3%81%AB%E9%9A%A0%E8%94%BD%E3%81%95%E3%81%9B%E3%82%8B%E6%96%B9%E6%B3%95">はてなブックマーク - HDFS と HARの違いをアプリに隠蔽させる方法 - Grokbase</a></div></iframe>

プレビュー

規約違反を報告

いまの話題をアプリでチェック！

バナー広告なし
ミュート機能あり
ダークモード搭載

アプリをダウンロード

HDFS と HARの違いをアプリに隠蔽させる方法 - Grokbase

こんにちは、恐らく既存の手段は無いかと思いますが、"もし何か有効な情報があれば"との期待を込めての... こんにちは、恐らく既存の手段は無いかと思いますが、"もし何か有効な情報があれば"との期待を込めての投げかけです。 <<背景>> hadoop を利用したシステム構築を行う上で、どうしても多数の細かなファイルの発生が避けられない状況です。放置すれば、当然 NameNode の fsimeg がメモリーに展開できなくなる所まで行きつきますので、 1. 不要なものは定期的に削除 2. アクセス頻度の低いものは、定期的に har 化を行う予定です。 <<課題>> [2] の har 化に関し、出来れば "アプリ側にはhar 化を意識をさせたくない無い"場合の解決策を模索しています。つまり、アプリは通常通り "hdfs://"でアクセスするけど、実態が既にhar 化されていた場合は、"何れか"で hdfs:// → har:// に変換してアクセスし、ストリームを戻すと言った動作です。正直、