Splittable compression そもそもだが圧縮はCPUコストがかかるのでこ全て解決とはならない。CPUバウンドかHDFSバウンドか次第。Bzip2が高圧縮かつSplittableだがCPUコスト高。LZOはindexを別途作成することでSplittableかつCPUコスト低

Hadoop

HHR のブックマーク 2021/05/21 20:37

<blockquote class="hatena-bookmark-comment"><a class="comment-info" href="https://b.hatena.ne.jp/entry/4702949056837773090/comment/HHR" data-user-id="HHR" data-entry-url="https://b.hatena.ne.jp/entry/s/www.dummies.com/category/articles/big-data-33578/" data-original-href="https://www.dummies.com/category/articles/big-data-33578/" data-entry-favicon="https://cdn-ak2.favicon.st-hatena.com/64?url=https%3A%2F%2Fwww.dummies.com%2Fcategory%2Farticles%2Fbig-data-33578%2F" data-user-icon="/users/HHR/profile.png">Big Data Articles - dummies</a><ul class="comment-tag" style="list-style: none; margin: 0px;"><li style="float: left">[<a href="https://b.hatena.ne.jp/q/Hadoop">Hadoop</a>]</li></ul><br><p style="clear: left">Splittable compression そもそもだが圧縮はCPUコストがかかるのでこ全て解決とはならない。CPUバウンドかHDFSバウンドか次第。Bzip2が高圧縮かつSplittableだがCPUコスト高。LZOはindexを別途作成することでSplittableかつCPUコスト低</p><a class="datetime" href="https://b.hatena.ne.jp/HHR/20210521#bookmark-4702949056837773090"><span class="datetime-body">2021/05/21 20:37</span></a></blockquote><script src="https://b.st-hatena.com/js/comment-widget.js" charset="utf-8" async></script>

このブックマークにはスターがありません。
最初のスターをつけてみよう！

Big Data Articles - dummies

www.dummies.com2015/10/28

Big Data Beyond Boundaries: Unstructured Data Orchestration Article / Updated 12-01-2023 Getting the most out of your unstructured data is an essential task for any organization these days, especia...

3 人がブックマーク・1 件のコメント

他のコメントを読む

＼コメントがサクサク読めるアプリです／

はてなブックマーク

Big Data Articles - dummies

はてなブックマーク

公式Twitter

はてなのサービス