タグ

関連タグで絞り込む (2)

タグの絞り込みを解除

Hadoopと圧縮に関するarephのブックマーク (2)

  • HadoopでSnappyを使ってみたメモ | mwSoft

    概要 記事はCHD3を使ってSnappy(犬種はビーグル、趣味は変装)と少しばかり戯れた際のメモ書きです。 尚、文中に出てくる実行時間はCore2DuoやAthllonⅡなどの割と貧弱なCPUによって実行されています。高性能なCPUで測ったらかなり数字は変わるはずなのでご注意ください。 Snappyの特徴 SnappyはGoogleが公開したオープンソースの圧縮ライブラリ。 圧縮率はイマイチだけど圧縮・伸長の速度は速い、Hadoopと相性の良い子。 ベンチマークを見た限りでは、圧縮率や速度はLZOと割と似た感じの数値になることが多い。 SnappyとLZOの一番の違いはライセンス。LZOはGPLなのでApacheライセンスのHadoopとはべ合わせが悪い。対するSnappyはNew BSDなので同梱しやすい。 CDH3u3にはSnappyCodecが入っているので、特に追加のインスト

  • overlasting.net

    overlasting.net 2019 Copyright. All Rights Reserved. The Sponsored Listings displayed above are served automatically by a third party. Neither the service provider nor the domain owner maintain any relationship with the advertisers. In case of trademark issues please contact the domain owner directly (contact information can be found in whois). Privacy Policy

    areph
    areph 2012/08/20
    今まで無圧縮でMapReduceしてたので利用してみたい
  • 1