高速ならばどんなデータも圧縮して送れる·Snappy MOONGIFT
SnappyはGoogle製の高速なデータ圧縮/解凍ライブラリ。 SnappyはC++製のオープンソース・ソフトウェア。巨大なファイルを送信する場合、圧縮して送るのがマナーだ。数GBのファイルであっても圧縮すれば半分くらいになる可能性がある。送信元、送信先双方にとって嬉しい仕組みだ。 逆にサイズの小さいものはあまり圧縮を意識されることが少ない。だがちりも積もれば山となる、特にデータの送受信量がとても多いGoogleではそう感じられるだろう。圧縮率は高くないが、とにかく高速な圧縮/解凍ライブラリがSnappyだ。 Snappyはデータの圧縮/解凍ライブラリだ。とは言っても圧縮率は高くない。zlibに比べて20〜100%も大きいらしい。だがSnappyの目的は高い圧縮率にある訳ではなく、その高速さだ。圧縮の場合で250MB/s、解凍の場合で500MB/sという高速処理ができるようになっている。
Hadoopの死角、COBOLバッチ処理の並列化
Hadoopの死角、COBOLバッチ処理の並列化：現場にキく、Webシステムの問題解決ノウハウ（8） 本連載は、日立製作所が提供するアプリケーションサーバ「Cosminexus」の開発担当者へのインタビューを通じて、Webシステムにおける、さまざまな問題／トラブルの解決に効くノウハウや注意点を紹介していく。現在起きている問題の解決や、今後の開発のご参考に（編集部） クラウドで可能になった大量データ処理とバッチ処理 クラウド・コンピューティングを前提として、多数のサーバを使い大量のデータ処理をするための手法として、「MapReduce」や、MapReduceをJavaで実現するフレームワーク「Hadoop」に代表される分散並列処理に注目が集まっている。 多数のサーバを使い計算処理を並列化し、それまで非現実的と思われていた大量の計算処理も可能とする手法で、まさに「クラウド時代の技術」といえるだ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
