CDP:Write Proxyパターン - AWS-CloudDesignPattern
解決したい課題 インターネットストレージは一般的に、読み込みに対するキャパシティーやデータの耐久性が非常に高い。しかし、冗長性を保つために複数ローケーションに書き込んでいるほか、HTTPプロトコルでクライアントと通信しているので、書き込み速度が比較的劣るという性質がある。大量データをインターネットストレージに書き込む場合に、パフォーマンスが問題になることがある。 クラウドでの解決/パターンの説明 クライアントからインターネットストレージに直接データを転送するのではなく、仮想サーバーでデータを受け、その仮想サーバーからインターネットストレージへ転送する。クライアントから仮想サーバーへの転送では、HTTPよりも高速なプロトコル（例えばUDPベースのプロトコル）を使うことができる。また、小さいサイズのファイルが大量にある場合は、クライアント側で一度アーカイブし、仮想サーバーに転送後に解凍してイン
高速ならばどんなデータも圧縮して送れる·Snappy MOONGIFT
SnappyはGoogle製の高速なデータ圧縮/解凍ライブラリ。 SnappyはC++製のオープンソース・ソフトウェア。巨大なファイルを送信する場合、圧縮して送るのがマナーだ。数GBのファイルであっても圧縮すれば半分くらいになる可能性がある。送信元、送信先双方にとって嬉しい仕組みだ。 逆にサイズの小さいものはあまり圧縮を意識されることが少ない。だがちりも積もれば山となる、特にデータの送受信量がとても多いGoogleではそう感じられるだろう。圧縮率は高くないが、とにかく高速な圧縮/解凍ライブラリがSnappyだ。 Snappyはデータの圧縮/解凍ライブラリだ。とは言っても圧縮率は高くない。zlibに比べて20〜100%も大きいらしい。だがSnappyの目的は高い圧縮率にある訳ではなく、その高速さだ。圧縮の場合で250MB/s、解凍の場合で500MB/sという高速処理ができるようになっている。
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
