bzip2とgzipのParallel版、pbzip2とpigz - done is better than perfect
bzip2とgzipのParallel版、pbzip2とpigz 巨大なテキストファイルを圧縮する必要に迫られたのですが、標準のbzip2やgzipは並列処理に対応しておらず、今どきのマシンだともったいないです。 そこで調べてみると、それぞれのParallel版が見つかりました。pbzip2とpigzです。 Ubuntu 14.04では公式のリポジトリに含まれているようです。早速インストールして、簡単に圧縮解凍のベンチマークを取ってみました。 使うデータは約15GBのcsvファイルです。ほとんどの要素が0のいわゆるsparseなデータなので、圧縮後のデータサイズは物凄く小さくなることが予想されます。 前準備 2つともUbuntuならコマンド一発で入ります。 $ sudo apt-get install pbzip2 $ sudo apt-get install pigz 実験 今回使用する
GNU Parallelがすごすぎて生きるのがつらい
皆さん今日もたくさんのサーバを相手にされていることかと思いますが、いくつかのサーバにアクセスして 1 秒間の統計情報(例えばvmstat 1 2)を集めてパッと表示したい時ってどうやってますかね？shell script を学びはじめたばっかりの僕はこんな感じで書いてました。 $ for i in host1 host2 host3; do ssh $i "vmstat 1 2 | tail -1"; done 0 0 0 329004 210836 14275360 0 0 0 2424 1410 1828 0 0 100 0 0 0 0 0 3716112 587704 25921684 0 0 0 488 1643 2026 0 0 100 0 0 1 0 0 555440 265560 14015548 0 0 0 4204 1534 2392 1 0 99 0 0 vmstatと
Pythonによる並行処理，マルチプロセッシング用ライブラリ/ソリューションのリスト | TRIVIAL TECHNOLOGIES on CLOUD
みんなのIoT/みんなのPythonの著者。二子玉近く160平米の庭付き一戸建てに嫁/息子/娘/わんこと暮らしてます。月間1000万PV/150万UUのWebサービス運営中。 免責事項 プライバシーポリシー python.orgのwikiにある，Parallel Processing and Multiprocessing in Pythonの翻訳です。たくさんありますね〜。抜粋している部分があるので，詳しく知りたい人は原文を読んだりリンクを辿ることをお勧めします:-)。 Pythonには，複数のCPUやマルチコアCPU，共有メモリ環境，クラスタやグリッド環境を活用するためのライブラリが多く存在します。このページでは，個々のライブラリやソリューションの情報を調べてまとめています。 対称型マルチプロセッシング delegate - forkベース。pipeを使ってpickeしたデータを送りプ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
http://groups.csail.mit.edu/mac/users/gjs/6.945/readings/MITApril2009Steele.pdf
