並列処理でActiveRecordの処理時間を短縮する - patorashのブログ
ここ最近は並列化による処理速度アップを色々試しています。 Railsプロジェクトのデータに少々不備があることに気づいたので、それを修正するために該当データを抽出しようと思って雑にループを回したら、データ量が多いせいか、全然終了しませんでした。業を煮やした私は、これも並列化してしまおう！と思って並列化の情報を集めることに。 Rubyでの並列処理は、parallelというgemを使うと並列処理がすごく簡単にできました。 github.com parallelのいいところ parallelのいいところは、 並列処理したい対象の配列データを渡すだけでいい map, each, any?, all? などに対応している マルチプロセス、マルチスレッドの両方に対応している というところでしょうか。 簡単な使い方の例 Parallelに対して、配列を渡したら、自動的にCPUの数だけプロセスをフォークして
【Ruby on Rails】非同期処理についてその②。 〜マルチスレッドとかマルチプロセスを実装してみた〜 - 訳も知らないで
業務で非同期処理の実装が必要となったので、 前回ぼんやりマルチスレッド、マルチプロセスについて調べてみたのですが… 両方軽く実装してみたのでメモ。 実際に実装してみたところ、マルチプロセスでもマルチスレッドでも 処理時間自体は短縮されたのですが、 マルチプロセスだとメモリは食うしメモリ空間？を共有してくれないので スレッドのほうで実装してみました。 (マルチスレッドで十分なときはそれでいいってことかな？) 〜検証環境〜 Rails:3.2.11 ruby:1.9.3p392 Railsで普通に実装 マルチスレッドで実装 〜リファレンス〜 class Thread 〜とても参考になりました！〜 ActiveRecordを複数スレッド環境で利用する - tech.recompile.net 処理内容はDBからUserのid取ってきているだけです。 threads = [] 10.times.w
マルチスレッド/プロセスまとめ（Ruby編） - Qiita
プログラムの実行単位 固有のメモリ空間を持つ(リソースを共有しない) マルチプロセスの場合、物理/仮想メモリ領域間のアドレス解決のオーバーヘッドが高い。 プロセスの実行単位 共通のメモリ空間を持つ（リソースを共有する） マルチスレッドの場合、物理/仮想メモリ領域間のアドレス解決は発生しない。 ユーザースレッド ユーザー空間（アプリケーションが利用するメモリ空間）を利用 1つのプロセスに複数のスレッドがあっても、1つのスレッドしか実行されない。 OSカーネルを介さないスレッド切り替えのため、スレッド切り替えに伴うオーバーヘッドが少ない。 仮想VM上で実行されるスレッドをグリーンスレッドと呼ぶ。 カーネルスレッド カーネル空間（カーネルが利用するメモリ空間）を利用 1つのプロセスに複数のスレッドがある場合、同時に複数（CPUコア数分）のスレッドを実行できる。 OSカーネルを介するスレッド切り替
GNU Parallelがすごすぎて生きるのがつらい
皆さん今日もたくさんのサーバを相手にされていることかと思いますが、いくつかのサーバにアクセスして 1 秒間の統計情報(例えばvmstat 1 2)を集めてパッと表示したい時ってどうやってますかね？shell script を学びはじめたばっかりの僕はこんな感じで書いてました。 $ for i in host1 host2 host3; do ssh $i "vmstat 1 2 | tail -1"; done 0 0 0 329004 210836 14275360 0 0 0 2424 1410 1828 0 0 100 0 0 0 0 0 3716112 587704 25921684 0 0 0 488 1643 2026 0 0 100 0 0 1 0 0 555440 265560 14015548 0 0 0 4204 1534 2392 1 0 99 0 0 vmstatと
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
How to run command or code in parallel in bash shell under Linux or Unix - nixCraft
Grepping a huge file (80GB) any way to speed it up?
GitHub - grosser/parallel: Ruby: parallel processing made simple and fast
