その並列処理待った！ 「Python 並列処理」でググったあなたに捧ぐasync, threading, multiprocessingのざっくりとした説明 - Qiita
※ 本記事ではざっくりとした理解を目的とするため、スレッドとプロセスとコア、非同期処理と並列処理と並行処理の違いについて詳細には取り扱いません。気になる方は下記の記事などをご参考ください。 async スレッド数もコア数も1 だから並列処理じゃなくない？ というツッコミは正解です。正確には並列処理ではなくて「非同期処理」といいます。フロントエンドのJavascriptから始めた方にはなじみが深いかもしれませんが、「非同期処理」と「並列処理」は全く違う概念なのでご注意ください。 処理の概要としては、最初に複数のリクエストを投げておいて、レスポンスが全部帰ってくるまで待ち、応答が揃ってから処理を再開します。 これにより、応答に 3~7秒(平均5秒)かかるスクレイピングを100回行う場合、同期処理なら500秒程度かかるところ、asyncを使った非同期処理なら7,8秒程度で実行できます。 （外部と
【Python】asyncioの代替ライブラリtrioを調べてみた - 歩いたら休め
この記事はPython その2 Advent Calendar 2018の遅れてきた15日目の記事です。 最近、クローリング用のプログラムのasyncioを使った並行処理のプログラミングをしており、「asyncioのベストプラクティス」という趣旨の記事を書こうと思っていたのですが、自分自身感覚を掴めておらず、「あれ？これってasyncioのAPI自体も微妙なのでは？」「そもそもasyncioのドキュメントのドキュメントを読んでも、どの機能をどう組み合わせて使えばいいか分からない」と思ってしまっていて記事を書きかねていました。 ただ、知人から「trioというライブラリのAPI設計が素晴らしい」と薦めて頂いたのと、あまりにも待たせてしまうのも申し訳ないのでひとまず「調べてみた」レベルでアウトプットを出します。 私はまだ並列/並行/非同期処理に詳しいわけではないので、大きな思い違いをしている可能
長い時間かかるバッチを並行実行し何倍も早くする - Qiita
何倍も早くなるかどうかは処理している内容によりますが、並行に実行することにより長い時間かかっていたバッチがはやくなることがあります。 並行に実行できそうな例 ゲームの設定などが入っているマスターデータを順番にBigQueryにインポートしているが遅い MySQLのテーブルをRedshiftに順番にコピーしているが遅い 複数のSQLをMySQLに投げ、すべて取得し終わってから処理をしている まだまだたくさんありますが、ひとまずこれくらいに。 上記を実現できそうなモジュールとして、geventがあったので、試してみました。 (ちなみにgeventは1プロセスのイベントループで並行に処理するものなので、CPUバウンドな並列化の場合は、他にも組み合わせる必要があります) geventを使わず直列で実行した場合 通常、何もやらずに処理を書くと以下のように書くことになります。 import time
Kotlinのコーディングが捗る標準ライブラリ - Qiita
Kotlin Advent Calendar 2015の19日目の記事です。 昨日は @magie-poohさんの業務でKotlinを書いている僕がKotlinを書く際に個人的に注意していることでした。 Kotlinは標準ライブラリとして色々便利なAPIを提供してくれています。 しかし、今までのAndroidの開発ではCollectionやProperty系など一部しか使っていませんでした。そこで、もっとコーディングが捗るものがあるのでは、ということでざっと標準ライブラリを使ってみて便利（そう）だと感じたものをメモしておきます。 （CollectionやProperty系は使い方の色々なところで記事になっていると思いますので、今回は対象にはしていません。） 大まかな構成はkotlinソースコードのstdlibフォルダに合わせています。 concurrent io text util 動作確
Rubyで並列処理をやっていく #AdventCalendar - ainameの日記
mixiグループアドベントカレンダー2016 1日目です。 今回は、自分が今まで利用したRubyでの並列処理を書くためのgemとか知見を紹介します。 機運 先日のRubyKaigi 2016で、Ruby3ではGuildという新しい並列処理のモデル*1が、導入されるというセッションがあったり、concurrent-rubyというgemの開発が流行り初めて居たりと、Ruby界隈でも何となく並列処理がブームきているように感じます。 マルチプロセス/スレッド しかしRubyで並列処理するのは言語の仕様としてそれなりに制限があり、他の言語のようにThreadをバンバン立ててマルチコアで計算！爆速化！！みたいなのは難しいです。 というのも、Ruby1.9からネイティブスレッドは導入されたものの多くのC拡張を使ったgemのスレッドセーフ性が問題となるため、GIL(Global interpreter l
Python並列処理(multiprocessingとJoblib) - Qiita
はじめに Python並列処理で検索するとまずでてくるのがmultiprocessingかJoblibです． 両者とも様々に解説記事が上がっていますが，multiprocessingよりもJoblibの方が， 並列化する関数に引数に配列以外の形が取れる Ctrl+cで終了した時に子プロセスも終了してくれる 自動で全体の進捗を表示してくれるオプションがある 等々便利な機能が多いため，普段はそちらを使っていました． ただ，ひょんなことからmultiprocessingを使う機会があり，両者の速度を比較してみたところ，理由はわからなかったのですがmultiprocessingでの並列化の方が速かったため，備忘録を残しておきます． 実行環境 Ubuntu 16.04.1 Intel(R) Core(TM) i7-6700K CPU @ 4.00GHz 仮想8コア、物理4コア Python 3.5.
concurrent.futures使い方メモ - Qiita
Python3.2で新たに標準となったパッケージで、マルチスレッド、マルチプロセスによる並列タスク処理を簡単に実装できる。 Executorという基底クラスを継承する形でThreadPoolExecutor、ProcessPoolExecutorが実装されており、どちらを使ってもほぼ同じインタフェースで書ける。 インストール Python3.2では標準パッケージなのでインストールの必要無し。 2.6以上向けにBackportが提供されている。 import concurrent.futures import hashlib def digest(t): # 適当にCPU資源を消費するための関数 hash = hashlib.sha256() for i in range(t*1000000): hash.update('hogehoge') return hash.hexdigest()
Pythonにおける並列処理プログラミング入門 - MyEnigma
エキスパートPythonプログラミング改訂2版posted with カエレバMichal Jaworski,Tarek Ziade KADOKAWA 2018-02-26 Amazonで最安値を探す楽天市場で最安値を探すYahooショッピングで最安値を探す 目次 目次 はじめに subprocessによる複数子プロセス処理 concurrent.futuresによるマルチプロセス処理 Queueによる並行プログラミング 最後に 参考資料 MyEnigma Supporters はじめに 元々Pythonは、 そこまで処理速度が早い言語ではないので、 システムの処理速度を最適化したい場合は、 C++などで書き直した方が良いのかもしれませんが、 Pythonシステムをあと少し早くしたい時には、 並行処理プログラミングをしてみると、 効果があるかもしれません。 最近のコンピューターはマルチコア
Er.js: Erlang-in-JavaScript
About Er.js piggybacks on Neil Mix’s Thread.js which fakes threading in JavaScript 1.7 using coroutines and nested generator continuations. The goal is to replicate Erlang’s concurrent lockless process model and message-passing APIs in JavaScript. Running Concurrently Running a JavaScript function in the background is easy with Er.js: Er.spawn(myBackgroundFunction); Er.spawn starts a new Er.js pro
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GitHub - tomnomnom/concurl: Make concurrent requests with the curl command-line tool
Concurrency in Python