タグ

マルチスレッドに関するGen2423のブックマーク (3)

  • Pythonの並行処理を理解したい [マルチスレッド編]

    Python の並行処理についてまとめてみました。 並行処理とは? 並行処理(Concurrent)とは、一定の時間内に複数の処理を同時に進行することを指す用語です。 例えば、コーディング中にアプリのビルドを実行しながら Twitter を見るのもコーディングと Twitter の並行処理です。 並行処理と並列処理の違い 並行処理と類似する処理として、並列処理(Parallel)があります。 2 つの違いを簡単にまとめます。 並行処理(Concurrent) 並行処理は瞬間を切り取ったときには 1 つの処理をしているのですが、ある一定の時間でみると処理を切り替えながら複数の処理をこなしているものを指します。 Python では今から説明するマルチスレッド(ThreadPoolExecutor)とイベントループ(asyncio)がこれに当たります。 並行処理での高速化は複数 API のアクセ

    Pythonの並行処理を理解したい [マルチスレッド編]
  • Amazonやらせレビューチェックの究極版【Python並列処理】

    「並列処理とは?」に関しては、この記事では説明しません。 説明する内容は、実務的にPythonで並列処理を行なうモノとなります。 また、それを無機質な例で示すのも面白くありません。 そこで、過去に行ってきたスクレイピングを並列で行います。 記事の内容 Pythonで並列処理を行なうため必要なライブラリ・モジュールconcurrent.futuresによる並列処理Amazonの商品評価を一気に行う(並列処理)【サンプルコード】Amazonの商品評価 それでは、上記に沿って解説をしていきます。 Pythonで並列処理を行なうため必要なライブラリ・モジュール 「Python 並列処理」で検索したら、以下の3つが候補に出てきます。 threadingconcurrent.futuresJoblib 今回は、concurrent.futuresを利用します。 理由は、以下の2つです。 追加でインス

    Amazonやらせレビューチェックの究極版【Python並列処理】
  • Pythonで学ぶ 基礎からのプログラミング入門(32) マルチスレッド処理を理解しよう(前編) | マイナビニュース

    今回はマルチスレッドについて扱います。マルチスレッドは、簡単に言ってしまえば複数の処理を「並列」に進めることができるものです。マルチスレッドの反対がシングルスレッドであり、これは複数の処理を順番に進めていくものです。逆に言えば、ある処理が終わるまでは次の処理を実施することはできません。マルチスレッドおよびシングルスレッドの“スレッド”は「プログラムの実行単位」のことで、名前からわかるようにマルチスレッドはプログラムをマルチな実行単位で実行します。 今回の流れとしては、まず最初にプログラムの実行時間の測定手法について学びます。これを理解していないとマルチスレッドを使った高速化がどれほど効果的なものか理解しづらいためです。次にさまざまな処理にかかる遅延がどれほどのものかについて学びます。それらの基礎ができたうえで、シングルスレッドの問題点について、その次にマルチスレッドがどのようにその問題を克

    Pythonで学ぶ 基礎からのプログラミング入門(32) マルチスレッド処理を理解しよう(前編) | マイナビニュース
  • 1