Rubyの並列並行処理のこれまでとこれから - クックパッド開発者ブログ
技術部の笹田です。今日で退職するので、バタバタと返却などの準備をしています。 本記事では、Rubyの並行並列処理の改善についての私の取り組みについて、おもに RubyKaigi 2022 と 2023 で発表した内容をもとにご紹介します。 並行と並列はよく似た言葉ですが、本記事では次のような意味で使います。 並行処理（concurrent processing）は、「複数の独立した実行単位が、待っていればいつか終わる（もしくは、処理が進む）」という論理的な概念で、古典的にはタイムシェアリングシステムなどが挙げられます。 並列処理（parallel processing）は、「複数の独立した実行単位のうちのいくつかが、あるタイミングで同時に動いている」という物理的な概念で、古典的には複数のCPU上で同時に実行させる、というものです。最近では、1つのCPU上で複数コアが同時に動いている、という
並列処理と排他処理 - ROBOT PAYMENT TECH-BLOG
こんにちは、ROBOT PAYMENTの開発統括室ペイメントシステム課のtaniguchikun です。 たまたま業務で並列処理と排他処理を実装することになったので、その辺について記事にしたいと思います。 並列処理とはなんぞや 例え話 排他処理 今回のキーワード ミューテックス セマフォ Lock関数（C#言語） チェックポイント 静的変数 サンプルコード ミューテックスの挙動確認 セマフォの挙動確認 ロック関数の挙動確認 並列処理とはなんぞや 恐らく本記事を読まれている方はエンジニアの方々だと思いますが、一応軽く解説をしたいと思います。 並列処理とは複数の処理を同時に行うといったものになります。 例え話 上記でピンとくる方は読み飛ばしていただいて問題ないです。 一般の方でプログラミングしたことがない方ですと例え話で説明した方がピンとくるものがあると思うので、現実世界のバスに例えたいと思い
マルチスレッド・プログラミングの道具箱
まえがき クラウド上の仮想サーバから手元のスマートフォンまで、いまや複数のCPUコアを搭載するマルチコアはどこにでもある環境になりました。ハードウェア側が並列(Parallel)・並行(Concurrent)処理に向けて急速に進化する一方で、ソフトウェア側つまりプログラミング言語の進化はさほど追い付いていません。並行処理記述の手軽さを求めた Go言語 や、マルチスレッド処理の安全性を重視する Rust言語 などが登場してはいるものの、「普通にプログラムを記述するだけで複数CPUコア環境で高速に走るプログラミング言語」は遠い夢物語のままです。 モダンなプログラミング言語や並列・並行処理ライブラリは、複雑で難解なマルチスレッド処理を直接記述しなくてすむよう、安全性・利便性の高い抽象化レイヤを提供します（例：Go言語のgoroutineとchannel、Rust言語の Rayonライブラリ）。し
圧縮ファイルの展開速度を最大1万倍超高速化するデータ構造を広島大が考案
広島大学は8月31日、富士通研究所と共同で、多くのデータ圧縮方式で採用されている「ハフマン符号」の並列展開処理を高速化する新しいデータ構造「ギャップ配列」を考案したことを発表した。NVIDAのGPU「Tesla V100」を用いて実験した結果、従来の最速展開プログラムと比較して、2.5倍から1万1000倍の高速化を達成できたとしている。 同成果は、同大学大学院先進理工系科学研究科の中野浩嗣教授らの共同研究チームによるもの。詳細は、2020年8月に開催された国際会議「International Conference on Parallel Processing (ICPP)」において発表され、269件の投稿論文の中から最優秀論文賞に選ばれた。 インターネットを介して多数の画像ファイルや動画ファイルなどを転送したり、また記録メディアに保存したりする際、データの圧縮は誰でも日常的に行っている。そ
WebGLで暴力的な並列ソートに挑戦する
日照時間足りてますか？やまだです。 KLab Advent Calender 11日目の記事です。 最近WebGLで実装できるちょっと強そうなソートアルゴリズムを知ったので書いてみました。 WebGLよくわかんないやーって人も雰囲気だけでも伝われば幸いです。 強さの秘訣 WebGLは3Dを描くAPIとして著名ですが、2Dはもちろん、工夫次第で汎用計算（GPGPU）にも応用できます。 WebGLでの演算は通常のJavaScript演算とは違い、GPUを使った並列な浮動小数点演算を可能とします。 そして、ソートアルゴリズムの中には計算量こそ地味なものの、並列処理が可能なものがあります。 そのうちの一つがバイトニックソートです。 GPUを使い、物量で計算する暴力的な並列ソートをやっていきましょう。 バイトニックソートとは 前述のとおり、並列処理が可能なソートアルゴリズムです。 配列を小さい領域に
Parallel and Thread-Safe Ruby at High-Speed with TruffleRuby
These are the slides of my keynote at RubyKaigi 2018: http://rubykaigi.org/2018/presentations/eregontp.html#jun02 Array and Hash are used in every Ruby program. Yet, current implementations either prevent the use of them in parallel (the global interpreter lock in MRI) or lack thread-safety guarantees (JRuby and Rubinius raise an exception on concurrent Array append). Concurrent::Array from concur
PostgreSQL v11新機能先取り：Hash-PartitioningとParallel-Append - KaiGaiの俺メモ
今回のエントリーは PostgreSQL Advent Calendar 2017 - Qiita に参加しています。 PG-Stromの視点からも、PostgreSQL v11には首を長くして待っていた機能が2つ入っている。 その１：Hash-Partitioning github.com その２：Parallel-Append github.com Hash-Partitioningというのは、PostgreSQL v10で追加されたテーブルパーティショニング機能の拡張で、日付時刻などの幅（Range）でパーティション化を行うのではなく、レコードの値をハッシュ関数に通して得られた値を元に、振り分ける先の子テーブルを選択して書き込みを行うというもの。 特徴としては、データの母集団が特異なものでない限り*1、各子テーブルへの書込みは均等に平準化されることになる。これは後で説明する通り、子テ
IPython clusterによるバカパラ（分散並列処理） - Qiita
分散並列処理の基本かつ強力なアプローチとして，Single Program Multiple Data (SPMD) があります．これは，複数のプロセッサが同一のプログラムを実行し，その際に各プロセッサは別々のデータを処理する，というモデルです．大規模なデータを独立で処理できる単位に分割し，小分けのデータを複数のプロセッサで並列に処理することで，データ全体の処理時間を大幅に短縮できます． 例えば，a01.txt, a02.txt, a03.txt, a04.txtを入力ファイルとしてjobというコマンドを実行し，実行結果（出力）をそれぞれ，b01.txt, b02.txt, b03txt, b04.txtに格納することを考えます．次のコードは，この処理をbashシェルスクリプトで実現するものです． このforループ内の処理内容は互いに独立ですので，容易に並列化できますし，全体に要する処理時
Offloading & CUDA: Parallelism in C++ #3/3 (also OpenMP, OpenACC, GPU & Coprocessors like Xeon Phi)
Computer programs can be made faster by making them do many things simultaneously. Let’s study three categorical ways to accomplish that in GCC. In the third episode, we study ways to offload code to various accelerators such as GPU on a graphics card. We also explore CUDA. The previous episode can be found at: https://www.youtube.com/watch?v=MfEkOcMILDo As a plot device in this tool-assisted ed
selenium gridやjenkinsを返さず単体のコードのみで複数のdriverを並列実行 | katsulog
複数のdriverを一気に立ち上げる 複数のdriverを宣言するのには普通に考えると以下のようになります。 driver1 = Selenium::WebDriver.for :chrome driver2 = Selenium::WebDriver.for :chrome driver3 = Selenium::WebDriver.for :chrome driver4 = Selenium::WebDriver.for :chrome driver5 = Selenium::WebDriver.for :chrome driver6 = Selenium::WebDriver.for :chrome driver7 = Selenium::WebDriver.for :chrome driver8 = Selenium::WebDriver.for :chrome driver9 =
Jenkins Pipeline メモ - Qiita
def allocateNode（） { node { echo env.WORKSPACE } } parallel a: { allocateNode() }, b: { allocateNode() } [Pipeline] parallel [Pipeline] [a] { (Branch: a) [Pipeline] [b] { (Branch: b) [Pipeline] [a] node [Pipeline] [b] node [a] Running on master in /var/lib/jenkins/jobs/pipeline-test/workspace [Pipeline] [a] { [b] Running on master in /var/lib/jenkins/jobs/pipeline-test/workspace@2 [Pipeline] [a] e
シェルスクリプトで単純に並列実行・直列実行を行う - Qiita
$ sleep 2 & # コマンド末尾に&をつけて呼び出すとバックグラウンドプロセスになり、並列で実行される $ sleep 4 & $ sleep 1 & $ sleep 4 & $ wait # 上記のバックグラウンドプロセスたちを待機。もっともかかるもので4秒なため、合計で4秒かかる [1] 38498 [2] 38499 [3] 38500 [4] 38501 [3] - 38500 done sleep 1 # 1秒後([1]のプロセスより先に終了) [1] 38498 done sleep 2 # 2秒後 [4] + 38501 done sleep 4 # 4秒後([2]のプロセスとほぼ同時に終了) [2] + 38499 done sleep 4 # 4秒後([4]のプロセスとほぼ同時に終了) echo "hogehoge.shを実行します" ./hogehoge.sh
Thread Safety Analysis — Clang 19.0.0git documentation
Thread Safety Analysis¶ Introduction¶ Clang Thread Safety Analysis is a C++ language extension which warns about potential race conditions in code. The analysis is completely static (i.e. compile-time); there is no run-time overhead. The analysis is still under active development, but it is mature enough to be deployed in an industrial setting. It is being developed by Google, in collaboration wit
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GitHub - kaityo256/sevendayshpc: 一週間でなれる！スパコンプログラマ
並列プログラミング処理系Pelemayの
ARMアーキテクチャと
IoTプラットフォームNervesへの適用
GitHub - aws/aws-parallelcluster: AWS ParallelCluster is an AWS supported Open Source cluster management tool to deploy and manage HPC clusters in the AWS cloud.
Is Parallel Programming still hard?
GitHub - IntelPython/sdc: Numba extension for compiling Pandas data frames, Intel® Scalable Dataframe Compiler
SIMD and Vectorization: Parallelism in C++ #1/3 (multitasking on single core)
MITが並列プログラムの最適化改善のためにLLVMのIRを拡張
