Railsスケーリング（1）Puma、コンカレンシー、GVLのパフォーマンスへの影響を理解する（翻訳）｜TechRacho by BPS株式会社
rails newでRailsアプリケーションを作成したときのデフォルトWebサーバーは、Pumaになります。PumaがHTTPリクエストをどのように処理するかを説明しましょう。 🔗 Pumaがリクエストを処理するしくみ Pumaは受信リクエストをTCPソケットでリッスンします。 リクエストが到着すると、そのリクエストはそのTCPソケットのキューに入れられます。次に、そのリクエストがPumaのプロセスによって取得されます。Pumaのプロセスとは、Railsアプリケーションのインスタンスを実行する、独立したOSプロセスです。 それでは、Pumaがリクエストをどのように処理するかを、順を追って見てみましょう。 Pumaの内部構造 すべての受信コネクションは、ソケットバックログ（socket backlog）に追加されます。ソケットバックログは、保留中のコネクションを保持するOSレベルのキュー
Ruby methods are colorless
👋🏼 This is part of series on concurrency, parallelism and asynchronous programming in Ruby. It’s a deep dive, so it’s divided into 12 main parts: Your Ruby programs are always multi-threaded: Part 1 Your Ruby programs are always multi-threaded: Part 2 Consistent, request-local state Ruby methods are colorless The Thread API: Concurrent, colorless Ruby Interrupting Threads: Concurrent, colorless
Ractorで並列処理を試みる｜グロービス・デジタル・プラットフォーム
はじめまして、グロービスのサーバーサイドエンジニアをしている大澤(@qwyngg)と申します。 Ruby3、そしてRactorがでましたね！ さっそくrbenv global 3.0.0して試していこうと思います。 Ractorとは？並行性のあるコードを書くための新機能です。RubyKaigiでGuildという名前を聞いたことがある方もいらっしゃると思いますが、そのGuildが名称を変えてリリースされました。 名前の通りActorモデルを参考にした機能だそうです。 Ractor.newにブロックを渡すことで並列処理を実行させることができます。 Ractor.new { 5.times do puts :hoge end } Ractor.new { 5.times do puts :fuga end } puts :sleep sleep(5) # Ractorの処理を待ちたいので適当にs
Ruby 3.0 の Ractor を自慢したい - クックパッド開発者ブログ
Ruby の開発をしている技術部の笹田です。娘が自転車に乗り始め、まだ不安なためずっとついていなければならず、少し追っかけまわしただけで息切れがヤバい感じになっています。運動しないと。 ここ数年、Ruby で並列処理を気軽に書くための仕組みである Ractor を Ruby 3.0 で導入するという仕事を、クックパッドでの主務として行ってきました（クックパッドから、これ、と言われていたわけではなく、Ruby を前進させるというミッションの上で行ってきました）。 Ractor は、もともと Guild という名前で開発をはじめ、2020年の春頃、Ractor という名前に変更することにしました。いくつかの機会で発表しています。下記は、RubyKaigi での発表の記録です。 A proposal of new concurrency model for Ruby 3 - RubyKaigi
ruby/ractor.ja.md at ractor · ko1/ruby
1つのRactorは並行実行単位として実行される 1つのRactorは1つ以上のスレッドをもつ スレッドは各 Ractor に属するグローバルロックで共有される Ractor へメッセージを送受信（message passing）しながら同期して実行をすすめる push 型（sender knows receiver）（actor model）の Ractor#send + Ractor.recv pull 型（receiver knows sender）の Ractor.yield + Ractor#take メッセージは Ruby のオブジェクト オブジェクトは共有可能・不可能オブジェクトに二分され、共有不可能オブジェクトはたかだか一つの Ractor からしか参照されない 共有可能オブジェクトをメッセージとして転送すると、単に参照が送られる 共有不可能オブジェクトをメッセージとして転
Guild → Ractor
Guild → Ractor ささだこういち Ruby 3 さみっと 2020/04/17 背景 • Ruby の 1 プロセスでは（基本的には）並列処理できない • 同時に複数 CPU を使う処理 • Ruby（MRI）のThread == 並行処理 • マルチプロセスは難しそう… • そもそも Thread 難しい • 適切な同期漏れ • データレース • レースコンディション • デッドロック、ライブロック • 再現性がなくデバッグが困難 簡単に 並行・並列処理 したい！ 間違いを起こさないためには？ • スレッドを良い感じにサポート • 再現性をあげる（OS scheduler に手を入れるなど） • デバッグサポートを行う（Thread Sanitizer, helgrind, etc） • データの書き換えを禁止 • Erlang など • データ（オブジェクト）を共有しない
GitHub - treasure-data/trino-client-ruby: Trino/Presto client library for Ruby
require 'trino-client' # create a client object: client = Trino::Client.new( server: "localhost:8880", # required option ssl: {verify: false}, catalog: "native", schema: "default", user: "frsyuki", password: "********", time_zone: "US/Pacific", language: "English", properties: { "hive.force_local_scheduling": true, "raptor.reader_stream_buffer_size": "32MB" }, http_proxy: "proxy.example.com:8080",
shoryukenのconcurrencyと実際のスレッド数が違っていたので調べた - Qiita
concurrency: 4 delay: 60 queues: - [test_queue, 1] - [hoge_queue, 1] - [fuga_queue, 1] - [piyo_queue, 1] class TestWorker include Shoryuken::Worker # ... def perform thread_logger.info('perform!') end def thread_logger ActiveSupport::Logger.new("log/worker.thread.#{thread_number}.log") end def thread_number Thread.current.to_s.match(/Thread\:([\da-zA-Z]+)/)[1] end end shoryukenの処理はざっくりと以下のような流れになっ
Railsでマルチスレッドを使用した場合に RuntimeError: Circular dependency detected while autoloading constant というエラーがでる | Simple is Beautiful.
20151019 Railsでマルチスレッドを使用した場合に RuntimeError: Circular dependency detected while autoloading constant というエラーがでる Railsでマルチスレッドを使用してActveRecordのクエリを並列に実行しようとしたら『RuntimeError: Circular dependency detected while autoloading constant …』というようなエラーがでました。 エラーの詳細は RuntimeError (Circular dependency detected while autoloading constant DayRange): app/models/stock.rb:27:in `get_year_data' app/controllers/api_con
並列処理でActiveRecordの処理時間を短縮する - patorashのブログ
ここ最近は並列化による処理速度アップを色々試しています。 Railsプロジェクトのデータに少々不備があることに気づいたので、それを修正するために該当データを抽出しようと思って雑にループを回したら、データ量が多いせいか、全然終了しませんでした。業を煮やした私は、これも並列化してしまおう！と思って並列化の情報を集めることに。 Rubyでの並列処理は、parallelというgemを使うと並列処理がすごく簡単にできました。 github.com parallelのいいところ parallelのいいところは、 並列処理したい対象の配列データを渡すだけでいい map, each, any?, all? などに対応している マルチプロセス、マルチスレッドの両方に対応している というところでしょうか。 簡単な使い方の例 Parallelに対して、配列を渡したら、自動的にCPUの数だけプロセスをフォークして
Rubyのスレッドで並列化するのに向いている処理を調べてみる - ユニファ開発者ブログ
こんにちは、夏に向けて腹筋強化中のWebエンジニア、本間です。 はじめに、この開発者ブログを開設してから、半年が経過しました🎉 気づけばエントリー数も20を超え、開発者ブログっぽくなってきなーと感じております。 この勢いを続けていけるよう、会社としても個人としてもこれからも頑張っていく所存です。 話は変わりまして、今回のブログでは「Rubyのスレッドで並列化するのに向いている処理」を簡単に調べたので、メモがわりに残しておこうと思います。 調査を実施した理由として、バックグラウンドジョブを動かすGemの1つに sidekiq という有名なGemがあります。 このsidekiqの特徴の1つに「マルチスレッドで動作する」というものがあります。 一方、MRI(CRuby)にはGVL(Global VM Lock)、またはGIL(Global Interpreter Lock)と呼ばれる排他制御の
えっ、なにそれこわい
The document discusses differences and similarities between Ruby and JavaScript. It provides examples of accessing hash values, filtering arrays, and handling asynchronous requests. Ruby uses symbols for hash keys and returns values, while JavaScript uses strings and properties. Both languages support passing functions as arguments but represent them differently.
Ruby: mallocでマルチスレッドプログラムのメモリが倍増する理由（翻訳）｜TechRacho by BPS株式会社
要約 メモリ断片化は測定や診断が困難ですが、驚くほど簡単に修正できることもあります。マルチスレッドのCRubyプログラム（mallocのスレッド単位メモリアリーナ）におけるメモリ断片化の原因を追ってみましょう。本記事のボリュームは3343語、20分程度です。 単純な設定変更だけで問題を完全に解決できることはめったにありません。 私の顧客のSidekiqプロセスが大量のメモリを消費していたことがありました（1プロセスあたり1 GB程度）。開始当初の各プロセスは300MB程度でしたが、時間の経過とともにじわじわと肥大化してほぼギガバイトレベルにまで達したところで落ち着き始めました。 私は顧客にMALLOC_ARENA_MAXというたった1つの環境変数の変更を依頼しました。「2に設定してください」と。 プロセス再起動後、「じわじわ肥大化」現象はピタリと止みました。プロセスのメモリ使用量は以前の半
Ruby のように書きやすく C のように速いプログラミング言語「Crystal」 - DMM inside
レビュー自動承認化と精度100%を目指して。いち早く生成AIの導入に踏み出した「ユーザーレビュー基盤」の取り組み
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GitHub - socketry/nio4r: Cross-platform asynchronous I/O primitives for scalable network clients and servers.
Rails ActiveRecordをマルチスレッドで使う
Class: Concurrent::AtomicBoolean — Concurrent
Ruby install 覚え書き
Parallel and Thread-Safe Ruby at High-Speed with TruffleRuby
RailsConf 2018 | The Future of Rails 6: Scalable by Default
