Ruby on Rails バッチ処理概要｜Offers Tech Blog
はじめに こんにちは。 プロダクト開発人材の副業転職プラットフォーム Offers を運営する株式会社 overflow のエンジニアばばです。 2023 年 1 月に中途入社としてジョインいたしました。 前職では不動産テックのエンジニアとして、データの各種エンジニアリング（クローリング、取り込み、集計処理）や機械学習ロジックのサービスへの組み込みを行っておりました。 overflow では、先日オープンβ版を発表いたしましたプロダクト開発支援組織の生産性最大化を支援するサービスである「Offers MGR」の開発を担当しております。 一見まったく別のプロダクトに見えますが、やっていることは案外共通点があり興味深く毎日開発をしています。 ただ、いまだジョインしたて業務に直結したことを書くネタはないので、Ruby on Rails(以下 Rails)のバッチ処理の概要をまとめてようとおもいま
Railsで大量データを扱うときに気をつけていること - LCL Engineers' Blog
バックエンドエンジニアの横塚です。 Railsで中規模以上のサービスを運用していると、大量のレコードやcsvをバッチで処理したい場面などが出てくると思います。 当たり前のように意識できている人も多いかと思いますが、今回はおさらいの意味も込めてバッチで大量データを扱うときに気をつけていることをまとめていこうと思います！ 大量レコードに対して処理をするときはfind_eachやfind_in_batchesを使う DBからデータを取得してきて処理をしたい場合、eachで処理しようとすると対象データがすべてメモリに展開されてしまいますが、find_eachは1行ずつメモリに展開するため、レコード数を気にせず処理をすることができます。 User.each do |user| # なんか処理 end ↓ User.find_each do |user| # なんか処理 end また、find_in_
Ruby on Rails: Redisを使わないActiveJobのバックエンド「GoodJob」を使ってみるMEMO📝 - Madogiwa Blog
何かしらの非同期なバッチ処理を実装したい場合にはSidekiqをActiveJobのバックエンドとして利用することが多いと思いますが、SidekiqはRedisに依存しており、個人のWebサービスとかでなるべくコストを抑えたいときにはRedisを立てずに実装したいものです。 今回はそういう場合に便利そうなPosgreSQLベースのGoodJobを使ってみたのでMEMO📝 github.com GoodJobとは？ GoodJob is a multithreaded, Postgres-based, ActiveJob backend for Ruby on Rails. good_job/README.md at main · bensheldon/good_job · GitHub 上記の記載の通り、マルチスレッドで動作するPostgresSQLベースのActiveJob backe
Google Play IAB(In-App Billing) 〜Railsでのサーバサイド対応のすべて〜
SPI原点回帰論：事業課題とFour Keysの結節点を見出す実践的ソフトウェアプロセス改善 / DevOpsDays Tokyo 2024
How to use ULID as primary key Rails
A short story Ruby on Rails is a powerful framework it is easy to create APIs and fast website development, one thing that came when I was developing an API was how to change the Integer auto-increment primary key because having a predictable Id can be risky in terms of security if you share it for a client-size application, the user can guess ids and modify the database in the worst of the case,
Docked Rails CLIでRailsの開発環境を素早く構築する
はじめに こんにちは。 GMOアドマーケティングの石丸(@thomi40)です。 前回はRails 7で追加されたComparisonValidatorについて紹介しました。 この記事は GMOアドマーケティング Advent Calendar 2022 3日目の記事です。はじめにこんにちは。GMOアドマーケティングの石丸(@thomi40)です。前回の記事では Rails 7 から実装された query_log_tags について紹介しました。今回の記事では同じく Rails 7 から追加された ComparisonValidator について紹介します。※記事内の画像は筆者が作成したアプリケーションをキャプチャーしたものです。ComparisonValidatorとはComparisonValidator は任意のオブジェクトの比較を行うバリデーターです。数値の比較には Numeric
RailsのAPIサーバーのエラーレスポンスで例外に対応するエラーコードを返却する - Timee Product Team Blog
はじめましてこんにちは。 夏が本気を出してきて最近麺類しか口にしていないサーバサイドエンジニアのかしまです。 この度APIにてHTTP Status Codeとは別に、例外に対応するエラーコードを返すよう奮闘したのでその知見を共有したいと思います。 やりたいこと APIにて例外が発生した場合、以下の形式でレスポンスを返すようにします。 { "errors": [ { "code": "code1", "message": "message1", }, { "code": "code2", "message": "message2", }, ] } Why？ 今回追加したAPIは外部のアプリケーションとの連携に使うため、以下の要件を満たす必要がありました。 クライアントサイドがハンドリングしやすいような設計にする エラーの識別子は不変であること そのためエラーメッセージとは別に、コードを返す
Rails on Docker
Rails on Docker Author Name Brad Gessler @bradgessler @bradgessler Image by Annie Ruygt Rails 7.1 is getting an official Dockerfile, which should make it easier to deploy Rails applications to production environments that support Docker. Think of it as a pre-configured Linux box that will work for most Rails applications. That means you’ll start seeing a Dockerfile in the project directory of a lo
Railsでpumaやsidekiqのスレッド数とコネクションプールの数ってどうやって決めるんですか | 働くひとと組織の健康を創る iCARE
この記事はiCARE Dev Advent Calendar 2022 第1レーン24日目の記事です。 Railsの基本原則の一つに「メニューはおまかせ」があり、デフォルトで設定を良い感じにしてくれています。しかし、本当に自分のユースケースでも問題ない設定だと自信を持って言うためには、なぜこの設定になっているのかの背景知識が必要になります。例えばrails newをするとpumaのスレッド数はデフォルト5、データベースのコネクションプール数も5になっています。これは自分のユースケースで適切な値なのでしょうか？どういうときにいくつに設定するのが正しいのでしょうか？ pumaのスレッド数をどうやって決めるのか pumaはRailsのデフォルトのアプリケーションサーバであり、複数プロセス、複数スレッドで動くアプリケーションサーバです。この記事を執筆している時点で最も利用率の高いアプリケーションサ
Active Recordともっと仲良くなって自然に優しいコードを書くぞ - SmartHR Tech Blog
こんにちは。SmartHRでRails顧問業をしています @willnetです。最近は主にリファクタリングをしています。 SmartHRのバックエンドは基本的にRubyで書かれています。しかし入社してくるバックエンドエンジニアは必ずしもRubyやRailsを長年使ってきた人だけではなく、前職では他言語を使っていてRuby(Rails)はほとんど使ったことがないという人もいます。 webアプリケーションを作る、という点ではどの言語でも抑えるべき点は同じですが、RubyやRailsに特化した考え方や書き方もありますよね。SmartHRではそれを効率よく習得してもらうために読書会を開催したり、社内のドキュメントツールに知見を書いて共有したりしています。 僕も社内のドキュメントツールにActive Recordの付き合い方ついて書いたところ、評判が良く「テックブログにしたら？」と言われたので今回一
nginx+puma+rails の worker,thread,connection pool 数の目安 - Qiita
nginx+puma+rails の worker,thread,connection pool 数の目安Railspuma ※間違ってたら指摘を... 前提 MRI(Matz's Ruby Implementation) の前提, JRubyの場合は考え方が変わる。 nginx の worker 数の目安 CPUコア数を基本とする。ただし... 一方で、例えば僕の用途では、現在画像の処理だったりとか、ngx_mrubyのようにリクエストの過程で一部ブロッキングされるような処理も増えてきているため、コア数以上の値に設定しておいた方が性能を発揮できるような状況も増えてきています。 nginxのworkerプロセス数をCPUコア数の倍数で自動的に設定できるモジュールを書いた - 人間とウェブの未来 上記のようにコア数以上に設定した方が良いケースも時としてあるようです。 nginx の work
【Puma】アプリサーバのチューニング – RE:ENGINES
はじめに みなさん、アプリサーバのチューニングはどのように行っていますか？ 私の場合、使うサーバのスペックがだいたい同じくらいなので、過去の設定ファイルを使いまわしていました。 そんな中、先日本番環境で初めてPumaを使用しましたが時間の都合でチューニングが行えませんでしたので、今回Pumaのパフォーマンスチューニングについて調べてみました。 チューニングで注意する項目 アプリサーバのチューニングにおいて注意する項目は下記のとおりです。 子プロセスの数 スレッドの数 Copy-on-write サーバスペック（メモリ、CPU等） これらの項目はPumaに限らずUnicornやPassengerなどの他のアプリサーバにも当てはまります。 それでは個別の設定を見ていきましょう。 子プロセスの数 Puma（UnicornとPassengerも同様）はforkを使う設計になっており、アプリのプロセ
NG ワード検出の工夫とこれから - Tech Inside Drecom
これは ドリコム Advent Calendar 2016 の15日目です。 14日目は ishida-k さんの 新人アートディレクター必見！業務を円滑に進めるための3つの心得 です。 多くの人が安心して遊べるゲーム環境を守るため、ニックネームなど、ゲームユーザの自由な文章入力を受け付ける機能には、NGワード検出が必要です。反社会的な不適切単語や、電話番号などの個人情報が無制限に出回るのを許すわけにはいきません。Mobage, GREEなどでブラウザゲームを提供している時は、主にプラットフォームのテキストAPIを通じてなされていたNGワード検出ですが、ネイティブシフトにあたって自前で機能を持つ必要が発生しました。本稿では、いろんな人々が必要に応じて拡張を入れてきた様子を記します。 あらかじめお伝えしておきますがリアルタイム監視などの高度な機能には触れません。またNGワードそのものは秘匿デ
RSpecで悲観的ロックのテストを書く - hitomedia Tech Blog
こんにちは。花粉症で鼻水が止まらない日々が続いている hilotter です。 同一レコードに対し複数ユーザ（もしくはバッチ処理等）から同時に更新される可能性がある場合、排他制御を行う必要があります。 今回はシンプルなポイント付与機能を例に、悲観的ロックを用いた排他制御のテストを書いてみたいと思います。 シンプルなポイント付与機能仕様 ユーザは他のユーザにポイントを送ることができる 今回のサンプルは以下の環境で確認しました。 Rails 5.1.4 MySQL 5.7.20 MySQLのトランザクション分離レベル REPEATABLE-READ（デフォルト設定） add_pointメソッドの実装 Userモデルにポイントを付与できるadd_pointメソッドを追加します transaction内でlock!を用いて悲観的ロックをかけています。 # app/models/user.rb cl
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
数十億のレコードを持つ 5年目サービスの 設計と障害解決
GitHub - okuramasafumi/alba: Alba is a JSON serializer for Ruby, JRuby and TruffleRuby.
RailsのテーブルのIDをULIDにする - 技術メモ
GitHub - rails/docked: Running Rails from Docker for easy start to development
それPostgreSQLでできるよ @ Rails Developer Meetup 2018 Day 1
i18nについて
