Railsアプリの処理を100倍以上に高速化して得られた知見 | Recruit Tech Blog
はじめまして。2019年4月から妊娠・出産アプリ『Babyプラス』の開発チームにJOINした濱田です。 『Babyプラス』のバックエンドはRailsで実装されているのですが、とあるCSV生成処理がとても遅かったので100倍以上に高速化しました。この過程でRailsアプリの処理高速化に関する以下の知見が得られたので、具体例を交えて共有します。この知見は、ActiveRecordを使用してMySQLなどのRDBMSからデータ抽出をする様々な場面で活用できると思います。 いわゆる「N+1問題」を起こさないのは基本 「ActiveRecordインスタンスの生成コスト」はそれなりに高い pluckはjoinsと組み合わせることで他テーブルのカラム値も取得できる 前提: DBスキーマとデータ規模 今回の処理高速化に関わるモデルのDBスキーマとデータ規模は以下の通りです。なお、これらは本エントリ向けに少
Shrineを使って画像をアップロードする | RE:ENGINES
はじめに こんにちは、onoです。 以前、CarrierWaveを使って画像をアップロードするフォームを作成しました。 CarrierWaveは多機能で使いやすいGemだと思いますが、コードが大きく複雑なため、一般的な使い方から外れた場合や問題が発生した場合に処理を追っていくのが大変です。 そこで、今回は実装がシンプルで必要な機能を選んで追加できるShrineを使ってみます。 Shrineとは 簡単な説明 Shrineはファイルをアタッチするためのツールです。 主に画像をアップロードする際に利用されるのではないかと思います。 作者 ShrineはJanko Marohnić氏（リポジトリはこちら）が2015年9月から開発しています。 特徴 主な特徴としては下記の2つが挙げられます。 Shrine本体は必要最小限の機能のみを実装しているため、シンプルでコードが小さい。 リサイズやダイレクトア
半年間の開発環境の改善を振り返る - メドピア開発者ブログ
こんにちは、メドピアCTO室 SREの侘美(たくみ)です。 普段はRails/Vue.js/terraform/Lambdaなどを書いています。 趣味は飼い猫と遊ぶことで、生傷が絶えません。 入社してから約半年間、Railsのプロジェクトで実装をしつつ、合間に開発環境の改善をいろいろとやってきました。けっこうな分量となったので、紹介したいと思います。 なお、本記事で扱う開発環境とは下記2つを指すこととします。 ソースコードの修正/テストの実行/静的解析の実行環境 サービスを起動し、ブラウザでデバッグする環境 特徴 主な改善対象である、「MedPeer」サービスの特徴をご紹介します。 Ruby on Rails製 社内では最も巨大なRailsプロジェクト モデル数693 認証サービス、旧サービス(PHP製)と連携している 開発環境はDocker for Macを利用 コンテナ数は旧システム、
has_many throughで，class_nameとかforeign_keyをちゃんと復習してみる - PartyIX
has_many，throughとかでモデルやテーブルの構成を考えるとき，どうしてもカラム名と関連づけるテーブルの名前が一致しなかったり，望み通りの命名で行けない場合がある． もちろん，一つのテーブルが，他のテーブルのレコードを複数持つだけなら，命名はスマートに決められるのだけれど． 今回の例題は，Userモデルに対するフォロー・フォロワーを実現すること． Userは一つのテーブルでなければならないことはわかりますよね． ということは，UserテーブルがUserFollowという中間テーブルを介して，Userテーブルのレコードをhas_manyするという形をとる． もうガリガリと書いていきます． まず，こういう，元から名前の統一が難しそうな場合はテーブルを先に作ってしまう． Userテーブル id name 1 poteto 2 hoge UserFollowテーブル id user_id
Railsのセッション管理方法について - （2015年までの）odaillyjp blog
セッション管理はWebアプリケーションを開発・運用するときに必ず関わってきますので、ある程度知っておかなければいけないことかと思うのですが、Railsのセッション管理について解説している資料が少ないように思えました。私もRailsのセッション管理についてあまり知識がありませんでしたので、簡単にですがまとめてみました。 なお、今回のエントリはセッション管理の大雑把な仕組みについて知っていることを前提にして進めていきます。セッション管理の仕組みについてご存知ない方は、『体系的に学ぶ 安全なWebアプリケーションの作り方 脆弱性が生まれる原理と対策の実践』という書籍での説明がわかりやすかったので、そちらをご一読されると良いかと思います。 Railsのセッション管理方法 Railsでは、config/initializer/session_store.rbファイルにセッションの管理方法を指定します
curl-to-ruby: Convert curl commands to ruby's net/http
Instantly convert curl commands to Ruby's net/http Ruby's net/http is notorious for not having the friendliest API, but it isn't all that bad. Ruby has great gems like faraday, but in libraries and small utilities it's better to kill your dependencies and use what the stdlib provides. This tool turns a curl command into ruby (2.0+) code using net/http. Currently, it knows the following options: -d
Rails4.2のコネクションプールの実装を理解する - Akatsuki Hackers Lab | 株式会社アカツキ（Akatsuki Inc.)
tl;dr Railsではコネクションプール数を設定していても、1スレッド辺り1コネクションしか持ちません。 発端 アカツキではRails + Unicorn + Nginx + MySQLの構成をAWSで運用しており、c3.4xlargeのインスタンス上で1台辺り64のUnicornワーカープロセスが実行される設定になっています。 ソーシャルゲームでは時にたくさんのアプリケーションサーバを並列稼働される必要がでてきます。特に年末年始の時期は平時の2-3倍のトラフィックが予想され、アプリケーションサーバを最大100台で稼働させる必要がありました。 Railsのdatabase.ymlのpool設定は5だったので、単純に考えると最大 100台 * 64プロセス * 5接続 = 32,000個の接続が常時貼られるのでは？MySQLのmax_connectionsの設定は大丈夫か？という議論があ
Unicorn の graceful restart と環境変数 - eagletmt's blog
Unicorn の graceful restart は無停止でのデプロイを可能にして非常に便利だが、fork を用いて実装されている都合で古いプロセスから新しいプロセスに環境変数が引き継がれるため、そのことに起因するトラブルがいくつかある。 dotenv の設定が書き変わらない 設定情報を dotenv で管理している人も多いと思うけど、環境変数を使っているので罠がある。 例えば最初に .env に MEMCACHE_SERVERS=memcache-server-001:11211 と書いてあったとする。 このとき Unicorn を起動すると、dotenv によって MEMCACHE_SERVERS=memcache-server-001:11211 が環境変数に追加される。 その後、接続先として memcache-server-002:11211 を追加したくなって .env を編
バグハンター・にしむねあ氏特製“脆弱性たっぷり”Webアプリを半日でどこまで「堅牢化」できるか？ - はてなニュース
2017年7月某日の朝9時、デジタルコンサルティング事業などを手がけるSpeeeのオフィスにエンジニアたちが続々と集まってきた。エンジニアたちに向けて提示されたのは、リクルートテクノロジーズ シニアセキュリティエンジニアの西村宗晃氏（にしむねあ氏）いわく「Ruby on Railsで頑張って書いた、脆弱性てんこもりのソーシャルメディアアプリケーション」。そこから半日かけてそのソースコードを修正し、どれだけ堅牢化できるかに取り組むユニークな勉強会が行われた。 （※この記事は、株式会社リクルートテクノロジーズ提供によるPR記事です） クロスサイトスクリプティング（XSS）やSQLインジェクション、ディレクトリトラバーサルといったWebアプリケーションの脆弱性について、知識としては知っているエンジニアが大半だろう。だがこの勉強会では、にしむねあ氏がGitHubで公開したソースコードを目で見て確認
【初心者向け】レビュワーをイライラさせるRSpec集と解決方法 - メドピア開発者ブログ
こんにちは。メドピアにjoinして3ヶ月目の保立です。 毎週のように新しい開発が進むため、毎日楽しくソースコードを書かせてもらっています。 テストコードを制するものは、Railsを制す!!! ということで、今回はメドピアのRSpecについてです。 メドピアでは、RSpecを用いてテストコードを書いており、 - 1) models配下に記載するビジネスロジックに対するUnitTest - 2) 機能ごとのEndToEndTest (E2E Test) の2種類のテストコードを書いています。 RSpecについて、書こうと思ったきっかけ RSpecは（というかRuby自体が）様々な書き方で動かすことができるため、統一したルールがないと、書いた人によってバラバラなテストコードになります。 私も初めてRSpecを書いた際に、参考書やソースコードによって書き方がバラバラで、どのRSpecを参考にすれば
今何かと話題のマストドン(mastodon)鯖を自分用に無料で立てる方法 - jtwp470’s blog
こんにちは。社会人2週間が経過して日々辛い思いを背負っているたんごです。 www.itmedia.co.jp 水曜日頃TLで賑わっていたポストTwitterとか色々呼ばれているマストドン(mastodon)が流行っていますね。ただ日本鯖であるmstdn.jpが1人の大学院生の自宅鯖で動いていてめっちゃアクセスが有ってしんどいみたいな感じだったようですね。そんな中私は仕事を終え帰宅後に1時間程度でAWSにこれをデプロイして自分用として遊んでいます。 基本的には公式ドキュメントをそのまま読めば大抵何とか成るのですが、自分用に鯖を立てて良い感じに公開する方法を記述しておきます。 必要なものと前提知識など LinuxサーバーにSSHしたことがある AWSのアカウント または適当なクラウド事業者を使うことのできるアカウント クレジットカード (無料枠だけなら必要ないかも?) 独自ドメイン エンジニア
デジカメ内部でRubyを動かす狂気！無線LAN内蔵SDカードアダプタPQI Air Cardの間違った使い方
95MB/sで現在世界最速のmicroSDHCカード、SanDiskのExtreme Proを使用した場合、既存の製品であるEye-Fi、FlashAir、Flucard Proをはるか後方に置き去るスピードが出ます。4kのシーケンシャル書き込み38.98MB/sに注目。 これまでは無線LAN内蔵SDカードを使おうとする場合、スピードか、利便性かのトレードオフを迫られたのですが、そうした葛藤は過去のものとなりました。 速さも、利便性も、その両方が我らの手中にあります。 PQI Air CardはARM CPUを搭載。 # cat /proc/cpuinfo Processor : ARM926EJ-S rev 5 (v5l) BogoMIPS : 421.06 Features : swp half fastmult edsp java CPU implementer : 0x41 CPU
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Shrineでアップロードする際に画像を加工する – RE:ENGINES
Rails4でsession storeをActiveRecordに変更