サクッと高機能なWebスクレイピングを実現できるRubyGem「Kimurai」 - Qiita

はじめに Ateam cyma Advent Calendar 2019 の 6日目です。 本日の担当はエイチームのEC事業本部でWebアプリケーションエンジニアをしている@hibiheionです。 業務では主に自転車ECサイトcymaのバックエンドの機能をRailsで書いています。 今年のアドベントカレンダーでは2日目と3日目に続いての登場です。 本題 WebスクレイピングはWebページの情報を自動的に取得する手法です。 RubyはCapybara（※1）やNokogiri（※2）といったRubyGemのおかげでわりと簡単にWebスクレイピングを実現できます。 ですが、夜間に自動でスクレイピングするという場合などには「Webページから情報を取得する」という本来やりたいこと以外にエラーハンドリングやログの出力といったことに手間をかける必要がでてきます。 そういった手間をかけずに高機能なWe