文系の私がエンジニアになっていくお話（Ruby on Rails編 第12回） | IT系の文系・理系学生向け有給インターン・アルバイト募集なら「エンジニアインターン」

文系エンジニアコラムの連載をさせていただいている小林寛和（ひろかず）です。Ruby on Railsのコラムの第12回目となります。前回はRubyGemsの説明をしたので、実際に実装して行きましょう。 Nokogiriを使ってみよう Nokogiriとは？ NokogiriとはRubyGemsの名前です。一般的にはクローラーとして使われることが多いようです。Nokogiriの詳細に関しては、公式リファレンスを参照して下さい。 クローラーの注意点 クローラーを作ると、アプリに幅広さが出てきます。しかしながら、一歩使い方を間違えると相手側サイトに迷惑をかけるばかりか、ブロックされてしまったり、自らも被害を被ることもあるため、注意が必要です。 具体的には、 複数回のアクセスを行う場合は間隔を空けてアクセスする URLへのアクセス単位で毎回クロールする場合、クロールするサイトに大量アクセスが掛かる