楽々スクレイピング! Ruby Mechanizeの使い方 -- ぺけみさお
Mechanizeはスクレイピングを補助するRubyライブラリだ。 MechanizeはCookieのやり取りをはじめ、Webサイトとのインタラクションを自動化してくれる。 Net::HTTPやopen-uriでは面倒なWebサイトへのアクセスを、Mechanizeを使えば簡単にRubyで記述することができる。 以下では拙作のhttp://bestgems.org/を対象として、Mechanize 2.7.0の基本的な使い方を説明する。 初期化とWebページの取得MechanizeでWebページを取得するのは簡単だ。 Mechanizeクラスをnew()し、get()を呼びだせばWebページを取得できる。 WebページはMechanize::Pageオブジェクトになっている。 require 'mechanize' agent = Mechanize.new page = agent.ge
Nokogiriを使ったRubyスクレイピング [初心者向けチュートリアル]
プログラム初心者な方向けに始めたRailsチュートリアルシリーズです。今回はRubyでスクレイピングをしたいという人向けに『Nokogiri』というライブラリを使ったスクレイピングのチュートリアルを作ってみました！ (05-02 08:10) 補足： Windowsではじめての人向けの記事を追加 🏈 目次(1) Webスクレイピングとは？ (2) Nokogiriとは？ (3) 最初に読んでおくと捗りそうな記事 (4) Gem Nokogiriのインストール (5) Yahoo!Japanのトップページからtitleを取得 (6) NaverまとめTechページの注目一覧のタイトル・画像を取得 (7) 実際にコードを書くときに参考になるサイト (8) Railsへの組み込み 🐝 (1) Webスクレイピングとは？WebスクレイピングとはWebサイトのHTMLデータを収集して、特定のデー
![Nokogiriを使ったRubyスクレイピング [初心者向けチュートリアル]](https://cdn-ak-scissors.b.st-hatena.com/image/square/c2ea7e72d0d7f3ba6c237909f321e67ffbdaa24e/height=288;version=1;width=512/https%3A%2F%2Fmorizyun.github.io%2Fimg%2Fog_image.png)
Ruby & Railsの入門チュートリアル・まとめ【無料】
最近、RubyやRails系の入門チュートリアルを中心にいくつかの記事があったので、知っている入門系チュートリアルを一式をまとめてみました。本当の初心者な方から、本格的にRubyを勉強したいと思う人にすっごいオススメです！ (2016/02/20 17:30) 全般的に内容をリファクタリング 😎 スライド 拙著ですが、Railsをスタートダッシュして学ぶときに良さそうな記事や資料をまとめました。 Ruby 概論のスライド Spice Life CTOの五十嵐邦明さんの一橋大学での講義「Ruby概論」のスライド。 🎳 動画 Ruby入門 (全22回) Ruby on Rails 4入門 (全28回) 最初に見てほしいのがRuby/Railsのドットインストール。このあたりから少しずつ始めていくといいと思います！ 🐞 ハンズオンProgate | プログラミングの入門なら基礎から学べるP
phpでxpathを使ってスクレイピング（WEBページの取得）とXpathの書式例｜プログラムメモ
■ 1. まず php-xml のインストール yum install php-xml ■ 2. 実際のサイトからスクレイピングを行って Xpath で要素を取得のPHPコード test.server.com から WEBページを取得してきて＜div id="myid"＞の要素を取得します。 $url='http://test.server.com'; // file_get_contents を使うより高速、ただしメモリは食う require_once 'HTTP/Client.php'; $client =& new HTTP_Client(); $client->get($url); $response = $client->currentResponse(); $dom = @DOMDocument::loadHTML( $response['body']); $xml = sim
たった10行のコードでひたすらアイドル水着画像をあつめる - UT Startup Gym
こんにちは、飯塚です。 ウェブ上にはたくさんのデータがあふれています。その中から「自分の欲しいデータだけ」を「自動」でかき集めることができたら素敵じゃないですか？ そこで今回は UT Startup Gym の「ウェブから情報をあつめる」で取り上げた内容をもとに、たった10行(正確には 9 行)のコードでひたすら「アイドル水着画像」を集める方法を紹介します。言語は PHP です！ まずは結果から はい、これが今日の目標です。 さっそくコード書く mac ユーザはさっそくプリインストールされているターミナル.app を起動して、 $ emacs crawler.phpと入力して Enter（もちろん他のエディタでも OK）。頑張って下のコード（青色のコメント部分は写さなくていいです）を写経してください。 <?php $url = "http://matome.naver.jp/odai/21
ウェブ上の必要なデータを抽出する方法-スクレイピング-
え～と、ネタ切れです。。。今更なんですがスクレイピングをネタにしようかな～なんて。。。 書くネタあるんですけど、ちょっとまとめるのに時間がかかりそうなものばかりなんでちゃちゃっと書けそうなものを選びました。。 PHP Simple HTML DOM Parserについて書きたいと思います。 かなり出回っているのでかなり情報があると思います。 でもこれはほんといいっすよー！ イメージで言ったらウェブ上の必要な箇所をザクっと切り出してくれるという感じですね。 無許可で人のサイトを取り出さないようにしてくださいね。 スポンサーリンク PHP Simple HTML DOM Parserの使い方 まずここからダウンロードしてきてください。 そしてダウンロードしてきたものを解凍して「simple_html_dom.php」このファイルだけをアップします。他のファイルはマニュアルとかサンプルなので必要
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
