Nokogiriを使ったRubyスクレイピング [初心者向けチュートリアル]
プログラム初心者な方向けに始めたRailsチュートリアルシリーズです。今回はRubyでスクレイピングをしたいという人向けに『Nokogiri』というライブラリを使ったスクレイピングのチュートリアルを作ってみました！ (05-02 08:10) 補足： Windowsではじめての人向けの記事を追加 🏈 目次(1) Webスクレイピングとは？ (2) Nokogiriとは？ (3) 最初に読んでおくと捗りそうな記事 (4) Gem Nokogiriのインストール (5) Yahoo!Japanのトップページからtitleを取得 (6) NaverまとめTechページの注目一覧のタイトル・画像を取得 (7) 実際にコードを書くときに参考になるサイト (8) Railsへの組み込み 🐝 (1) Webスクレイピングとは？WebスクレイピングとはWebサイトのHTMLデータを収集して、特定のデー
![Nokogiriを使ったRubyスクレイピング [初心者向けチュートリアル]](https://cdn-ak-scissors.b.st-hatena.com/image/square/c2ea7e72d0d7f3ba6c237909f321e67ffbdaa24e/height=288;version=1;width=512/https%3A%2F%2Fmorizyun.github.io%2Fimg%2Fog_image.png)
Ruby関連HTML/Webスクレイピング・ライブラリまとめ 2014年版
※[ブックマーク]ボタンの中に delicious, reddit, digg, Google+(G+) のボタンもあります。 2014年5月時点で、HTML/Webスクレイピングに使える Ruby 関連のライブラリたちについて、前回 (2010年) のまとめとの差分とともに、概要をまとめた。各々のライブラリの特徴と入手先、HP、インストール方法、ライセンスなどについて簡単に説明している。 今回扱っているのは、nokogiri, Mechanize, Selenium-webdriver, Capybara-webkit, poltergeist の 5 つ。Ruby 以外にも、PhantomJS, Yahoo!Pipes, ScraperWiki, kimono についても取り上げた。 一覧をまとめたのち、比較と評価、おすすめの用途について簡潔に述べる。 背景 2010年に「Ruby関連
middleman で構築したサイトを GitHub Pages で公開するまでの流れをまとめてみた - C++でゲームプログラミング
@supermomonga さんに教えてもらいながら middleman で構築したサイトを GitHub Pages で公開する事ができたので、その手順をまとめておきます。 デプロイとかめんどくさいと思っていたんですが、実際やってみたらめちゃくちゃ簡単でした。 [必要なもの] git github のアカウント gem middleman [middleman の生成] まずはローカルに middleman のプロジェクトを作成します。 middleman は gem からインストールする事ができます。 $ gem install middleman $ middleman version Middleman 3.2.2 これで、middleman のコマンドを使用できるようになったので次のようにして middleman でプロジェクトを生成します。 $ middleman init t
リテラル (Ruby 1.8.7)
数値リテラル 文字列リテラル バックスラッシュ記法 式展開 コマンド出力 ヒアドキュメント (行指向文字列リテラル) 正規表現リテラル 配列式 ハッシュ式 範囲オブジェクト シンボル %記法 数字の1や文字列"hello world"のようにRubyのプログラムの中に直接 記述できる値の事をリテラルといいます。 数値リテラル 123 0d123 整数 -123 符号つき整数 [[trap:Numeric]] 123.45 浮動小数点数 .1 など "." で始まる浮動小数点数は許されなくなりました。0.1 と書く必 要があります。 1.2e-3 浮動小数点数 0xffff 16進整数 0b1011 2進整数 0377 0o377 8進整数 ?a 文字 a のコード (97) 空白類を指定する場合は、?\s, ?\t などとする 必要があります。 ?\C-a コントロール a のコード(1)
Ruby + Bot = Ruboty - ✘╹◡╹✘
https://github.com/r7kamura/ruboty RubotyというRuby製のChatterbotをつくった。 Herokuで動かす Herokuにデプロイすれば無料で動く。 Slackというチャットサービスで動かすならこういう感じ (部屋名とかは適宜変える): $ mkdir mybot $ cd mybot $ echo 'source "https://rubygems.org"' >> Gemfile $ echo 'gem "ruboty"' >> Gemfile $ echo 'gem "ruboty-slack"' >> Gemfile $ echo 'bot: bundle exec ruboty' >> Procfile $ bundle install $ git init $ git add . $ git commit -m "Initial
ASCIIcasts - “Episode 272 - RedcarpetでMarkdown”
272: RedcarpetでMarkdown (view original Railscast) Other translations: Other formats: Written by Naomi Fujimoto 3ヶ月ほど前にGithubがRedcarpetというRuby gemを導入しました。このgemはMarkdownコードを解釈するのに使われ、Githubではドキュメントをマークアップする簡単な方法としてUpskirtライブラリと共に内部的に採用されています。操作方法も簡単なこのRedcarpetを使って、今回のエピソードではRailsアプリケーションに追加する方法およびカスタマイズの方法、またコードブロックをシンタックスハイライトする方法を紹介します。 下の簡単なブログアプリケーションを使って作業を行っていきます。下の記事に入力した内容はHTMLとして直接出力されるの
Redcarpet2のざっくりまとめ - おもしろwebサービス開発日記
githubで使われているMarkdown用ライブラリRedcarpetが後方互換性のない version 2 になるみたいです。現時点のバージョンは 2.0.0b3 で、まだ本リリースではないようですが、これから使うなら2の方を勉強しておくべきだと思うのでまとめます。 基本的にいつものようなREADMEの意訳です。 基本情報 Redcapet は Redcloth の代換として使われてきたけど、バージョン2からは独自のAPIを持つようになる。 Redcarpet は Sundown という名前の Markdown をパースする拡張ライブラリを利用している。詳しくはこちら。 インストール 下記のようにインストールする(ただし、現在は普通にインストールすると1系が入ります)。native extensionsがビルドされるけど、スタンドアロンなので他のライブラリをインストールしておく必要は無
Gem Dailliでキャッシュ(memcache)を有効活用してRailsを高速化！ - 酒と泪とRubyとRailsと
Gem Dailliでキャッシュ(memcache)を有効活用してRailsを高速化！ Feb 9th, 2013 Tweet 『Dalli』はRailsでmemcachedを使うためのクライアントです。特にWebアプリではアクセスが増えるとデータベース側の負荷が高まり、速度が遅くなってしまいます。そういった問題を解決する手段の一つとしてキャッシュを有効活用するのはすごく大切です！ ちなみにWebアプリにおけるキャッシュ。オレオレ事例 - ゆーすけべー日記のキャッシュについての説明がすごくわかりやすいです！ memcacheとは？ memcacheはデータベースを用いた Web サイトを高速化するために良く用いられるメモリにデータを格納するタイプのKey-Valueストアです。Webアプリでメモリにキャッシュするタイプでは最も有名だと思います。 Macへのインストール MacでHomebr
Rails gemのkaminariとBootstrapを共存させる方法 - Qiita
gemのインストール $ bundle install --path vendor/bundle Bootstrapに対応させるためのfileをインストール $ rails g kaminari:views bootstrap downloading app/views/kaminari/_first_page.html.erb from kaminari_themes... create app/views/kaminari/_first_page.html.erb downloading app/views/kaminari/_gap.html.erb from kaminari_themes... create app/views/kaminari/_gap.html.erb downloading app/views/kaminari/_last_page.html.erb fro
Ruby on Rails Guides
Ruby on Rails Guides (v7.1.3.3) These are the new guides for Rails 7.1 based on v7.1.3.3. These guides are designed to make you immediately productive with Rails, and to help you understand how all of the pieces fit together. The guides for earlier releases: Rails 7.0, Rails 6.1, Rails 6.0, Rails 5.2, Rails 5.1, Rails 5.0, Rails 4.2, Rails 4.1, Rails 4.0, Rails 3.2, Rails 3.1, Rails 3.0, and Rails
RSpec - Relish
RSpec is a Behaviour-Driven Development tool for Ruby programmers. BDD is an approach to software development that combines Test-Driven Development, Domain Driven Design, and Acceptance Test-Driven Planning. RSpec helps you do the TDD part of that equation, focusing on the documentation and design aspects of TDD. Documentation This is the official documentation site for RSpec. Much of the document
Ruby と Rails を覚えるために約1ヶ月半でやったこと - takatoshiono's blog
仕事で Rails を使ったサービスを担当し始めて約1ヶ月半、Ruby と Rails にもだいぶ慣れてきたので、ここまでどうやって勉強してきたか書いておこうと思います。いや、まだ初心者もいいところなのですが、そのうち忘れてしまって今しか書けなそうなので、書いておきます。 とはいえ、こういう情報は時間の経過と共に意味のないものになってしまいがちなので、なるべく時間に左右されない本質的なことを織り交ぜながら書いていきたいと思います。 irb(main):002:0> Date.new(2014,4,4) - Date.new(2014,2,19) => (44/1) 当時の知識 パーフェクト Ruby を途中まで読んだ Ruby on Rails Tutorial の Chapter 4 Rails-flavored Ruby をやっていた という程度。 パーフェクトRuby (PERFEC
アドベントカレンダーを電子書籍で読めるサービスを作った - 2nd life (移転しました)
http://advent-calendar2readlists.herokuapp.com/ Qiita や Adventar、ATND のアドベントカレンダーがオフラインの電子書籍で読みたい、と思ったので作った。例えば寿司アドベントカレンダーなら、URLを入れて変換すると、readlistsを裏側で叩いて、こんな感じに生成される。 http://readlists.com/307857dc/ 生成後は readlists の機能を使って、iPhone や iPad に送ったり、dropbox に epub を保存したり、その他いろいろな方法で、様々なデバイスで読むことが出来る(※なお readlists の kindle に送る、は一部文字がおかしくなるのでオススメしない)。また Qiita のアドベントカレンダーは、HTML の要素の関係で必要の無い要素も混じってしまっていて、ちょっ
serverspecとdocker-apiでDockerfileをTDD
serverspecとdocker-apiでDockerfileをTDD いくつかDockerfileを書いてきた．今書いているDockerfileは短くてシンプルなものばかりだが，もっと長く複雑化した時に不安になりそうだ．不安を解消するにはテストしかない．さらにテスト駆動的にDockerイメージを開発できたら素敵だ．つまり， テストを書く Dockerイメージを作成して，テストの実行 -> RED Dockerfileの編集 Dockerイメージを作成して，テストの実行 -> GREEN テストを… の流れができるとよい． ということで，RSpecを使ってTDDでDockerfileを開発するというのをやってみた，tcnksm/docker-rspec．今回実現したのは以下． Docker Remote APIでDockerfile特有のコマンド(e.g, CMDやEXPOSE)のRSp
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
現場で使えるか見極めたいRails 4.1の新機能8選
Hacking Home
RSpecがさらに捗る shoulda-matchers のマッチャ 一覧 - 酒と泪とRubyとRailsと
websocket-railsで簡単なPush通知を実装する - Qiita
Install Ruby On Rails on Ubuntu 14.04 Trusty Tahr | GoRails - GoRails
GitHub - rspec/rspec-expectations: Provides a readable API to express expected outcomes of a code example
