Nokogiriが文字化けして困ってる - hitode909の日記
Hpricotなら文字化けしないのが，Nokogiriだと文字化けすることがあって，よくわからない． irb(main):029:0> NKF.nkf('--utf8', Hpricot(open('http://tokuna.blog40.fc2.com/blog-entry-2076.html').read).at('title').inner_text) => " Amazonで安く売られている商品だけを探せるサイト「Amazon-Sale」*二十歳街道まっしぐら" irb(main):030:0> NKF.nkf('--utf8', Nokogiri(open('http://tokuna.blog40.fc2.com/blog-entry-2076.html').read).at('title').text) => " Amazon、テーテつ、ツッテ、ツ、テゥツ、テャツ、テ、ツ、
Route 477(2011-01-19)
■ [ruby] open-uriでUTF-8でないページを取得するときの注意 Ruby標準添付のopen-uriライブラリを使うと、HTMLを簡単に取得することができる。 irb> require 'open-uri' irb> url = "http://blade.nagaokaut.ac.jp/cgi-bin/scat.rb/ruby/ruby-dev/43008" irb> html = open(url).read このとき、文字コードがUTF-8でないことが分かっているなら、第二引数でエンコーディング名を指定しておいた方が良いだろう。(あ、ここからはRuby 1.9の話です。) irb> html = open(url, "r:euc-jp").read 読んだあとは、String#encodeでUTF-8に変換することができる。 irb> html = open(url,
Nokogiriで文字化けを防ぐ - Qiita
Nokogiriでゴリゴリやってます。やっと使い方分かってきました。 Nokogiriだとデフォルトでも割と文字化けしないなと思ったんですがさすがに色んなサイトを対象にしようとすると化けました。ので何とかします。 他にいい方法があったら是非教えて下さい。 （注意：下に追記があります。binaryで読み込んでkconvのtoutf8、charsetにutf-8を指定でほぼ起きなくなりました。） require 'open-uri' require 'nokogiri' uri = "http://www…" page = URI.parse(uri).read charset = page.charset if charset == "iso-8859-1" charset = page.scan(/charset="?([^\s"]*)/i).first.join end document
nokogiri inner_text 文字化け - Google 検索
2014/08/14 · 追記. 文字化けの原因はcharsetが未指定だったからではなく、parseしたURIオブジェクトをNokogiriに読み込ませていたからの様です。
Nokogiriを使用したクローラーめも - Qiita
doc.at('//title') => 検索にヒットした最初のノード doc.at_xpath('//title') => xpathの検索にヒットした最初のノード doc.at_css('title') => cssの検索にヒットした最初のノード doc.css('title') => cssで検索。Nodeset doc.css('title')[0] => cssで検索。NodeSetから最初のノード doc.xpath('//title') => xpathで検索。最初のNode doc.xpath('//title')[0] => xpahtで検索。NodeSetから最初のNode doc.search('title') xpathかcssで検索。NodeSet doc.search('title')[0] => xpathかcssで検索。NodeSetから最初のNode ##
Nokogiriを使ったRubyでのスクレイピング 〜初心者編〜 - HETAREDREAM
今回は、ruby, pythonを利用した情報収集について、書いていきます。(初めての技術的な解説なのでドキドキ、ワクワク) 背景 例えば、今在籍している500では、「明日までにアメリカ全国の大学の情報２万件集めといて！」(number_of_students, student_to_faculty_ratio, public_or_private, location, etc..)みたいなお題が、優雅にオフィスの隅っこでご飯をつついている時に、突然降ってきます。逐一サイト見つけてコピペしてたらもちろん終わりません。そもそも、ヘタレにはそんな根性はありません。そんな時、僕の心強い味方がスクレイピングです。 スクレイピングとは何か スクレイピングとは、WebサイトからWebページのHTMLデータを収集して、特定のデータを抽出、整形し直すことです。Webスクレイピングを行うことで、Webページ
プログラミング/ruby/正規表現
近年導入された新しい機能を中心に、いろいろ試した結果をメモします† 最近の正規表現 (PCRE) はいろいろ拡張されていて、以前では考えられなかったほど高機能になっています ・・・ ということを最近になって知ったので、近年(?)導入された新しい機能を中心に、いろいろ試した結果をメモしました。 http://docs.ruby-lang.org/ja/1.9.3/doc/spec=2fregexp.html ここを見ながら、ruby 1.9.3 および ruby 2.1.5 で検証しました。 この２つのバージョン間で、結果に差異は無かったようです？？？ と Qiita で書いた ところ、 @riocampos さん： 正規表現エンジンは、Ruby 1.9系だと鬼車、2.0系以降だと鬼雲が使われています。 違いとして顕著なのは、 Unicode 文字プロパティに関しての部分だと思いますので、気
Ruby 正規表現のまとめ - Qiita
正規表現オブジェクトの生成 1. //でくくる ex) re1 = /Ruby/ 2. Regexp.new() ex) re2 = Regexp.new("Ruby") 3. %r を使う ex) re3 = %r(/Ruby/) ★正規表現に/を含んだ文字列を指定したい場合便利 正規表現のマッチング 正規表現 =~ 文字列 マッチングした場合はマッチングした文字が何文字目かを、 マッチングしない場合はnilを返す。 ex) 1. /Ruby/ =~ "aaRuby" #=> 2 2. /Ruby/ =~ "Java" #=> nil 正規表現のパターン ^ 行頭 $ 行末 [] または ex) /[AB]/ AまたはB [^] 〜以外 ex) /[^AB]/ A,B以外 . 任意の1文字 \s 空白文字 \d 0-9までの数字 \w 英数字 \A 文字列の先頭 \z 文字列の末尾 \メ
ruby 正規表現 オプション g - Google 検索
オプション. /pat/という正規表現の直後に以下のアルファベットを置くことで、正規表現にオプションを指定することができます。 /pat/i 大文字小文字を無視する; /pat/m ...
ruby 正規表現 デバッグ - Google 検索
2024/03/26 · 実用的な正規表現のパターンを習得したい; Rubyでの高度な正規表現のテクニックを学びたい; デバッグやエラー解決のための正規表現のテスト方法を理解 ...
Rubyアソシエーション: 正規表現
正規表現による文字列とのマッチングは「=~」演算子で行います。Rubyのマッチングではデフォルトでは欲張りマッチングです。 マッチした場合は、マッチした文字列中の場所の先頭インデックスを返します。また、マッチした部分や前後の文字列を取り出すことができます irb(main):001:0> r = /[A-Za-z]\d/ #1文字目が英字、2文字目が数字の正規表現 => /[A-Za-z]\d/ irb(main):002:0> p r =~ "abc123" #正規表現でマッチング 2 => 2 irb(main):003:0> p $& #マッチした文字列 "c1" => "c1" irb(main):004:0> p $` #マッチした文字列の前の文字列 "ab" => "ab" irb(main):005:0> p $'
修飾子の種類と指定方法
正規表現にはいくつかの修飾子が用意されています。ここれでは Ruby の正規表現で利用可能な修飾子の種類と指定方法について解説します。
Ruby 正規表現の使い方 - Qiita
本記事について 本記事では、正規表現を用いて文字列操作が出来るようになることを目的にします。正規表現を使ったことがない人でも分かりやすいように書いたつもりです。 具体的には、Stringクラスのメソッドsub、gsub、matchメソッドが登場し、その中で正規表現を使っていきます。 なお、本記事の作成にあたって、 Rubyリファレンス（String) RubyのString／Regexpクラスによる強力な文字列操作／正規表現 等を参考にしています。 それでは、早速みていきたいと思います。 正規表現を使う Regexpクラス Rubyで正規表現を扱うためのクラスはRegexpクラスです。（Regexp = Regular Expression) このRegexpクラスを用いながら、正規表現を行っていきます。 そもそも、正規表現を用いる理由は以下です。 ある文字列が特定のパターンを持っているか
ruby 正規表現 - Google 検索
正規表現 ... 正規表現(regular expression)は文字列のパターンを記述するための言語です。また、この言語で記述されたパターンも正規表現と呼びます。 正規表現を用いると、 ...
ruby gsub 正規表現 - Google 検索
docs.ruby-lang.org › ... › ライブラリ一覧 › 組み込みライブラリ › Stringクラス この文字列が評価される時点ではまだ正規表現マッチが行われておらず、 $1 がセットされていないからです。 また、gsub では「\」が部分文字列との置き換えという特別 ...
【ruby】gsubで複数の文字パターンを置換する＆後方参照する場合 - 訳も知らないで
小さなことですが… 複数の文字パターンを置換する gsubで複数の文字を置換したい場合、メソッドチェーン？で 置換文字数分gsubを呼ばなきゃならんと思っとりました。 "hogeはfugaです。".gsub("hoge", "私").gsub("fuga", "男") #=> "私は男です。" 実は置換する対象をハッシュで渡せるとはつゆ知らず… 参照：gsub, gsub! (String) - Rubyリファレンス ruby1.9〜 "hogeはfugaです。".gsub(/hoge|fuga/, "hoge" => "私", "fuga" => "男") #=> "私は男です。" 第１引数で渡した正規表現に該当する文字を、第２引数のパターンにそって 置換してくれるようです。 でもなんかもっと素直に書ける方法がありそうな気がするが。 後方参照する場合 正規表現を使った場合、括弧で囲んだ部
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
iTunesStoreのランキング | Rubyで始めるWebスクレイピング
amazon nokogiri 503 - Google 検索
正規表現オブジェクトの記述方法
逆引きRuby – www.namaraii.com – Index of TAKEUCHI, Hitoshi