Ruby + Nokogiri で 気象庁スクレイピングこのあいだの連休中に『たのしい Ruby』を読んで、まあまあかっこよく [[wiki:Ruby]] 書けるようになったから書いてみた。Ruby は 1.9.2 使った。 気象庁 | 過去の気象データ検索 ブロック付きでもなしでも何となく使える感じ。 Ruby はじめてちゃんと勉強して、全部オブジェクトなのはかっこいい。ブロック使うのちょっと慣れるまで気持ち悪かったけど、慣れると便利。 TextMate と BBEdit と行き来しながら書いたけど、TextMate の方が便利。
スクレイピングのためのNokogiri利用メモ - それはそれ、これはこれ
スクレイピングのチュートリアルを書いてみた。 参考：http://nokogiri.rubyforge.org/nokogiri/Nokogiri.html まだまだたくさんのクラスやメソッドがあるが(読んでない)、HTMLのスクレイピングに限定すれば多分これくらいで十分。 2014-02-16追記 なんかたくさんブックマークされていることに気づいたので、サンプルコードのRuby1.9/2対応のアップデート。 Mechanize周りも修正。WWW::Mechanize → Mechanize 等 (0) 前提知識 Ruby、HTML、DOM、CSSセレクタまたはXPath (1) クラス構造の理解 Nokogiri::HTML::Document < Nokogiri::XML::Document < Nokogiri::XML::Node < Object Nokogiri::XML::
国外の GooglePlay Market のランキングを見る方法 | DevelopersIO
国外の GooglePlay Market のランキングが見たい！ っていうとき、ありませんか？ そう思ってちょっと調べてみたところ結構色々簡単にはいかなかったので、手順をまとめてみました。なお環境は Mac OS X MountainLion、GoogleChrome の場合の手順になります。 国外の GooglePlay Market のランキングを見る方法 1. 対象の国のプロキシアドレスを入手する まずはじめに対象の国のプロキシアドレスを入手します。以下のサイトにアクセスします。 http://www.cybersyndrome.net/country.html 国一覧が表示されるので、閲覧したい国の「Proxy」ボタンをクリックします。 対象の国のプロキシアドレスが表示されるのでコピーします。 2. プロキシサーバを設定する 次にシステム環境設定でプロキシサーバの設定を変更します
Rubyとnet/httpsライブラリを使用してニコニコ動画にログインする - Qiita
前の投稿で試してみたニコニコ動画のgetthumbinfo APIはログインを必要としませんでした。しかし、参考ページによると他のAPIはログインが必要とのことです。 というわけで、Ruby 2.0.0とnet/httpsライブラリでニコニコ動画にログインするコードを書いてみました（というか、｛このコードわからん｝で公開されている綺麗なコードを練習用に汚くしてしまった感じです。できたら参考にさせて頂いたページでお口直しを）。 最初にコードを示します。 require 'net/https' module NicovideoAPIWrapper extend self def login(mail, password) #ログインを試みる https = Net::HTTP.new('secure.nicovideo.jp', 443) https.use_ssl = true https.
地震速報 Bot の簡単な作り方 : プログラミング for ツイッタラー
ツイッターに地震情報を投稿する Bot の簡単な作り方を紹介します。Ruby での実装例です。 地震速報(@earthquake_twt) 下記のような地震速報を投稿する Bot です。 2013年10月23日 1時50分ごろ、地震が発生しました。震源地は宮城県沖、マグニチュード2.8です。この地震による津波の心配はありません。 用意するもの Ruby と cron を実行できる環境 Nokogiri (鋸) Yahoo の地震情報ページの HTML ソースをパースするのに使います。 A Ruby interface to the Twitter API Twitter に地震情報を投稿するために使います。Twitter API v1.1 に対応しています。 地震速報 Bot 用の Twitter アカウントを作ります。 https://dev.twitter.com/apps/new に
RubyでスクレイピングするときAmazonアソシエイト等のSSL証明書でつまずくけど、とりあえずSSL認証しない方向で学習したほうがいい - Rubyやるお
Google検索をもちいたスクレイピングもSSL証明書を要求されるが、こちらを解決するのは簡単。Amazonあたりは中級者向けである。 require 'openssl' OpenSSL::SSL::VERIFY_PEER = OpenSSL::SSL::VERIFY_NONE require 'mechanize' とりあえず、上記の方法でスクリプトは動く。解決するのはあとでよろしい。ローカル開発ならばね。 OpenSSLのインストール - SSLによる暗号化通信 - Apache入門 Ruby - OpenSSLでcertificate verify failedが出た場合 - Qiita Ruby - certificate verify failed (Faraday::SSLError) - Qiita 【Rails】httpsページ取得でエラー「OpenSSL Errors a
【Rails】httpsページ取得でエラー「OpenSSL Errors and Rails – Certificate Verify Failed – Gem::RemoteFetcher::FetchError」 - 訳も知らないで
Webページのスクレイピングのため、RailsでMechanizeを使って開発をしておりました。 そして実行(httpsのページへアクセス)しようとするとエラー。 OpenSSL Errors and Rails – Certificate Verify Failed – Gem::RemoteFetcher::FetchError 人のマシンだと出ないのに自分のマシンでは出る。 何が足りんのよ。 まあよくある事象なので、検索すればすぐに解決法は出てくる。 SSL認証しない 接続先を信頼してるし、とりあえず動かしたい！って時はこれ。 SSL認証しない方向で、ってやり方。 require 'openssl' OpenSSL::SSL::VERIFY_PEER = OpenSSL::SSL::VERIFY_NONE認証を担当しているOpenSSLに認証なしでOKの設定をしているよう。 …さすが
[Ruby] 環境変数 - Life with IT
2007/12/4更新 対応バージョン: 1.8 環境変数の参照/更新 環境変数の参照はENV['<環境変数名>']で可能である。 また、環境変数への値の設定はENV['<環境変数名>'] = 「値」で可能である。 例) p ENV['SHELL'] => "/bin/bash" ライブラリサーチパスの参照/追加 既存のライブラリサーチパスは$LOAD_PATHに格納されているので、これを参照したりパスを追加したりできる。 パス参照 puts $LOAD_PATH => /usr/lib/ruby/site_ruby/1.8 => /usr/lib/ruby/site_ruby/1.8/i386-linux => /usr/lib/ruby/site_ruby => /usr/lib/site_ruby/1.8 => /usr/lib/site_ruby/1.8/i386-linux =>
![[Ruby] 環境変数 - Life with IT](https://cdn-ak-scissors.b.st-hatena.com/image/square/63c67004f340a9cfebe1346d512a10a786385cbc/height=288;version=1;width=512/https%3A%2F%2Fl-w-i.net%2Fimg%2Flogo_256.png)
思わず引き込まれる怪しい魅力と世界観… イタリア人写真家が撮影した艶めかしいフィギュアの数々
HOBBY SEARCH まとめ @jp_Erumaer 流石のセンス！イタリアのコレクターが撮るフィギュア写真がいい雰囲気 jp.erumaer.com/m620 画像投稿サイトに自身の作品を発表し続けるフィギュアコレクター、Grishnakh666。その小物使いの上手さに脱帽！ pic.twitter.com/aMpWSl7Vj4 2015-09-16 18:39:09
cron力をつけよう！全てのcrontab入門者に贈る9個のテクニック · DQNEO日記
なお、時間設定方法や書式についてはここでは解説しません。 拙作「くろんメーカ」をお使いください。 くろんメーカ - crontab用のコマンドを自動で生成します。 そのままコピペしてお使いください。 crontab -e で直接編集しない 有名な話ですが、crontab -r とやってしまうと全てが一瞬で消え去ります。 まさにバルス！ 間違えて crontab -r してしまい、crontab をふっとばしてしまった。つか、隣同士にある -e と -r で編集と削除とか、酷いよ＞＜。。。 crontab -r を安全にする - antipop 必ずローカルファイルに設定を書いたうえで、それを反映させるようにしましょう。 $ crontab -l > ~/crontab # 現在の設定をバックアップ $ vi ~/crontab # ローカルファイルを編集 $ crontab < ~/cro
twitter bot開発で詰まったところメモ - arng’s blog
最近@bell_repeat というtwitter botをつくったときに やったことや躓いたところを簡単にメモ。 Rubyのインストールし直し さくらのレンタルサーバに入れてるRubyが2.0.0だかそこらの古めのバージョンだったので 2.1.6までアップデート。 最新の安定版は2.2.2だったのだけれど すこし開発に急いでいたので 「最新版だと動かないよ〜」とかあると嫌だなあとおもって1つ前の安定版にしてみた。 参考： さくらインターネットのスタンダードプランにRuby 2.1.5を自前でインストールしてみた | 極上の人生 http://kawairi.jp/weblog/vita/2014123118992 デフォルトのシェルをbashにした 上の記事で書いてるとおりにbashに変えた。 特にこだわりは無いのだけれど手元もたぶんbashだし 学校とかで触ったことあるのもbashだっ
xreaサーバーでrubyのTwitterライブラリを使ってSSLエラーの対処メモ - 名もないテクノ手に
昨日、xreaのサーバーにruby1.9.3をインストールしたのは、Twitter API 1.1対応のTwitterライブラリを使いたかったからなんです。で、ふつーにgem install twitterで入れて、さあここからつぶやき放題だぜ...と思ったらこんなエラーにお出迎えされました。じぇじぇじぇ。 SSL_connect returned=1 errno=0 state=SSLv3 read server certificate B: certificate verify failed (Twitter::Error::ClientError) で、ふつーの対処法ならこれだと思います。 Rubyのopensslの証明書が見つからない時ってどうすればいいの？ - Qiita [キータ] xreaのサーバーですと... ruby19 -ropenssl -e 'p OpenSSL::
SSLError and Rubyist, sitting in a tree
OpenSSL::SSL::SSLError: SSL_connect returned=1 errno=0 state=SSLv3 read server certificate B: certificate verify failed It’s seemingly random, it mentions “SSL” five times, and happens mostly after installing a new version of Ruby or deploying code to a new server. It bites at the worst times and can make you feel small and powerless. “But I’m not a crypto expert!“, you cry. There, there [Taps you
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
RubyでTwitterを SSLではじかれる件（Windows) - Qiita