PythonでWebスクレイピングする時の知見をまとめておく - Stimulator
- はじめに - 最近はWebスクレイピングにお熱である。 趣味の機械学習のデータセット集めに利用したり、自身のカードの情報や各アカウントの支払い状況をスクレイピングしてスプレッドシートで管理したりしている。 最近この手の記事は多くあるものの「～してみた」から抜けた記事が見当たらないので、大規模に処理する場合も含めた大きめの記事として知見をまとめておく。 追記 2018/03/05： 大きな内容なのでここに追記します。 github.com phantomJSについての記載が記事内でありますが、phantomJSのメンテナが止めたニュースが記憶に新しいですが、上記issueにて正式にこれ以上バージョンアップされないとの通達。 記事内でも推奨していますがheadless Chrome等を使う方が良さそうです。 - アジェンダ - 主に以下のような話をします。 - はじめに - - アジェンダ
SBI証券の発注スクリプト - それマグで！
システムトレードが流行りだ。一瞬で動く値動きを追いかけられるのは、GSとか大手の社員だけだ。素人にはシステムトレードのAPIが公開されない。 ミリ秒単位のトレードとかすごいね 東京証券取引所は、ミリ秒単位で注文を捌けるらしいが、一般素人はできない。 なので、大手のヘッジファンドの狩り場になっている気がする。 素人でもできるだけ早く発注できないか。と考えてスクリプト組んでみた。 しかし、株価をチェックできないとミリ秒単位で発注できないので発注スクリプトだけでは大雨できないね。どうしたものか。できるだけ遅延なくリアルタイム株価出す方法ないかな。 SBI証券の注文用のクライアント SBIのバックアップサイトをベースに作っているのでそれなりに、長期間動くと思います。 gems に登録しようと思ったけど、既に同じようなものがあったんで遠慮しておく。 あと、バックアップサイトは4/3秒つまり、1.33
はてダとRuby1.9とMechanizeと - 書き捨て御免
編集画面(http://d.hatena.ne.jp/はてなID/edit)で失敗する。 MechanizeのHTMLの実体参照を戻す関数でエンコーディング回りの例外が起きるからだ。 結論から言うと、これで回避できた。 require 'www/mechanize/util' class << WWW::Mechanize::Util org = instance_method(:html_unescape) define_method :html_unescape do |s| m = org.bind(self) begin m.call s rescue ArgumentError m.call s.force_encoding(NKF.guess(s)) end end end どうも編集画面の「保存する」ボタンの「保存する」が UTF-8 なのに US-ASCII で寄越されてた
RubyのMechanizeを解説 for 1.0.0 - きたももんががきたん。
お家で自分にお通しを出す 4 お通しは家で自分に出すと、いいことしかない！ 三種のチーズサラダ パルメザンチーズ、モツァレラチーズ、アイルランドチェダーの3種を使ったサラダ。下にはケールと水菜とカットレタスが入っている。サラダと言うとお通しの域を超えてしまっているような気もするので…
はてなブログ | 無料ブログを作成しよう
もういくつ寝ると 今年のはじめにやりたいことリストを作った。今見たら50項目あるリストのうち25個が達成済みだった。ちょうど半分やりたいことをやったということだ。私にしてはまあまあの結果だと思う。満足。 やりたいことリストにあるもののうち、「〜を食べたい」系は概ねクリアし…
[ruby] RubyでHTMLとWebを操作するためのライブラリ、HpricotとWWW::Mechanize - Greenbear Diary (2007-02-05)
■ [ruby] RubyでHTMLとWebを操作するためのライブラリ、HpricotとWWW::Mechanize 今日は、RubyでWebサイトを解析するときに強い味方となるライブラリ、HpricotとWWW::Mechanizeを紹介します。 どちらも非常に強力なので、覚えておいて損はないよ！ 以下ではまずHpricotでHTMLを解析・編集する方法について解説します。 次に、「はてなダイアリーの自動更新」を例にWWW::Mechanizeの使い方を解説します。 Hpricot HpricotはHTMLを解析するためのライブラリです。 例えば「あるページのリンクだけを全部抜き出したい」と思ったとき、どうしますか？scrAPIを使う？でもscrAPIはやっぱり ちょっと使いたいだけなのにパーザ(Scrape)用のクラスを定義するのが面倒なんだよね！ Hpricotなら、たったこれだけで
![[ruby] RubyでHTMLとWebを操作するためのライブラリ、HpricotとWWW::Mechanize - Greenbear Diary (2007-02-05)](https://cdn-ak-scissors.b.st-hatena.com/image/square/b0dd2a08b2c0fff30d70543ed7fa340ebfeb5697/height=288;version=1;width=512/https%3A%2F%2Froute477.net%2Fd%2Fassets%2Fogimage.png)
Perlモジュール/WWW::Mechanize - Walrus, Digit.
以下は、他サイトに掲載されている有用なWWW::Mechanize使用例です。 私自身、「Amazon アフィリエイトレポート」を見て、本当にこのWWW::Mechanizeを使おう、と思いました。 Amazon アフィリエイトレポート(blog.bulknews.net)。 WWW::Mechanize を使って bk1 の注文履歴を取得するスクリプト(www.asmate.net)。 mixiの足あとを取得するスクリプト(digit.que.ne.jp)。日記を投稿するスクリプトのアレンジです。 指定したカテゴリの、今日の一覧を取得。 「次のページ」も追いかけて処理します。 use strict; use WWW::Mechanize; my $url = 'http://headlines.yahoo.co.jp/hl'; my $cate_label = 'コンピュータ一覧'; m
rubyでニコニコ動画のコメントを取得するスクリプトを書いてみた | earth
以前ニコニコ動画をダウンロードするスクリプトを書いたけど、 あれは純粋に動画だけで、コメントがダウンロードできてない。 ということで、今度はコメントもダウンロードしてみる。 はじめにざっとニコニコ動画の仕様をおさらいすると、 動画画面へアクセスする（例えばhttp://www.nicovideo.jp/watch/sm2721967） Flashデータを取りにhttp://www.nicovideo.jp/api/getflv?v={動画ID}へアクセス（動画IDは１でいうsm2721967） ２のレスポンスで動画に関する様々なデータが返ってくる ３のレスポンスの中のurl=hogehogeへアクセスすると動画をダウンロードできる だったけど、コメントはデータさらに２のレスポンスの中のms=hogehogeへアクセスすると取得できる。 ただしアクセスする際は <thread
rubyでニコニコ動画をダウンロードするスクリプト | earth
またまたmechanizeネタ。 今度はニコニコ動画をダウンロードするスクリプトです。 ランキング一位の動画をダウンロードしてきます。 require ‘rubygems’ require ‘mechanize’ require ‘kconv’ require ‘cgi’ agent = WWW::Mechanize.new #ログインする agent.post(’https://secure.nicovideo.jp/secure/login?site=niconico’, ‘mail’ => ‘メールアドレス’,'password’ => ‘パスワード’) #ランキングページから1位の動画ページへ遷移 ranking_page = agent.get(’http://www.nicovideo.jp/ranking/mylist/daily/all’) vid
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
はてなブログ | 無料ブログを作成しよう
はてなブログ | 無料ブログを作成しよう