pixivのデータを拾ってくるRubyのコードを書きました - shimobayashiの日記
自分が必要としている分しか実装していないので、誰かちゃんと実装してくれませんかねェ。 #!ruby -Ku require 'rubygems' require 'mechanize' require 'uri' module WWW class Mechanize alias_method :_get, :get def get(*args) sleep 1 puts "get: #{args.join(', ')}" _get(*args) end end end class Pixiv attr_reader :bookmark_new_illust def initialize(pixiv_id, pass) @agent = WWW::Mechanize.new login(pixiv_id, pass) BookmarkNewIllust.agent = @agent Mem
jsAutoPageScraperというのを作った - snippets from shinichitomita’s journal
http://coderepos.org/share/wiki/jsAutoPageScraper 概要 ブックマークレット開発などにおいて、JavaScriptでのHTMLスクレーピングを支援します。検索結果などの複数のレコードをJavaScriptの配列に変換して取得できます。ページングを利用しているサイトでは、意識することなく複数ページにまたがってレコードを取得できます。 特徴 クロスブラウザで動作します。 スクレーピングする要素の指定にはXPathを使います。IEとかSafari2の場合はJavaScript-XPathをロードして使います。 AutoPagerizeとかLDRizeのSITEINFO形式（一部）を利用できます。 使い方 1. jsAutoPageScraperをcodereposからチェックアウトし、適当なサーバにアップします svn co http://svn.
[php][PEAR]Services_MixiAPIとXML_Feed_Parserを使ってみた | うえちょこ＠ぼろぐ
id:shimookaさんが持ちネタを放出したとのことで、CodeReposに追加されたようなので、Services_MixiAPIを使ってみました。 とりあえず、参考にしたサイトを先にまとめておきます。 持ちネタ放出 – Do You PHP はてな mixiのAPIが増えていたので、Services_MixiAPI作ってみた – Do You PHP はてな Services_MixiAPI（APIドキュメント） 2007-11-13 – doublenegativeの日記 PHP: POSIX – Manual PHP: uniqid – Manual PEAR :: Manual :: XML_Feed_Parser（PEARの日本語ドキュメント） XML_Feed_Parserでdc:subject要素を読み込む – ほそいりょすけのほめぱげ PHP: DOMDocument->
![[php][PEAR]Services_MixiAPIとXML_Feed_Parserを使ってみた | うえちょこ＠ぼろぐ](https://cdn-ak-scissors.b.st-hatena.com/image/square/fb139b64147ac6479c2c1a8cf00ce623f85aedf9/height=288;version=1;width=512/http%3A%2F%2Flabs.uechoco.com%2Fblog%2Fimages%2Ft%2FServices_MixiAPI_01.jpg)
PHPでのスクレイピングに役立つライブラリ - (DxD)∞
APIが提供されていないサービスから欲しい情報だけを取得するには、HTMLなどから自前でスクレイピングを行うしかありません。PHPでのスクレイピングに役立つライブラリなどをまとめてみました。 PerlやRubyには色々と便利そうなものが見つかるのですが、PHPにはなかなかこれといったものがないですね。 Webスクレイピングライブラリ HTMLScraping HTMLをXML化してDOMやXPathで操作できるクラス。主にHTTP_Request+HTMLParser(XML_HTMLSax3を含む)/Tidy+Cache_Liteという構成で、スクレイピングに必要なものが一通り揃っている。ライセンスはLGPL他。 WebScraper シンプルな汎用スクレイピングクラス。HTTP_Client+HTMLParser(XML_HTMLSax3を含む)という構成で、XPathで要素を抽出でき
scrAPI Cheat Sheet
Selectors *any element Ean element of type E E.warningan E element whose class is "warning" (the document language specifies how class is determined). E#myidan E element with ID equal to "myid". E[foo]an E element with a "foo" attribute E[foo="bar"]an E element whose "foo" attribute value is exactly equal to "bar" E[foo~="bar"]an E element whose "foo" attribute value is a list of space-separated v
John Resig - Bringing the Browser to the Server
This weekend I took a big step in upping the ante for JavaScript as a Language. At some point last Friday evening I started coding and didn’t stop until sometime mid-Monday. The result is a good-enough browser/DOM environment, written in JavaScript, that runs on top of Rhino; capable of running jQuery, Prototype, and MochiKit (at the very least). The implications of this are phenomenal, and I’m no
GoogleCodeSearchで指定URL以下のコードを検索する - はこべにっき ♨
はこべにっき# - GoogleCodeSearchでブログ上のコードを表示で触れたように、GoogleCodeSearchで、あるURL以下のソースコードを取得するのは少々メンドウです。 しかし、少し検索クエリを工夫すると、そこそこ正確にあるURI以下のソースコードを見つけることができます。たとえば、以下のようなキーワードを用いてGoogleCodeSearchで検索すると、このブログの記事を見つけることができます。 ^hakobe932/ package:"http://d.hatena.ne.jp"検索結果を見ると、このブログのコードが表示されているのがわかります。packageでドメインをしぼるのと、正規表現を用いてURLパス以外がマッチしないように、表現を限定しています。 この機能が簡単に利用できるようにブックマークレットを作ってみました。Google Code Search b
B10[mg]: Scraping Yahoo! Search with Web::Scraper
Yet another non-informative, useless blog As seen on TV! Scraping websites is usually pretty boring and annoying, but for some reason it always comes back. Tatsuhiko Miyagawa comes to the rescue! His Web::Scraper makes scraping the web easy and fast. Since the documentation is scarce (there are the POD and the slides of a presentation I missed), I'll post this blog entry in which I'll show how to
Web::Scraper ? SlideShare
The document discusses practical web scraping using the Web::Scraper module in Perl. It provides an example of scraping the current UTC time from a website using regular expressions, then refactors it to use Web::Scraper for a more robust and maintainable approach. Key advantages of Web::Scraper include using CSS selectors and XPath to be less fragile, and proper handling of HTML encoding.Read les
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
