日本 Ruby 会議 2007 - rubyでする Web scrapping - Hpricot と mechanize そして scRubyt （朴 芝印）
rubyでする Web scrapping - Hpricot と mechanize そして scRubyt （朴 芝印） スピーカー 朴 芝印 - 延世大学化学工学科, 韓国 ruby-forum - forum.rubykr.org プロフィール - Ruby好きの大学生。 - Programming Rubyの韓国語版の翻訳。 講演時間 16：00〜16：30 講演者による資料 page: http://tisphie.net/typo/pages/RubyKaigi2007 PDF: http://tisphie.net/web-scraping.pdf 韓国の方ですが、とても日本語が上手で聞きやすかったです。 緊張しています＾＾ Rubyでやってること Rubyで自分のためのユーティリティを書いたりしています。 Programming Ruby韓国語版の翻訳（拍手） Web S
WWW::Mixi::Scraper - Charsbar::Note
いささか出遅れた感があるけれど、Web::ScraperやXPathの練習代わりに書いてみた。使い方はこんな感じ。 use WWW::Mixi::Scraper; my $mixi = WWW::Mixi::Scraper->new( email => 'foo@bar.com', password => 'password' ); my @list = $mixi->parse('http://mixi.jp/new_friend_diary.pl'); my @list = $mixi->new_friend_diary->parse; my @list = $mixi->parse('http://mixi.jp/new_bbs.pl?page=2'); my @list = $mixi->new_bbs->parse( page => 2 ); my $diary = $mixi-
2007-01-02
日本語のロケールを変更するには $ sudo dpkg-reconfigure locales つーかなぜかおいらの環境ja_JP.EUC-JPだったんだけど、 ja_JP.UTF-8に変更した。しかしvimとか挙動やばくなった。。 とりあえずもとに戻した。 WINDOWS上で書かれたShift-JISのテキストファイルをLINUX上で表示 1 #!/usr/bin/python 2 # coding: utf-8 3 4 import codecs 5 import re 6 import sys 7 8 hoge = codecs.open('data/TESTB.txt','r','shift_jis') 9 sys.stdout = codecs.getwriter('euc_jp')(sys.stdout) 10 11 12 for l in hoge : 13 print l
Journal of miyagawa (1653) - Web::Scraper is released, the Perl port of Scrapi.rb
Web::Scraper is released, the Perl port of Scrapi.rb Today I've been thinking about what to talk in YAPC::EU (and OSCON if they're short of Perl talks, I'm not sure), and came up with a few hours of hacking with web-content scraping module using Domain Specific Languages.With help from guys on IRC channel and obra who gave a nice talk about DSL in Perl at YAPC::Asia, I whipped up a really small We
Web::Scraper - naoyaのはてなダイアリー
Today I've been thinking about what to talk in YAPC::EU (and OSCON if they're short of Perl talks, I'm not sure), and came up with a few hours of hacking with web-content scraping module using Domain Specific Languages. 使ってみたよ! #!/usr/local/bin/perl use strict; use warnings; use FindBin::libs; use URI; use Web::Scraper; use Encode; use List::MoreUtils qw/uniq/; my $links = scraper { process 'a.key
Route 477(2007-05-03)
■ [scheme] SICPはじめました http://sicp.g.hatena.ne.jp/yhara/ なんとなく勢いでSICP(日本語版)を買ってしまったので、淡々と問題を解いていこうかなと思います。 ユニットテストが書けそうなものはgauche.testを使ってテストファーストで。 ■ [ruby] Ruby/AnarchyGolf Hpricotを使って、AnarchyGolfのスクレイパを書いてみました。 使用例。 yhara@meteor:~/HTML/anagol % irb -r lib/anagol.rb >> anagol = AnarchyGolf.new => #<AnarchyGolf:0x2aaaac15e9f0 @html={}> >> langs = anagol.languages => [#<struct AnarchyGolf::Language
はてなグループの終了日を2020年1月31日(金)に決定しました - はてなの告知
はてなグループの終了日を2020年1月31日(金)に決定しました 以下のエントリの通り、今年末を目処にはてなグループを終了予定である旨をお知らせしておりました。 2019年末を目処に、はてなグループの提供を終了する予定です - はてなグループ日記 このたび、正式に終了日を決定いたしましたので、以下の通りご確認ください。 終了日: 2020年1月31日(金) エクスポート希望申請期限:2020年1月31日(金) 終了日以降は、はてなグループの閲覧および投稿は行えません。日記のエクスポートが必要な方は以下の記事にしたがって手続きをしてください。 はてなグループに投稿された日記データのエクスポートについて - はてなグループ日記 ご利用のみなさまにはご迷惑をおかけいたしますが、どうぞよろしくお願いいたします。 2020-06-25 追記 はてなグループ日記のエクスポートデータは2020年2月28
スクレイピングはもっと簡単にならなければいけない - bits and bytes
スクレイピングをやったことがあるひとならばわかると思うけど、スクレイピングはとてもつまらない作業だ。 HTMLの中から抜き出したい部分を見つけて、その周辺にある特徴的な部分に着目して正規表現を書いたりして抜き出す。あるいはHTMLからDOMを生成して特定のクラスがついているエレメントを抜き出したりする。HTMLをXHTMLに整形、変換してXPathで抜き出す方法もある。どの方法もやることは単純で簡単なことだけれど、極めてめんどくさい。 そういうものだと思って数年間過ごしてきたけれど、去年の夏に出てきた Dapper: The Data Mapper は、そんな退屈な常識をモダーンなajaxでもって吹き飛ばした。もしDapperがどんなのなのか知らなかったら、ちょっと長くてはじめ退屈なんだけど デモムービー を見てみてください。 Dapperが教えてくれたことは、スクレイピングなんて、欲し
WWW::MechanizeとSeleniumIDEで勝手APIをかんたんに作る - bits and bytes
Selenium IDE で生成したテストケースに従ってWWW::Mechanizeを動かすためのラッパーモジュールMechanizedSelenium(仮称)を作ってみて、どれくらい使えるか試してみました。 背景 スクレイピングはもっと簡単にならなければいけないの最後でちょこっと触れていた、ウェブアプリケーションのテストケースを簡単に生成する Selenium IDE は、ブラウザでクリックしていくだけでデータを抜き出せてしまう Dapper: The Data Mapper と並んで考えさせられたツールです。 一度、ウェブアプリケーションのテストをするために HTTP::WebTest を使ってテストケースを書いたことがありました。しかし、ブラウザをマウスでちょこっとつつくだけの動作をperlで書き直すのは本当に退屈な作業ですし、テストケースを書くこと自体が困難で、アプリケーションにバ
はてなグループの終了日を2020年1月31日(金)に決定しました - はてなの告知
はてなグループの終了日を2020年1月31日(金)に決定しました 以下のエントリの通り、今年末を目処にはてなグループを終了予定である旨をお知らせしておりました。 2019年末を目処に、はてなグループの提供を終了する予定です - はてなグループ日記 このたび、正式に終了日を決定いたしましたので、以下の通りご確認ください。 終了日: 2020年1月31日(金) エクスポート希望申請期限:2020年1月31日(金) 終了日以降は、はてなグループの閲覧および投稿は行えません。日記のエクスポートが必要な方は以下の記事にしたがって手続きをしてください。 はてなグループに投稿された日記データのエクスポートについて - はてなグループ日記 ご利用のみなさまにはご迷惑をおかけいたしますが、どうぞよろしくお願いいたします。 2020-06-25 追記 はてなグループ日記のエクスポートデータは2020年2月28
第6回 上手なアルゴリズムの見つけ方
図1に示すHTML形式のテキスト・データ（以下，HTMLデータ）があります。このHTMLデータをブラウザに表示させたときに「表示される文字列」と「その文字列に対して有効なタグ名」を対応付けるアルゴリズムを考えてください。結果は配列に格納して，画面に表示させるものとします（図2）。 見わたせば，世の中はアルゴリズムだらけです。私のようなプログラマは，日常生活でも「締め切り順に仕事をソートしてごらん」「仕事のスタックがたまっているからてんてこまい」など，いま置かれている状態をアルゴリズムやデータ構造になぞらえて会話することがよくあります。前回紹介した再帰処理と言えば，落語の演目の一つ，「頭山」です。自分の頭に生えた桜の木を引っこ抜いて，その跡にできた池に自分自身が身を投げる，という不思議な話ですが，これこそ再帰処理をよく言い表していると思います。 このように世の中には，ハッシュだってスタックだ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
WalRack3 Ver.0.03
Web-Scraper-0.38
scrubyt.org