サイトのクローリングにはScrappyがすごくいいかもしれない - Perl勉強メモ アルパカDiary出張版
クローリング楽しいですよね！ perlで高速にクロールしたいのであればGunghoなど使うのがいいかもしれませんが、 基本手軽にやりたいことが多いので WWW::Mechanize+Web::Scraper という組み合わせでクロールするのが定番でした。 しかしたまたま Scrappy を知り、 少し触ってみたところすごくいいのではないか！？と思い 記事にしてみました。*1 基本系(crawlコマンドを利用する場合) my $scrappy = Scrappy->new; $scrappy->crawl('１．クロールするルートURL', '２．URLにマッチするパス' => { '３．コンテンツにマッチするxpath or CSSセレクタ' => sub { my ($self, $item) = @_; # ４．キューに追加 $self->queue->add($item->{href
知らないと損をするよ！ 携帯Flash軽量化メモ 〜デザイン編〜 | _level0 - KAYAC Front Engineer Blog
ごきげんよう、kijima(@otoyasumi)です。 またまた今回もFlashLite1.1での携帯Flash開発tipsです。 巷ではiPhoneアプリだのAndroidだのってときに こんなレガシーなテクニック紹介で心底申し訳ない。腹を切る振りをしてお詫び申し上げます。 AS2&3との違いや、FlashLite独自のひっかかるポイントなどの紹介に比べて、 画像の最適化tipsなどは案外取り上げられないようなので、 今回は「知らないと損をするよ！ 携帯Flash軽量化メモ 〜デザイン編〜」と銘打ってお送りします。 PNG8 & JPEG 画像の書き出し時に注意すること 携帯htmlの世界ではどうやらdocomoの一部機種にて PNG形式の画像が表示できないようですが、 Flash内に取り込んでしまえばそれも関係ありません。 ・透過させたい&ドット絵などをパキっと見せたい画像のときはP
PHPの価値が相対的に落ちてJavaの価値があがっていく 2009-10-19 - きしだのはてな
2000年あたり、PHP4やJSP1.0が出たころ、PHPよりもJavaがよいと言っても、「Javaは動かせる安いサーバーがない」ということで、サーバーの確保が容易なPerlやPHPが使われました。 Javaを使うには、一台まるごと借りれる割高なレンタルサーバーで、自力でTomcatなどをインストールする必要がありました。そういった状況はしばらく続き、「PHPならば安く借りれるサーバーがたくさんある」ということから、PHPがよく使われるようになりました。 PHPの普及初期では、サーバーの確保が容易なことがPHP採用の大きな理由のひとつだったと思います。 こういう状況は最近まで続いたけど、Amazon EC2のおかげで「Javaは動かせる安いサーバーがない」という問題は解決してきました。Amazon EC2を借りても自力でTomcatなどをインストールする問題がありましたが、HerokuやS
三項演算子は左辺値にも使える - Craftworks Tech Blog - Branch
$var = $bool ? $foo : $bar; という書き方はよく見ますが、 if ( $bool ) { $foo = $value; } else { $bar = $value; } 実は、こういう書き方も、 $bool ? $foo : $bar = $value; こう書くこともできます。 可読性とのトレードオフを考慮して使用してください。PBP の Damian 氏は非推奨派です。 LVALUE 属性のなせる業ですね。他に substr() も左辺値に使えます。 ちなみに、この機能はビルトイン関数以外にも Attribute を使って、サブルーチンやメソッドに自分でも実装できます。 詳しくは、perldoc perlsub を lvalue で検索してみてください。 http://perldoc.jp/docs/perl/5.10.0/perlsub.pod
PlaggerでBlogとmixi日記を同期させた（完全版） - 偏読日記@はてな
Piece of a Puzzle - Weblog - P::P::Publish::MixiDiary #2 で紹介されているPublish::MixiDiaryを利用してはてなダイアリーからmixi日記へ自動転載をここ数ヶ月行ってきて、唯一困っていたことは転載の際にタグが全て消去されたプレーンテキストになってしまうことでした。 ＜a＞タグが消去されリンクが消えるおかげで、はてなダイアリーとmixi日記で全く文意の異なるものになって非常に困っていました。 数ヶ月間悩み続けたこの問題に、先週末を費やしてようやく一つのめどが付いたのでBlogに書いておきます。 別に大したことをしているわけではないのですけど、いくら検索しても俺と同じ事で悩んでいる人が一人も見あたらなかったのでこれは書かないといけないと思いまして。 世の中のPublish::MixiDiaryで自動転載している人は＜a＞タグ
Pragger で WWW::Mechanize
Pragger で WWW::Mechanize を簡単に使うプラグインを書いた。 これでまだ機能は貧弱だけどEntryFullText相当のことがログインの必要なサイトでも簡単に書ける。 Mechanize::agent Mechanize::basic_auth Mechanize::post Mechanize::Filter::entry_full_text たとえば、[Plagger][EFT]pixiv.yaml - fubaはてな 相当のことをやるには、 昨日のyaml、 - module: Feed::custom_feed config: url: http://www.pixiv.net/index.php?tag=C74 split: "<li>(<a\\ href=\"index\\.php\\?mode=medium&illust_id=\d+?\"><img\\
pixiv.yaml - fubaはてな
# upgrade http://pixiv.net/ author: fuba custom_feed_handle: http://www\.pixiv\.net/ custom_feed_follow_link: member_illust\.php\? handle: http://www\.pixiv\.net/member_illust\.php\? extract_xpath: body: //div[@id="content2"] author: //div[@id="profile"]/div/text() config.yaml ブラウザのcookieを使う。なにかがexpiredだとmypage.phpにリダイレクトされるっぽいので一度www無しのedit.phpに捨てアクセス。custom_feed_handleはwww入りになってるのでEFTは動かないで、2つ目以
一足早く「Plagger」の便利さを実感してみよう − ＠IT
2006年初頭から「Plagger」という技術が、一部で話題になりました。まだまだ知名度が低い「Plagger」ですが、便利でカスタマイズ性が高いものなので、2007年では爆発的に流行するかもしれません。豊富なプラグインを自在に組み合わせ、欲しい情報を収集し、加工して出力するPlaggerの仕組みや使い方を紹介します。 1. 何でもできる？ Plaggerの正体に迫る 今回は話題のPlagger（プラガー）を取り上げます。 この連載を読んでいる読者の皆さんは、ネットワーク技術や知識に興味を持っている人が多いでしょうから、「Plagger」という単語は一度は耳にしたことがあるでしょう。しかし、Plaggerという言葉を聞いたことはあっても、いったいどんなものかピンと来ない人もいるかもしれません。今回はPlaggerがどういった働きをするか？ その動きの仕組みなどを中心に紹介していきます。 ●
Plaggerが「便利ツール」だという誤解 - 萌え理論ブログ
Plaggerが「便利ツール」だという誤解 煩悩是道場 - それpla 個人的に言えばPlaggerは「インストールが何だか面倒い」みたいに感じるし、そんな面倒い事をしてまでピザを注文しようとも思わない。 suVeneのあれ: 「それPla」に対する 確かに現時点では Plagger は少し敷居が高いし、目的を達成するためには面倒な手段であるかもしれないが、「手段に啓発されて、新しい目的や新しい利用法を発見する事」も多々あるのは忘れてはならない。 萌え理論Blog - Plagger入門以前 Plaggerが産み出す時間＞Plaggerを習得する時間 前回は大まかな概要を述べましたが、今回は「なんでピザを注文するために面倒なインストールしなくちゃいけないんだ？」という素朴な疑問に突っ込んで答えましょう。前回では説明の便宜上、はてなアンテナやはてなRSSと連続して語りましたが、本当はそれらの
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
