feezch.infoで使われているあやしい技術を解説します - デー
feezch.infoで使われている一部の技術を解説しようと思います。 Railsやnginxの設定の話は、僕が書くことでもないので、一般的なウェブサービスではあまり使われてなさそうな２ちゃんねるに関連した技術やあやしめ技術をいくつか選んでみました。 主に画像関連です。 クローラー周りも、とてもよく考えられたすばらしい仕組みを持っているのですが、特にあやしくなく本当にすごいので、ここでは省略します。 以下がもくじです。（リンクはつけ方が分からなかったので、ついてないです） 画像URLのルール集『ImageViewURLReplace.dat』を使って投稿内容から画像URLを抽出しダウンロードする グロ画像ブラックリスト『NGFiles.txt』でグロ画像をブロックする ウェブブラウザがリファラを送らないように画像にリンクする グーグルの新機能『Search by Image』を使ってサムネ
サイトのクローリングにはScrappyがすごくいいかもしれない - Perl勉強メモ アルパカDiary出張版
クローリング楽しいですよね！ perlで高速にクロールしたいのであればGunghoなど使うのがいいかもしれませんが、 基本手軽にやりたいことが多いので WWW::Mechanize+Web::Scraper という組み合わせでクロールするのが定番でした。 しかしたまたま Scrappy を知り、 少し触ってみたところすごくいいのではないか！？と思い 記事にしてみました。*1 基本系(crawlコマンドを利用する場合) my $scrappy = Scrappy->new; $scrappy->crawl('１．クロールするルートURL', '２．URLにマッチするパス' => { '３．コンテンツにマッチするxpath or CSSセレクタ' => sub { my ($self, $item) = @_; # ４．キューに追加 $self->queue->add($item->{href
スクレイピングするなら ScraperWiki 使うといいよ - ヤルキデナイズドだった
Web ページからデータを抽出してデータベースに突っ込むことに性的興奮を覚えるみなさん、 ScraperWiki 使うとキモチイイですよ。以上です。 そうではないみなさんには少々の説明が必要かと思いますので少々書きます。 ScraperWiki はスクレーパ（Web ページをスクレイピングするスクリプト）とスクレイピングで得られたデータを共有しようぜっという Web サービスです。Wiki と名が付いていますが Wiki っぽいページ構成になってるわけではなく、スクレーパやデータを誰でも編集できるようにして成果を共有するという理念が Wiki と共通しているのが由来みたいです。 ScraperWiki を使うとスクレーパを作るのがラクになります： Web ベースのエディタでスクレーパを書き、その場で実行できる PHP、 Python または Ruby が使える（HTML パーサなどのモジュ
ScraperWiki
ScraperWiki has two new names! One for the product and one for the company: QuickCode is the new name for the original ScraperWiki product. We renamed it, as it isn’t a wiki or just for scraping any more. It’s a Python and R data analysis environment, ideal for economists, statisticians and data managers who are new to coding.
Audrey Watters「大規模データのスクレイピング、クリーニング、マネタイズ」 - 以下斜め読んだ内容
o'reilly radar 2011.5.11のエントリ Scraping, cleaning, and selling big data - O'Reilly Radar スクレイピングで金を稼ぐことを模索してる会社infochimpsのCEO、CTO、ビジネス開発マネージャを呼んだ このビジネスモデルの法的なリスクと技術的な面について突っ込んでみました という主旨のエントリ スクレイピングで稼ぐモデルとしては、技術を大企業に買ってもらうパターン（ex. Yahoo inc.によるDapper買収）しか知らなかった自分には勉強になった あと、まるごとrssのfeedのようにアフィリエイト広告入れるとかもあるが scraperwikiの存在を知ることできてよかった ruby/python/phpのスクレイピングコードをブラウザ上で実行してviewで結果確認したり、出力をcsvでDLしたり
Data Scraping Wikipedia with Google Spreadsheets
OUseful.Info, the blog… Trying to find useful things to do with emerging technologies in open education and data journalism. Snarky and sweary to anyone who emails to offer me content for the site. Prompted in part by a presentation I have to give tomorrow as an OU eLearning community session (I hope some folks turn up – the 90 minute session on Mashing Up the PLE – RSS edition is the only reason
ドコモの携帯宛メールを転送できるdocomo_web_mailerをリリースしました - nazokingのブログ
Docomo Web Mail というサービスをドコモが行っていて、i-mode宛のメールをwebから閲覧できます。 http://dwmail.jp/ でも転送機能とかがないので、rubyでなんとかするライブラリを作りました。 RubyGems に登録したので、 gem install docomo_web_mailer でインストールできます。 使い方は、まずはドコモWEBメールのアカウントを登録して、 require 'rubygems' require 'docomo_web_mailer' login_id, password = dwメールのid,パスワード your_smtp_server,your_smtp_server_port = SMTPサーバ,ポート forwarding_mail_address = 転送先メールアドレス mailer = DocomoWebMai
Charlie Robbins「jsdom.jsとjquery使ったスクレピング」 - 以下斜め読んだ内容
nodejitsu.com 2010.9.24のエントリ jsdom + jQuery in 5 lines with node.js node.jsでスクレイピング jsdom使うと取得したhtmlへDOMが使えるようになる 慣れ親しんだjqueryのセレクターapi使ってスクレイピング request/http-agentモジュール使って標準モジュール（=http）だけで書くよりもコードすっきり という内容のエントリ サンプルコード修正しないと動かない 以下斜め読んだ内容 スクレイピング たいていの言語がライブラリ色々用意されてる Ruby hpricot nokogiri Python beautiful-soup scrapy Perl pQuery PHP PHP DOM バグなくhtml/css/javascriptをハンドリングするのが難しい サーバーサイドjsにおけるスクレ
Saqoosha :: YouTube の FLV を抜き出すのが簡単になっている件
タケシが PHP やらでごにょごにょやっているとかゆっていたので、簡単に取得できる方法を書いとく。 どうやらすでに内部的にも Google とくっついているようで。これまでだとスクレイピングしないとわからなかった FLV のありかが、クライアントサイドだけでわかるようになっております。 http://www.youtube.com/watch?v=2yDSbFe62E4 こんな YouTube の URL があります。これの FLV のありかは、 http://cache.googlevideo.com/get_video?video_id=2yDSbFe62E4 ↑ココです。カンターン。 ・・・ あともうひとつ。外部 FLV で遊ぶときの tips。 ふつう。スクレイピングとかしてひっぱってきた外部 FLV とか、ストリーミングサーバーに置いてあって別のサブドメインとかになっているムービ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Web-Query-1.01
Whitelist and Blacklist | ScraperWiki
Dapplications
Dapper: Frequently Asked Questions
Dapper – Unleash your creativity
TechCrunch Japanese アーカイブ » Dapper利用でどんなサイトのAPIも自在にクリエート