Yahoo! Pipes の Page Fetch モジュールでスクレイピングし放題 - てっく煮ブログ
pipesこのブログでも何度か Yahoo! Pipes の話題は取り上げてきましたが、先日実装された「Page Fetch」モジュールは素敵すぎます。ほんとに。今まで、Yahoo! Pipes といえば、XML・CSV か Yahoo が提供してるサービスのデータを加工することしかできませんでした。それが、「Page Fetch」モジュールの登場により、任意の Web ページを加工できるようになったのです。Yahoo! Pipes の使い道といえば、次の２つだと思います。1. RSSリーダーで読むための XML 作り複数の RSS を結合したり、見た目を整えたりして、自分専用の RSS を作る。 （例）サイトの最新被ブックマークを livedoor Reader で読むための Pipes2. Web サービスとの連携JSONP に対応してるので、JavaScript と組み合わせてサーバ
京都市バスの路線別 停留所取得API公開 - てっく煮ブログ
pipes今回も Pipes ネタ。例によって Fetch Page モジュール。今まで「Page Fetch」だと勘違いしてたが、どうやら「Fetch Page」だったらしい。あちゃー。で、本題。京都市バスの路線別 停留所 API を Yahoo! Pipes で作ってみた。サンプル作ってみたこの Pipes を使ったサンプルを作ってみた。→ 京都バス案内 (デモ)左の系統一覧を選択したら、右側に詳細が出る。停留所をクリックしたら時刻表が表示される。JavaScript＋jQuery＋JSONP で実装してるよ。そのまんまだけど、API 使ってる気分になってきた。すごくない？絶対に API を公開しそうにない京都市交通局の HTML を使って、外部の人間が勝手に API 化しちゃってるわけですよ。Web 1.0 なページを、無理やり Web 2.0 化ですよ。なんでもかんでもマッシュアッ
Yahoo! Pipes で「はてなハイク」用のRSSを作った - てっく煮ブログ
pipesはてなハイク が楽しい。ちょろっと絵を描いて、リロードしたらスターがついていて、すぐ反応がもらえるところがうれしくなる。はてなスターのおかげでリアルタイム性が増えてる気がする。で、まだ RSS が吐かれていないようなので、Yahoo! Pipes の Page Fetch モジュールを使って、野良 RSS を作成してみた。http://pipes.yahoo.com/nitoyon/hatena_haiku_rss(追記 12/18) RSS が出力されはじめたようですが、画像は URL だけしか吐かれていないようです。画像系の追っかけなら私の RSS の方がお薦めですよ！！(追記 12/25) HTML が変わってスクレイピングに失敗していたので、これを機に RSS を加工して画像を埋め込むように修正しました。livedoor Reader で購読するとこんな感じ投稿者のアイコ
高反発マットレスの選び方 | アフィブログに騙されない為の高反発マットレス手記
ウレタン系高反発マットレスでよく言及されるのが密度です。それを頑張って分かりやすく説明してみます。
(pipes書く人向け)Yahoo Pipes のチューニング - m2
前回のエントリではめんどくさくて結果だけにしちゃいましたが、一番言いたかったチューニングがあんまり注目されてないのでちゃんと書いてみます。 かなり面倒 Yahoo! Pipes の応答速度が結構遅くて、１箇所変更しては２?３秒待っては確認を繰り返す必要あり。根気が必要。 これ、私の場合は 20 秒でした。根気ってレベルじゃない。 ボトルネックは「Regex モジュール」 pipesエディタはよくできていて、選択した工程までの結果とかかった時間を表示してくれます。なのでどこがボトルネックなのかが一目瞭然です。 以下は上で紹介している「Yahoo! Pipes の Page Fetch モジュールでスクレイピングし放題」の「はてブ ブックマーク件数一括取得API」のpipesエディタ画面。 まずは Regex モジュールの前まで。 「Time taken: 0.377219s」と出てますね。
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
