Pipes from Maripo GODAPipes Web Address: http://pipes.yahoo.com/pipes/person.info?eyuid=L0NmrA00p2eCwT5jyWwhznyV
Yahoo Pipesでスクレイピング ポイントはRenameとRegex: Non-programmer's Ruby in Pocket
まずFetch Pageモジュールでデータを取り出す対象のページをとってくる。 切り出す部分の最初と最後を指定すると、その部分だけが返ってくるようになる（少しずつ実験しながら進めたほうが良い）。 区切りも指定すると、データがいくつかのitemに分けられる。 ↓ この状態ではすべてのデータがcontentという項目に割り当てられ、そのままではRSSとして使えない。RSSとして使うには、基本的にはtitle, description, linkの3つの項目を用意してあげなければならない。 ここではRenameモジュールを使ってcontentをlinkとdescriptionとにコピーしている。titleはdescriptionができたあとで作る。 ↓ Regexモジュールでdescriptionを作る。 だが、普通にやっても1行目しか見てくれないので「m」オプションをオンにする。スペース
はてなブックマークの新着ブックマークとlivedoor Reader
このサイト全体のはてなブックマークでの被ブックマークをトラッキングしようとsitemap.txtを元にしたPipeを作ったのだけど、あんちぽさんに「URLで絞り込んで新着ブックマークのトラッキングできるよ」と教えてもらった。はてなにはなんでもあるな。この機能にはフィードも用意されているので、これをlivedoor Readerで購読すればOK……と思いきや、明らかに被ブックマーク情報が飛び飛びでしか閲覧できなかった。原因はフィード側ではなく、LDR側の仕様によるものみたいだ。 LDRではフィードの記事はlink要素の値で管理されているようで、link要素の値が同じitem要素が複数存在するフィードの場合、常に新しいitemの方で上書きされてしまう。そのため場合によって、LDRのクローラーが巡回する合間に複数のユーザーにより同じURLがブックマークされた時など、は記事が欠落することになる。
書き手・読み手は、どこまで情報をコントロールする権利があるんだ？
Pipes: Rewire the webを使うと他人のサイトが簡単にスクレイピング出来てしまう。これまでスクレイピングするのにはほんのちょっとだけ技術的心理的障壁があった。今はそれすら要らない。loopとfetchだけわかればいい。広告を消すのも全文配信させるのも簡単に出来てしまう。 自前でplagger置いて加工するのはセーフ？ じゃあfeedreaderで読んでてgreasemonkeyで引っ張リ出すのは？ じゃあpipesは？ じゃあそれを公開するのは？ UTF-8ではないフィードを変換するのにwebサービスを使った。そのサービスが広告を差し込んでくるのは？ RSSに広告が差し込んであるのはウザい。それを消したものを公開するのは？ pipesがフィードに広告差し込んできたら？ 他人のフィードのアフィリエイトIDを全部自分のものに書き換えて公開するのは？ 他人のフィードに広告差し込ん
Yahoo! Pipesによるニュースサイトの「強制全文配信」 - ICHINOHE Blog
Livedoor Readerの注目度ランキングで、各新聞社ニュースサイトの「全文配信」っていうのがいくつもあがってきていたので、調べてみた。「Yahoo! Pipes で強制全文配信化 - てっく煮ブログ.」で紹介された方法を使って、「ニュースのRSSを全文配信で読む - ytsuchiyamaの日記」でフィードが作成されたようだ。たしかに多くのユーザが不便に感じていた事柄であり、なるほど話題になるわけだ。これでRSSリーダ経由で、携帯でも全文を読むのも楽になるだろう。 ただこれは、新聞社にとっては、デリケートな問題であろう。すでにコメントがついているが、米国のトータルニュース事件やGoogleニュースが登場したのときの摩擦に、たしかに表面的には状況が似ている。しかも、一般ユーザがこのノウハウを使って、独自にさまざまな「強制全文配信」フィードを作ることができてしまう。 ニュースサイトはこ
Yahoo Pipes + はてなRSS = 文字化け解決 - ぐでの日記
普段googleリーダーを使っているのですが、フィルタが出来なかったりするので不便だったのでyahoo pipesをいぢるいぢる。 yahoo pipesって日本語RSSがよく文字化けして手軽に使えないイメージだったけど、文字化けするRSSをはてなRSS経由で読み込むことで手軽に文字化けが解決できました。 ということでゲーム情報サイトから無料で遊べるゲームの情報を抽出してみた！ http://pipes.yahoo.com/pipes/pipe.info?_id=2Pub3CiE3BG_LJlZAsqenA 文字化けするRSS http://www.4gamer.net/rss/index.xml Content-Type: text/xml 文字化けしないRSS http://r.hatena.ne.jp/gede99/4gamer/rss Content-Type: applicati
中国生活Myリミックス - 中国での生活を自分なりにエンジョイリミックス
6月1日～中旬にかけてゆっくりとロックダウン解除していくととの大方の予想でしたが お上のひと言で6月1日から管理地域以外は自由に出入り出来、 外食はまだだめのようですがテイクアウト持ち帰りは可の状況。 工場、企業も地域によって1部70%の従業員と言うような規制も あるらしいですが通常通り稼動営業しています。 ロックダウン下に有った多くの人にとっては突然の事で 6/1の通勤時はリハビリ的な慣らし運転の仕事をやる人が多かったと聞いています。 6/3は中国では端午の節句で休日なので 6/1、6/2の2日で休みに基本は休みに入ったので 気持ちの切り替えもこの連休内にうまく出来るのではないでしょうか？ ちなみに端午の節句にはちまきを食べる習慣があります。 私の会社では6/1に全社員にちまきを配ってくれました。 中国では粽子と書きますが私もおいしく頂きました。 日本と違って甘いものや栗入りのもの等色々
高反発マットレスの選び方 | アフィブログに騙されない為の高反発マットレス手記
ウレタン系高反発マットレスでよく言及されるのが密度です。それを頑張って分かりやすく説明してみます。
Yahoo! Pipes で強制全文配信化 - てっく煮ブログ
pipesそろそろ Yahoo! Pipes ネタも飽きてきたので、このエントリで一区切り。今回は Yahoo! Pipes を使って、本文が一部分しか含まれていない RSS を全文配信にしてしまいます。題材として、若槻千夏のブログ『マーボー豆腐は飲み物です』 を取り上げましょう。完成品、どん。マーボー豆腐は飲み物です 全文配信化RSSRSS 版は http://pipes.yahoo.com/nitoyon/wakatsuki?_render=rss仕組みLoop モジュールがポイントですよ。Fetch Feed で RSS を取ってくる。Loop モジュールの中に Fetch Page を入れて、item.link の URL を取ってくる。取得した HTML から Regex モジュールで本文を抜き出す。Rename モジュールで description を上書きする。Feed の数
Yahoo! Pipes の Page Fetch モジュールでスクレイピングし放題 - てっく煮ブログ
pipesこのブログでも何度か Yahoo! Pipes の話題は取り上げてきましたが、先日実装された「Page Fetch」モジュールは素敵すぎます。ほんとに。今まで、Yahoo! Pipes といえば、XML・CSV か Yahoo が提供してるサービスのデータを加工することしかできませんでした。それが、「Page Fetch」モジュールの登場により、任意の Web ページを加工できるようになったのです。Yahoo! Pipes の使い道といえば、次の２つだと思います。1. RSSリーダーで読むための XML 作り複数の RSS を結合したり、見た目を整えたりして、自分専用の RSS を作る。 （例）サイトの最新被ブックマークを livedoor Reader で読むための Pipes2. Web サービスとの連携JSONP に対応してるので、JavaScript と組み合わせてサーバ
mixiやはてなにも対応--日本発のマッシュアップツール「Myremix」:ニュ
「Yahoo! Pipes」やMicrosoftの「Popfly」など、米国大手がひしめくマッシュアップツールの分野に、日本発のサービスが登場した。ネットエイジ・ラボとアスピレーションが11月27日にベータ公開した「MyRemix」は、上記サービスと同様にグラフィカルなインターフェースで様々なWeb サービスやRSSフィードをマッシュアップすることができる。もちろん日本産サービスのモジュールを細かく揃えている。 MyRemixの操作画面はYahoo! Pipesに似ており、公開されているAPIやRSSフィードのモジュールを視覚的につなぎ合わせることでマッシュアップを行える。コーディングを必要とせず、誰でも利用できる手軽さもそのままだ。出力にも工夫しており、RSSフィードだけでなく、メールで受け取ったり、Adobe AIRに対応したデスクトップアプリケーションとして配布することもできる。 ま
Yahoo! Pipesで生成したフィードをFeedBurnerへ流す - F.Ko-Jiの「一秒後は未来」
Yahoo! Pipesで作ったRSSフィードは、そのまま配信せずにFeedBurnerに読み込ませて配信させたほうがメリットが多い。 ◆ メリット1. RSSフィードのURLが綺麗になる Pipesで生成したフィードのURLはランダムで長い英数字で構成されているが、FeedBurnerに取り込めば分かりやすい名称をつけることができる。 ◆ メリット2. RSSフィードの効果測定ができる Pipesだけでは配信された数しか分からないが、FeedBurnerに取り込めばユーザエージェント別の購読者数を知ることができる。 ◆ メリット3. ソースが変更されてもFeedBurnerのURLは変わらない これについてはFeedBurner & pipesでフィードの簡単リニューアル (Mathatelle)でその利点が説明されている。 公式サイトでFeedBurnerについてを読むと、「トラフィッ
かんたんすぎ かっこよすぎ Yahoo pipes « ku
yahooがyahooには似合わないくらいにかっこいいサービスを出した。その名も Pipes: Rewire the web とすごいサブタイトルがついています。rewriteはいい過ぎだけど。(よくみたらrewriteじゃなくてrewireだった) Pipes is a hosted service that lets you remix feeds and create new data mashups in a visual programming environment. と書いてあって、要するにフィードを混ぜたりするツール。UNIXのようにXMLデータをパイプをつないで処理したりできると便利だよね、というのは IBM dW : XML : XMLの論考: マイクロフォーマットのパイプストリーム - Japan にも書かれていた話。IBM dW の話は一般的なXMLの話で、行を単
Pipes: Rewire the web
This pipe is designed to use eBay's RSS API to find items within a certain price range. Created by Ed Ho (show me) This pipe is designed to use eBay's RSS API to find items within a certain price range. Created by Ed Ho (show me) About Pipes Pipes is a powerful composition tool to aggregate, manipulate, and mashup content from around the web. Like Unix pipes, simple commands can be combined togeth
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
http://pipes.yahoo.com/pipes/pipe.info?_id=RCYG_Q_x3RGVurcjBRNMsA
laiso(2008-03-01)
はてなブログ | 無料ブログを作成しよう