Feedy(Python)でRSSフィードをいい感じに処理する - c-bata web
最近、RSSフィードをfetchしてゴニョゴニョ処理したいと思うことが多かったのですが、特に気にいるライブラリが無かった *1 のでFeedyというライブラリを作ってみました。 個人的には結構気に入っていて、便利に使えているので紹介します。 もともと欲しかった機能・特徴としては、 デコレータベースでシンプルに記述できる 当然、前回fetchした時間からの更新分のみの取得も可 RSSフィードのリンク先のhtmlも自動で取得して、好きなHTMLパーサ(個人的にはBeautifulSoup4)でいい感じに処理したい 具体的には↓のように記述します from feedy import Feedy feedy = Feedy('./feedy.dat') # 前回フェッチした時間とかを格納(Redisとかに自分で置き換えることも可能) @feedy.add('https://www.djangopa
RssLibraries - Python Wiki
Python RSS Code Articles: The PythonWeb services developer: RSS for Python http://codeboje.de/blog/archives/Feeds-and-python-II.html - Short articles about using Universal Feed Parser Libraries: the Universal Feed Parser - Reads 9 RSS versions and Atom RSS.py - reads most RSS versions, produces RSS 1.0 SpycyRoll - I don't know much about - this is an aggregator, and perhaps other stuff as well PyR
feedparser
Feedparser - Robust RSS, Atom, and RDF feed parsing in Node.js Feedparser is for parsing RSS, Atom, and RDF feeds in node.js. It has a couple features you don't usually see in other feed parsers: It resolves relative URLs (such as those seen in Tim Bray's "ongoing" feed). It properly handles XML namespaces (including those in unusual feeds that define a non-default namespace for the main feed elem
部分配信のRSSを全文配信に変えてくれるfullrss.net
Google Readerが終了して1週間ほど立ちました。利用者が少ないという理由で終了したGoogle Readerですが、今回の終了騒動によってRSSリーダの存在を意識し、新たにFeedlyなどを使い始めた人というのもいるのではないでしょうか。 個人的にRSSを利用する上で気になるのが、記事を部分的に配信にしているサイトです。RSSを更新通知として利用し、記事を読む際はサイトに来て欲しい、というのが部分配信をしている主な理由だと思いますが、できることならRSSリーダ上で全部読みたいというのが利用者側の本音ではないでしょうか。少なくとも私はそうです。 そんなときに役立つのが部分配信のRSSを全文配信に変換してくれるfullrss.netです（以前はそのまんま「まるごとRSS」という名称のサービスでしたが、最近はRSSリーダも始めたのですね）。随分前からあり、かなりメジャーなサービスなので
feedparser
Parse Atom and RSS feeds in Python. Installation feedparser can be installed by running pip: $ pip install feedparser Documentation The feedparser documentation is available on the web at: https://feedparser.readthedocs.io/en/latest/ It is also included in its source format, ReST, in the docs/ directory. To build the documentation you’ll need the Sphinx package, which is available at: https://www.
サポートが終わってしまった今、TwitterのRSSフィードを取得する方法 | ライフハッカー・ジャパン
Digiral Inspiration：Twitterによる公式なRSSへのサポートはストップしたものの、フィードを取得する方法が全くないわけではありません。 少し複雑ですが、普通のタイムラインやリストだけでなく、検索結果など様々なTwitterのフィードを作成することができます。 RSSフィードを使えば、Twitterのデータを様々なところで使い回せるようになるでしょう。例えば、新しいツイートをトリガーにするIFTTTのレシピを作ったり、ブログに自動的にTwitterのタイムラインを表示させたりできます。 今回はTwitterのRSSフィードを取得するための簡単で信頼のおける方法を紹介しましょう。 TwitterのRSSフィードを作成する方法 TwitterはWebサイトにタイムラインを貼付けるためのウィジェットを提供しています。このウィジェットを、Googleスクリプトを使ってRSSフ
FeedBurner x Adsense RSSに広告を追加 | escape while you can
FeedBurnerで燃え上がるfeedに対してgoogleのadsenseを追加することに成功した。 しかし広告は結構限られたRSSリーダーで表示されるようで、 例えば昨日の広告表示回数は29回にしかならない。 通常のアドセンス広告の表示回数が1,262回に対してなので相当少なく、 また僕のサイトだとクリック確率は1%にも満たないのが通常なので feed経由で広告がクリックされる可能性は極めて少ない。 それでも検索向けadよりは表示回数が多いし、ある程度の期待は出来る。 feedに広告を追加する方法は、このブログで作成したfeedを feedバーナーのアカウントではなく、adsenseの「AdSense 設定 」 「フィード向け AdSense」画面上で「新しいフィードを作成」に入力し、 ttp://feedproxy.google.com/以下で焼き直す事が必要。 ここがわかるまで非常
メディア・パブ: RSSフィードの普及率は約1割止まり，リーダー利用はニッチだが情報流通には必須
RSSフィードの利用は，米国のインターネットユーザー（大人）の11%しか利用していない。 これはForrester Researchが実施したRSSフィードのユーザー調査の結果である。Steve Rubelが彼のブログMicro Persuationで報告していくれている。 Forrester Researchが2,231人の大人のオンラインユーザーを対象にした調査によると，「現在RSSフィードを利用しているか？」の問いに， 11%：Yes 78%：No 12%：I'm not sure との結果になった。 RSSリーダーを利用している割合が，ネットユーザーの11%と見てよさそうだ。RSSフィード配信はニッチな市場で終わり，期待したほど普及しなかったのか。 RSSリーダーで所望のRSSフィードを受けて，日常的にRSSリーダーで情報収集するユーザーは限られているだろう。今回の調査結果の11%
ブログにlivedoor Reader購読者数のグラフを載せる方法 : しげふみメモ
2008年08月05日21:09 カテゴリlivedoor Reader ブログにlivedoor Reader購読者数のグラフを載せる方法 自分のブログがRSSリーダーでどれだけ購読者数がいるのか、気にしている人もいるかと思います。 私は、自分のブログのページビューの増減はあまり気になりませんが、RSSリーダーでの購読者数が増えるととても嬉しいです。 現時点で、このブログの購読者数が多いRSSリーダーは livedoor Reader です。 そこで、livedoor Reader購読者数のライブタイトルをブックマークツールバーに表示させてチェックしていたりします。 ただ、以前から、購読者数の推移をグラフにしたいと思っていました。 （フィードを FeedBurner を使うようにすれば可能なようですが） 先日の記事（XPathGraphでグラフを作ってみた）で紹介した XPathGrap
mixi Engineers’ Blog » 新RSS Crawlerの裏側
このブログでは初めましての長野雅広(kazeburo)です。mixi開発部・運用グループでアプリケーションの運用を担当しています。 12月12日よりmixiのRSSのCrawlerが改善され、外部ブログの反映が今までと比べ格段にはやくなっているのに気付かれた方も多いかと思います。この改善されたRSS Crawlerの裏側について書きたいと思います 以前のCrawlerについて 以前のCrawlerは cronからbrokerと呼ばれるプログラムを起動 brokerはmember DBから全件、idをincrementしながら取得し、外部ブログが設定されていればcrawlerを起動(fork) crawlerはRSSを取得しDBに格納して終了 このような設計になっていました。 この設計の問題として、member DBを全件走査するという無駄な動作と、一件一件crawlerを起動するためオーバ
RSS自動解析で分かる集合知
RSSが公開されていれば、その内容から今何が話題になっているのかを把握することができる。このスクリプトが“まとめサイト”を作るピースの1つだ。 前回までは、スクレイピングの基礎を説明した。今回からは、実際にどのようにスクレイピングのプログラムを作っていけばよいのか、実践的な解説行っていこう。 今回の目的は、「RSSで配信されているブログ投稿を、コメント数が多いもの順に並べて表示する」という処理のスクリプト作成だ。 このようなスクリプトを作っておけば、数ある記事の中から、「盛り上がっている記事（炎上しているかもしれない）」を容易に把握することができる。そして、このスクリプトを以降の記事で紹介する自動化設定に組み合わせることで、“まとめサイト”を作り上げていくのだ。 PerlによるWebコンテンツの取得 スクレイピングするためには、まず、相手のWebサーバに接続してコンテンツを取得しなければな
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GitHub - mmcdole/gofeed: Parse RSS, Atom and JSON feeds in Go
IBM Developer
CM (Main)
feedgenerator
feedgen
GitHub - dylang/node-rss: RSS feed generator for Node.
TwitterのtimelineからURLを抽出してRSSにするの作った - おいら屋ファクトリー
Firefox アドオン - RSS Icon In Awesombar | Mozilla Japan
Japan.internet.com デイリーリサーチ - インターネット・ツール定期リサーチ（8）：2006年4月7日――「RSS リーダー」利用率は14％