【ハウツー】「habu」 - Python版PlaggerでRSSを加工する (1) 「habu」とは何か? - 概要 | エンタープライズ | マイコミジャーナル
Web 2.0の根幹をなす技術の1つにRSSがあります。RSSは、Webサイトやブログの更新情報を配信するための技術です。 筆者は以前から、RSSから収集したデータをデータベースに登録したり、ブログをメールで更新(moblog)するためのスクリプトなどを作成し、複数動作させていました。これらのスクリプトは基本的にはほとんど同じような処理を行うものです。処理は大きく分けて、外部のサーバーからデータを取得する部分と、取得したデータをフィルタする部分、そして、フィルタした結果をデータベースなどに出力する部分です。フィルタする部分は同じ機能を再実装しているところも多々ありました。 自作のスクリプト類をリファクタリングする必要性を感じ始めた時に、Plaggerの存在を知り、UNIX的な思想に感銘しました。Plaggerにインスパイアされ、Pythonベースで「habu(ハブ)」の開発を始めました
なつみかん＠はてな - Plaggerはこんなに便利
先に書いておくと、「2006年フリーソフト1選」であれば、間違いなく選ぶツールはPlaggerだ。だがしかし・・・、という話はいつか書くかもしれない（煩悩是道場の文章が有名っぽいけど、僕の立ち位置/観点では少し違うんだなぁ・・・）けど、とりあえず、この10選にPlaggerは含めない。 2006年フリーソフト10選 ■tokix.net tokix.netさんの「だがしかし…」という話はぜひ読んでみたいです。ただ、その記事が有名っぽいとされるのは心外。使ったことのない人の文章を真に受ける人もあまりいないでしょうけど。 前に書いたかもしれませんが、「Plaggerを使う／使わない」は「RSSリーダー（orアンテナ）を使う／使わない」ぐらい違います。情報の量、効率でかなり差が出ます。多くのサイトを巡回する人ほど恩恵を受けられるツールです。 自分の例を挙げると、 RSSのないサイト（個人ニュース
いまさら聞けない？ 初心者向けPlagger設定覚え書き その3
いまPla*1 その3です。 その1では「Filter::EntryFullText」について、その2では「CustomFeed::Config」について扱ってきました。今回はCustomFeed::Configで抽出したいサイトが複雑な場合にどうやって対応するかということに焦点を当てていきます。 その2ではサンプルとしてまなめはうすさんからニュースのタイトル、コメント、リンクを抽出するyamlファイルを作成しましたが、紹介したファイルでは日付が変わる部分での取得がうまくいかない、またニュースしか取得できないため雑記を読むことができないという欠点がありました。1つめに関しては正規表現を工夫すればなんとでもなりますが、2つめに関してはニュース部と日記部分でパターンそのものが違うので取得することが難しそうです。特に2つめの問題を解消する方法に関して取り扱います。 その2で作ったCustomFe
いまさら聞けない？ 初心者向けPlagger設定覚え書き その2 - Muibrog
昨日書いたその1は多くの人に読んでもらえたようで、改めてPlaggerに対する興味の高さを確認しました。いじってみたいけど敷居が高いという人が多いんだなーと実感。Windowsでも簡単にインストールできるようなので試してみたらどうかと思います。すっごくたのしいから！ 別にPlaggerコミュニティのまわしもんでもなんでもないけど。 その1ではFilter::EntryFullText（以下：EFT）について説明しました。これは指定したHTMLからサイト内部のリンク先を抽出して指定されたルールに従って内容を持ってくるフィルタです。EFTを使って企業ニュースサイトの見出しページを読み込んでその日のニュースを引っ張ってくることができました。しかし、EFTでは外部サイトのリンクには対応できませんでした。これでは個人ニュースサイトに対応できません。そこで今回はCustomFeed::Configを取
いまさら聞けない? 初心者向けPlagger設定覚え書き その1 - Muibrog
Plaggerをいじってみて、とても便利でなにより楽しくてしょうがない。まだ「それPla」ってほどなんでもできるわけじゃないけど、RSSを配信してないサイトから欲しい情報を取り出すことはできるようになった。意外と初心者向けの手引き的なものが見つからなかったので、初心者向けにメモしておきます。まだ簡単なことしかわからないし、間違ったことも書いてあるかも知れないのでいろいろ試してみながら確認してください。 まずはFilter::EntryFullText（みんなEFTって呼んでるみたい）について。 企業ニュースサイト（新聞社とか）のトップページにあるような自分のサイト内へのリンクのあるHTMLをフィードと変換するときに使うFilter。下のはYOMIURI ONLINEの科学のトップページから科学ニュースを取り出すためのyaml（ Wikipedia）。 author: Toshi custo
Debian に Plagger をインストール - SmallStyle (2006-08-28)
_ Debian に Plagger をインストール Plagger をインストールしたので覚え書き．CPAN でのモジュールインストールを挫折した人なので，ここはちょっと楽して公開されているレポジトリを使ったお手軽環境構築について． まず，レポジトリを利用するに当たっては，stable な環境では利用できないんで，unstable な環境を，sarge 上に作ることから．これも別に難しいこともなく，debootstrap を利用して簡単に構築できる．今回は，いったん stable な環境を作ってから，unstable に dist-upgrade する手順で． まずは，debootstrap コマンドで環境を作ります．コマンド一発であとはおまかせ． # mkdir /debian-sid # debootstrap sarge /debian-sid インストールが完了したらとりあえず，
crawler.jp - Plaggerをインストール@さくらインターネット
「まるごとPerl!」を買ってきたので、これを機に念願のPlaggerを使ってみることにしました。ぜんぜん詳しくないんですが、Plaggerを使うと、これまで自前のスクリプトでスクレイピングしていたネタが簡単に収集できそうです。これはすごい！ で、早速さくらインターネットのレンタルサーバ環境にインストールしようとしたんですけど、ものすごくはまってしまって、もう調べまくり。なんとかインストールはできたものの、朝になってしまいました。。。せっかくなので記念にメモを残しておきます。やたら無駄に長いです。 まずは、CPANシェルがちゃんと使えないとダメです。 CPANシェルの設定方法はこちらのエントリーをご覧ください。 http://www.crawler.jp/archives/000278.html あと、これを忘れずに。 setenv PERL5LIB $HOME/perl/lib:$H
WindowsにplaggerをインストールしてBloglinesをGmailで購読しよう 情報は量/ウェブリブログ
「ウェブリブログ」は 2023年1月31日 をもちましてサービス提供を終了いたしました。 2004年3月のサービス開始より19年近くもの間、沢山の皆さまにご愛用いただきましたことを心よりお礼申し上げます。今後とも、BIGLOBEをご愛顧賜りますよう、よろしくお願い申し上げます。 ※引っ越し先ブログへのリダイレクトサービスは2024年1月31日で終了いたしました。 BIGLOBEのサービス一覧
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
mizzy.org - Plagger プラグインの実行フェーズ