[B! perl][html] goto553のブックマーク

にひりずむ::しんぷる - HTML::Filter::Callbacks の紹介

追記あり Yuji Shimada / HTML-Filter-Callbacks - search.cpan.org charsbar さんにパッチを送ったら、「commit bit 付けたから自分でリリースしてちょ」って言われたので、先ほど 0.07 をリリースしました。それはさておき、このモジュールについての情報があんまり世の中に無いようなので、いい機会なので紹介しようかと思います。このモジュールを使えば不要なタグの除去 url の変換属性の追加、削除 text の置き換えなどなどが簡単にできます。似たようなモジュールとして、HTML::Scrubber というのが昔からあって、よく使われてますが、長年メンテされていなかったり*1、インターフェースがとてもわかりにくかったり*2して、今から使うのは気が引けますが、HTML::Filter::Callbacks は大変直感的

goto553 2011/07/06

リンク

HTML::Feature 3.00 リリースしました - ダウンロードたけし（寅年）の日記

前回のエントリで案内した通り、perlの本文抽出モジュール「HTML::Feature」を全面的に作り直し、リリースしました。すでにCPANにも反映されています。今回の改修で、抽出精度が向上し、且つ全体的にも高速化がなされました。ヤタ！ HTML::Feature - Extract Feature Sentences From HTML Documents http://search.cpan.org/~miki/HTML-Feature/ 以下、簡単に新機能をご紹介します。エンジンモジュールを直列に並べる従来からコアとなるエンジンモジュールについては、任意のものに置き換えることができるようになっていました。デザパタでいうと「Strategyパターン」です。 version 3.00 からは、任意の個数のエンジンを好きな順番で直列に並べられるようになりました。例えば全く異なる抽出方

goto553 2009/07/29

リンク

本文抽出モジュールを作り直す - download_takeshi’s diary

２年ほど前にHTML::FeatureというPerlの本文抽出モジュールを書きました。こいつはブログやニュース記事から「本文らしき箇所」を適当に推測して抽出してくれるモジュールでして、リリースした当時はライバルもいなかったので、ブログなどでは結構反応がよかったです。外国の方も何人か使ってくれたりして、それなりに充実感のあるモジュールでした。しかし、昨年HTML::ExtractContentが出現してからは、すっかりその地位を奪われ＆忘れられた感がありました。作者としては「ま、いっか」的なノリだったのですが、最近になって急に「本文抽出界での復権を目指し全面リメイクを敢行するよ！」と思うに至りました。改善方針方針ってほどの方針ではありませんが、 - サイトごとに定義できる部分はすなおに定義する - アルゴリズムに頼りすぎない - google adsenceの人気にあやかる - 全体

goto553 2009/07/24

リンク

HTMLの閉じ忘れた htmlタグを補完する HTML::TreeBuilder｜Perlプログラムメモ｜プログラムメモ

■ HTML::TreeBuilder http://search.cpan.org/~petek/HTML-Tree-3.23/lib/HTML/TreeBuilder.pm HTML::TreeBuilder は本来 htmlパーサなのですが、閉じ忘れた htmlタグを自動で補完してしてくれる便利なオプションを発見したので紹介します。サンプルソース #!/usr/bin/perl -w print "Content-type: text/html;\n\n"; use strict; use lib qw( ./lib ); use CGI::Carp qw(fatalsToBrowser); use Data::Dumper; $Data::Dumper::Sortkeys = 1; use HTML::TreeBuilder; ### html2 タグの途中で切れてしまった va

goto553 2009/04/13

リンク

perl - HTMLをXMLとして扱う : 404 Blog Not Found

2009年02月19日08:30 カテゴリLightweight Languages perl - HTMLをXMLとして扱うそのXML::Liberalが test でこけまくっていたところから旅が始まった。ゆーすけべー日記: 壊れた Premiere (映像編集ソフト) のプロジェクトファイルが XML::Liberal (Perlモジュール) で直ったということは、なんとかして壊れたプロジェクトファイルを「well formed」な XML にすればいいじゃないのか！と思ったわけ。そこで活躍したのが「XML::Liberal」という miyagawa プロダクトな Perl モジュール。やりたかったのは、XHTMLでないHTMLを、XML::*なモジュールで扱うこと。例えばXML::LibXMLを使えば、JavaScriptみたいな感覚でDOMを操作できるし、XML::Sim