Web::Scraper - naoyaのはてなダイアリー
Today I've been thinking about what to talk in YAPC::EU (and OSCON if they're short of Perl talks, I'm not sure), and came up with a few hours of hacking with web-content scraping module using Domain Specific Languages. 使ってみたよ! #!/usr/local/bin/perl use strict; use warnings; use FindBin::libs; use URI; use Web::Scraper; use Encode; use List::MoreUtils qw/uniq/; my $links = scraper { process 'a.key
CodeZine：Perlで作るモバイルサイトのコツ：第7回（絵文字, メール, Perl, モバイル）
はじめに 携帯らしいかわいいサイトを構築するのにかかせない絵文字ですが、最近は携帯向けメールマガジンなどのメールにも絵文字が含まれるようになってきています。 本稿では、絵文字を含んだメールを送信する場合のキャリアごとの仕様の違いと、送信方法を紹介します。対象読者絵文字を含んだメールの送信を検討している方CPANモジュールを使用したことのある方 必要な環境 Perl 5.8以上が動作する環境。キャリアの仕様の違いと絵文字を埋め込む方法 絵文字を含むメールの送信は、基本的に絵文字のバイナリデータを本文に挿入することで可能となります。しかし、キャリアごとに絵文字の仕様が異なるため、その違いを吸収する必要があったり、そもそも絵文字に対応していない端末があるため、配信する端末を制限するなどの方法を検討しなければなりません。 そこで、絵文字を送信する上で各キャリアごとにどのようにすればよいのかをまとめ
404 Blog Not Found:perl+apache - LWPを責めないで
2007年04月10日18:00 カテゴリLightweight LanguagesBlogosphere perl+apache - LWPを責めないで これはPerl Mongerとして一言言っておかねばなるまい。 Googleにもアクセス拒否され、スパム送信源と化した「libwww-perl」とは？ - GIGAZINE スパム対策をして気がついたのですが、どうやらスパムトラックバックを送信してくるリモートホスト（IPアドレスなど）はバラバラであっても、ユーザーエージェント、いわゆるブラウザの名称部分に「libwww-perl/5.805」というように「libwww-perl」と入っているものが多く、結果として、Googleなどは検索結果ページに対してこのユーザーエージェント名の一部「libwww」が含まれているとアクセス拒否しているようです。LWPことlibwww-perlは、We
Googleにもアクセス拒否され、スパム送信源と化した「libwww-perl」とは？
スパム対策をして気がついたのですが、どうやらスパムトラックバックを送信してくるリモートホスト（IPアドレスなど）はバラバラであっても、ユーザーエージェント、いわゆるブラウザの名称部分に「libwww-perl/5.805」というように「libwww-perl」と入っているものが多く、結果として、Googleなどは検索結果ページに対してこのユーザーエージェント名の一部「libwww」が含まれているとアクセス拒否しているようです。 ネット上で調べてみると、かなり多くの人が「libwww-perlはスパム送信ボットだ」と思っているらしいので、その正体を探ってみます。実際にはスパム送信のためのものではないです。どんなものでも悪用されると悲劇が起きるという例になってしまっています。 詳細は以下の通り。 まず最初に、「libwww-perl」がスパム発生器と化している状況は検索すれば国内や海外含めて山
Passion For The Future: 過去のWebサイトを丸ごとローカルへ復元するWarrick
過去のWebサイトを丸ごとローカルへ復元するWarrick スポンサード リンク InternetArchiveには過去のWebのアーカイブが保存されている。私が90年代に運営していたaccess.or.jpというWebサイトを見たければ、 http://web.archive.org/web/*/http://www.access.or.jp から日付選択でその日の姿のWebを表示させることができる。 とても便利なアーカイブサービスだが、バックアップされたサイト全体をダウンロードするのは面倒である。Warrickを使うと一行の指示でその作業を自動で行ってくれる。 ・Warrick - Tool for Reconstructing a Website http://www.cs.odu.edu/~fmccown/research/lazy/warrick.html 動作にはPerlが必要
再帰処理のクイックソート vs 非再帰処理のクイックソート
なるエラーでプログラムが続行できなくなる不具合に悩みました。そこで、今まで記述したことのない非再帰処理のクイックソートに書き直すことになりました。 僕の本業は VBA でないので、これ以上詳しい Excel VBA のソートのお話しは以下のサイトをご覧下さい。 さて、以下の説明は VBA に実装する前に作成した Perl 版クイックソートに説明を切り替えます。 まずは単純に再帰処理のクイックソートを実装してみる sub qsort_normal() { my $array = shift; my $left = shift; my $right = shift; my ($i, $j, $pivot, $tmp); if ($left < $right) { $i = $left; $j = $right; $pivot = $array->[($left+$right)/2]; whil
一足早く「Plagger」の便利さを実感してみよう − ＠IT
2006年初頭から「Plagger」という技術が、一部で話題になりました。まだまだ知名度が低い「Plagger」ですが、便利でカスタマイズ性が高いものなので、2007年では爆発的に流行するかもしれません。豊富なプラグインを自在に組み合わせ、欲しい情報を収集し、加工して出力するPlaggerの仕組みや使い方を紹介します。 1. 何でもできる？ Plaggerの正体に迫る 今回は話題のPlagger（プラガー）を取り上げます。 この連載を読んでいる読者の皆さんは、ネットワーク技術や知識に興味を持っている人が多いでしょうから、「Plagger」という単語は一度は耳にしたことがあるでしょう。しかし、Plaggerという言葉を聞いたことはあっても、いったいどんなものかピンと来ない人もいるかもしれません。今回はPlaggerがどういった働きをするか？ その動きの仕組みなどを中心に紹介していきます。 ●
Plagger は妄想を煽る - 傀儡師の館.Python：楽天ブログ
2006.11.19 Plagger は妄想を煽る カテゴリ：その他 Plagger の例などを見る。Plagger は Perl で書かれた RSS/Atom feed aggregator ということで、RSS/Atom を取得して、そこから何かを取り出して適当に処理して、その結果を使ってまた何かするようなことが簡単にできる。Googleで「はらへった」と検索するとピザが届くようにするまでや、Plaggerでエロサイト作ってみた なんていうのはデモンストレーションとしておもしろい。Plaggerとは？ からメジャーな情報をたどれる。 Plagger は、2006年2月に plagger.org が公開されていることを考えると、かなり早い普及かな。日本人の方（Tatsuhiko Miyagawa さん等）が開発の中心にいるということも、日本で普及する一つのメリットにもなっているのかな。そ
ゆーすけべー日記
サキとは彼女の自宅近く、湘南台駅前のスーパーマーケットで待ち合わせをした。彼女は自転車で後から追いつくと言い、僕は大きなコインパーキングへ車を停めた。煙草を一本吸ってからスーパーマーケットへ向かうと、ひっきりなしに主婦的な女性かおばあちゃんが入り口を出たり入ったりしていた。時刻は午後5時になる。時計から目を上げると、待たせちゃったわねと大して悪びれてない様子でサキが手ぶらでやってきた。 お礼に料理を作るとはいえ、サキの家には食材が十分足りていないらしく、こうしてスーパーマーケットに寄ることになった。サキは野菜コーナーから精肉コーナーまで、まるで優秀なカーナビに導かれるように無駄なく点検していった。欲しい食材があると、2秒間程度それらを凝視し、一度手に取ったじゃがいもやら豚肉やらを迷うことなく僕が持っているカゴに放り込んだ。最後にアルコール飲料が冷やされている棚の前へ行くと、私が飲むからとチ
404 Blog Not Found:perl - In-Memory File
2006年11月08日04:30 カテゴリLightweight Languages perl - In-Memory File Perl 5.8以降では、このような場合にin-memory fileが使えます。 【続】やはり Perl はメモリ喰いな言語。データ型の内部構造 :: Drk7jp ＤＢ上の全レコードをいったん perl 側の配列に格納して、その結果を返す。ってコードなのですが、当然ながらレコード数が多くなればメモリを食うのは当たり前なのですが、以前の記事の内容を完全に忘却してました。ここには落とし穴があるのです。使い方は、簡単です。 my @array = (0x21..0x7e); my $memfile; open my $wfh, '>', \$memfile or die $!; print $wfh chr($_), "\n" for (@array); clos
Ajax,Apache,CSS,CVS,HTML,JS,Perl,PHP等のチートシートまとめ:phpspot開発日誌
Smashing Magazine Blog Archive Cheat Sheet Round-Up: Ajax, CSS, LaTeX, Ruby… Ajax,Apache,CSS,CVS,HTML,JS,Perl,PHP等のチートシートまとめが紹介されてます。 チートシートって印刷して貼っておくとほんとに便利でお世話になってます。 Ajax関連 What’s Ajax? Cheat Sheet - PDF Prototype Dissected - Cheat Sheet PNG scriptaculous Combination Effects - Cheat Sheet - PDF Apache関連 Apache Cheat Sheet Apache 1.3 Quick Reference Card - free quick reference cards - PDF htacc
各言語用Ajax関連ライブラリ＆Ajaxフレームワークのコンプリートリスト:phpspot開発日誌
Software Development in the Real World: The Complete List of Ajax Tools Ajax has really taken off over the last two years. Ajax is really just the combination of Asynchronous JavaScript and XML. 各言語用Ajax関連ライブラリ＆Ajaxフレームワークのコンプリートリスト。 PHP, Perl, .NET, ColdFusion, Flash, Java用の他、Ajaxフレームワークのリストが公開されていました。 AJAX ライブラリ Yahoo Ajax Libraries - ご存知Yahoo UI Library Google Ajax Search Yahoo Maps Ajax API -
subtechグループ - Bulknews::Subtech - Test::Base でテストコードとデータの分離
はてなグループの終了日を2020年1月31日(金)に決定しました 以下のエントリの通り、今年末を目処にはてなグループを終了予定である旨をお知らせしておりました。 2019年末を目処に、はてなグループの提供を終了する予定です - はてなグループ日記 このたび、正式に終了日を決定いたしましたので、以下の通りご確認ください。 終了日: 2020年1月31日(金) エクスポート希望申請期限:2020年1月31日(金) 終了日以降は、はてなグループの閲覧および投稿は行えません。日記のエクスポートが必要な方は以下の記事にしたがって手続きをしてください。 はてなグループに投稿された日記データのエクスポートについて - はてなグループ日記 ご利用のみなさまにはご迷惑をおかけいたしますが、どうぞよろしくお願いいたします。 2020-06-25 追記 はてなグループ日記のエクスポートデータは2020年2月28
はてなグループの終了日を2020年1月31日(金)に決定しました - はてなの告知
はてなグループの終了日を2020年1月31日(金)に決定しました 以下のエントリの通り、今年末を目処にはてなグループを終了予定である旨をお知らせしておりました。 2019年末を目処に、はてなグループの提供を終了する予定です - はてなグループ日記 このたび、正式に終了日を決定いたしましたので、以下の通りご確認ください。 終了日: 2020年1月31日(金) エクスポート希望申請期限:2020年1月31日(金) 終了日以降は、はてなグループの閲覧および投稿は行えません。日記のエクスポートが必要な方は以下の記事にしたがって手続きをしてください。 はてなグループに投稿された日記データのエクスポートについて - はてなグループ日記 ご利用のみなさまにはご迷惑をおかけいたしますが、どうぞよろしくお願いいたします。 2020-06-25 追記 はてなグループ日記のエクスポートデータは2020年2月28
Googleの検索語によるタグクラウド「Google Search Cloud」
Apacheのアクセスログから、自サイトへ到達した訪問者がGoogleなどで使った検索フレーズを、Perlを使ってタグクラウド風に表示するというもの。 自分のサイトがどのような検索語でよく訪問されているかがビジュアル的にわかりやすくなるのでなかなかおもしろい。 設置方法の詳細などは以下の通り。 Google Search Cloud 上記ページに書いてある1つめのコードを「gscloud.pl」として保存し、2つめのコードを「gscloud.css」として保存。最後に「Examples of usage」に空いてあるようなコマンドを定期的に実行するようにすれば、アクセスログを解析してタグクラウドの書かれたHTMLファイルを吐き出してくれるという仕組みらしい。割とシンプルなので、いろいろと応用ができそうな予感。
遅レス。 - Apache mod_perl - MaxClients の値に注意
やっちまった……。きっとだれもが通る道。というかとっくに FAQ か。 mod_perl における C10K problem" - 竹迫良範 恥ずかしながら、知らなかったッス。これって mod_ruby でもありうる話だよね？ Apache で mod_perl を使用する時は MaxClients 設定に注意！ Apache の MaxClients(子プロセスの最大数) デフォルト設定は 150。 他のモジュールにも影響されるが、mod_perl 組み込み時、子プロセス1つのメモリサイズが 20〜30MB 程度になる。 よって、同時接続数 150 までアクセスされると 3G から 4.5G メモリを喰うことになる。 そんなメモリねぇ〜ｗｗｗ なので、スワップ・スワップ(SWAP x SWAP と書いてみたがヤな感じだった)。swap もオーバーしちゃったり。 対策: MaxClient
Plaggerのソースコード読む(3) - qw/Perる 日誌/
眠いので走り書き。 rule: expressionの仕組み。 下記yamlの場合。 (タイトルが qw/perる 日誌/ なfeedだけBreakEntriesToFeedsするyaml) - module: Filter::BreakEntriesToFeeds rule: expression: $args->{feed}->title eq 'qw/perる 日誌/'まず、ruleが適用される場所は、Plagger.pmのrun_hookの中のここ。 if ( $plugin->rule->dispatch($plugin, $hook, $args) ) {$pluginにはPlagger::Plugin::BreakEntriesToFeedsオブジェクトが入ってて、ruleはアクセサ。 $plugin->ruleでPlagger::Rulesオブジェクトが返ってくる。 Rul
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
http://stone.dialog.jp/archives/extract/index.cgi
gotAPI.com :: documentation search engine
http://blog.nowherenear.net/2006/10/shibuyapm_teck_talk_7.html