WWW::Mechanize付属のmech-dumpが便利な件 - 日向夏特殊応援部隊
Scrapingは余りやらないんですけど、いざやる場合にフォームのパラメタとか調べるのは面倒です。そんな時にWWW-Mechanizeに付属のコマンドのmech-dumpを使うと便利です。 サンプル 例えば、Pathtraqのトップページなら、 $ mech-dump --forms http://pathtraq.com/ GET http://pathtraq.com/analytics url=解析したいサイトのURLを入れてください (text) <NONAME>=解析する (submit) m=hot (radio) [upcoming|*hot|popular|site]と言う風に出力されます。*1 つまり、 name type value url text -- submit 解析する m radio hot(/upcoming/popular/site) って感じだと分かる
String::Approx
NAME String::Approx - Perl extension for approximate matching (fuzzy matching) SYNOPSIS use String::Approx 'amatch'; print if amatch("foobar"); my @matches = amatch("xyzzy", @inputs); my @catches = amatch("plugh", ['2'], @inputs); DESCRIPTION String::Approx lets you match and substitute strings approximately. With this you can emulate errors: typing errorrs, speling errors, closely related vocabul
にひりずむ::しんぷる - 初めての Furl
巷でとっても速くて便利だねこれってなってる HTTP Client であるところの Furl の簡単なつかい方を紹介します。 そもそも Furl は何かっていうと、perl には LWP っていう超高機能な HTTP Client があって、これがデファクトになってるんですね。 でも、それって結構昔からあって、かつ重厚長大なモジュール群なので結構遅いわけです。とくに CPU 使用率が高い。 そんなわけで、libcurl ぐらい速くて軽い HTTP Client があるといいよねってことで開発されたのが Furl です。 読み方は ふぁーる。 use strict; use warnings; use 5.0100; use Furl; my $furl = Furl->new(agent => 'Madoka-Magica/chu-2'); my $res = $furl->get('ht
データのソート
質問者 Takashi 投稿日 9/10(月) 00:23:11 データベースのデータを項目（フィールド）ごとに複数キーでソート（分類）したいのですが どのような方法を取ればいいのか概略を教えて下さい。 回答者 しあわせのツボ [削除] 投稿日 9/10(月) 00:55:22 sort { (split(/\t/,$a))[1]<=>(split(/\t/,$b))[1]; } @array; のような構文になります。 一連の質問を見て思うのですが、そこまで本格的なものを求めるのであれば、「簡易」データベースには荷が重すぎます。 いっそ、きちんとしたデータベースを利用されてはどうでしょうか。 質問者 Takashi [削除] 投稿日 9/10(月) 10:17:08 ありがとうございます。 本格的なデータベースは全くわかりません。 他に別途色々なソフトが必要になるのでしょうか？ Perl
Imlib2でImageMagickより3倍高速かつ美しいサムネイル画像の生成 - 昼メシ物語
この記事の概要 Imlib2を使って画像のサムネイルを生成してみたところ、ImageMagickより3倍速かった。 また一般的には、Imlib2の方が画質が悪いとされているが、パラメータを調整することで、十分に美しいサムネイル画像を得ることができた。 はじめに Imlib2は画像処理ライブラリ。mixiの発表資料大規模画像配信とPerl によれば、mixiは高速に高品質なサムネイルを生成するために、ImageMagickでなくImlib2を選んでいる。 上記資料の中では、以下のように説明されている。 速度 Epeg > Imlib2 > Imager >>> ImageMagick 画質 ImageMagick > Imlib2 >>> EpegImlibの画質は多少ImageMagickに劣るが、速度は十分に速い、とのこと。 一方で、404 Not Foundという記事では、ImageM
Mac OS Xでもlocal::libをつかってCPANモジュールを入れよう - JPerl Advent Calendar 2009
Mac OS Xでもlocal::libをつかってCPANモジュールを入れよう - JPerl Advent Calendar 2009 Perl に関するちょっとした Tips をのっけてみるよ。ちゃんと続くかな？ 概要 local::libは簡単にいうとCPANモジュールをシステム標準とは違う任意のディレクトリにインストールする設定を支援してくれる便利ツールです。root権限の無いレンタルサーバーでCPANモジュールをインストールするために使われたり、Remedieのように依存CPANモジュールごとまとめて配布するのに使われたりします。 今回はMac OS Xでsudo権限を使わずにCPANモジュールをインストールするための方法を解説します。 標準のPerlのモジュールと後からインストールしたCPANモジュールを別ディレクトリに分けておけるので OSのインストールしなおしでもバージョン
Bayesian Setsを試してみた - のんびり読書日記
この前YAPC Asia 2009に参加してきたのですが、そこで「はてなブックマークのシステムについて」の発表の中で、「はてブの関連エントリはBayesian Setsを使って計算されている」という話を聞いてBayesian Setsに俄然興味が湧いてきました。Bayesian Setsは以前論文だけ少し読んで、あまりよく分からないまま放置していたのですが、せっかくなのでPerlで作って試してみました。 Bayesian Setsについて詳しくは、以下のリンク先の資料をご参照下さい。 Bayesian Setsの論文 Bayesian Setsの詳しい説明記事 bsets, The Bayesian Sets algorithm. (Matlabのコード) 実際に作成したコードは以下の通りです。上記のMatlabのコードを参考にさせていただいています。 #!/usr/bin/perl #
#perl - utf8::decode()ではなくEncode::decode_utf8()を使うべき理由 : 404 Blog Not Found
2009年09月13日13:00 カテゴリLightweight Languages #perl - utf8::decode()ではなくEncode::decode_utf8()を使うべき理由 駄目です。 [を] Perl の utf8 まわりのおまじない 最近良く使うおまじない、というかイディオム。 utf8::decode($text) unless utf8::is_utf8($text); こういう場合は、Encode::decode_utf8()でないと。 以下をごらんください。 #!/usr/bin/perl use strict; use warnings; use Encode; use Devel::Peek; for my $bytes ( "\x2F", "\xC0\xAF", "\xE0\x80\xAF", "\xF0\x80\x80\xAF" ) { my $u
HTML::Feature::Engine::LDRFullFeed - WedataにあるLDR Full FeedのSITEINFOを使ってWebページの本文を抽出するPerlモジュール - fubaはてな
LDR Full FeedのSITEINFOがWedataに移動して便利になったので、そろそろHTML::Featureのエンジンが必要だと思って書いてみた。HTML::FeatureについてはHTML::Feature - 重要部分を抽出するモジュール - - download_takeshi’s diaryを、エンジンの拡張についてはHTML::Featureはエンジンをいろいろ拡張できるよ！ - download_takeshi’s diaryを参照ください。 HTML::Feature::Engine::LDRFullFeed koyachiさんのWebService::Wedataを使ってWedataからSITEINFOを取得、そのSITEINFOをpriority順にソートして、最初にURLがマッチしたSITEINFOのXPathでHTML::Elementをとってくるという仕
よく使用する関数・標準モジュール一覧 - Perl入門ゼミ
Perl › よく使う関数・モジュール よく使用する関数・標準モジュールの一覧です。これらの関数を覚えておけば、Perlをより便利なものにすることができます。詳細な解説は避け、簡単なサンプルを紹介しています。戻り値のあるものについては$retという記号で表しています。 また、よく使用する特殊変数、標準モジュールについても、解説しています。各項目から、関数の詳細にもリンクしていますので、便利にご利用ください。 数学関数 文字列操作 配列操作 ハッシュ操作 ファイル入出力 ファイル・ディレクトリ操作 時刻・時間 その他の重要な関数 関数とモジュールのドキュメントの調べ方 よく使用する特殊変数 よく使用する標準モジュール 数学関数 abs 絶対値を求めるにはabs関数を使用します。 $ret = abs $num; abs(-3)は3になります。 sqrt 正の平方根を求めるには、sqrt関数を
[を] Perl による自分用 Amazon Product Advertising API proxy「PAPAXY」
Perl による自分用 Amazon Product Advertising API proxy「PAPAXY」 2009-08-01-1 [Programming] Amazon API の大掛かりな仕様変更[2009-05-09-1]まであと半月。 みなさん準備はどうですか？ 私は、アマゾンAPIを使っている個別サービスの数が多いので、まずは Perl で自分用 Amazon Product Advertising API proxy CGI を作って当面の対処をすることにしました。 名前は PAPAXY（パパクシィ）。 「Perl Amazon Product Advertising api proXY」の略です。 テキトー 今までの amazon api の URL、 http://webservices.amazon.co.jp/onca/xml?... のかわりに下記のように自
![[を] Perl による自分用 Amazon Product Advertising API proxy「PAPAXY」](https://cdn-ak-scissors.b.st-hatena.com/image/square/af37977ee866988286b95e74fff98500a190545c/height=288;version=1;width=512/https%3A%2F%2Fchalow.net%2Fimages%2Ftcl-logo-25.png){kind=logo}
perl - URI::Amazon::APA released! : 404 Blog Not Found
2009年05月10日20:15 カテゴリLightweight Languages perl - URI::Amazon::APA released! そんなわけで、作りました。 /lang/perl/URI-Amazon-APA/trunk - CodeRepos::Share - Trac dankogai's p5-uri-amazon-apa at master - GitHub @CPAN (coming soon) Amazon アソシエイト・プログラム（アフィリエイト） 公式ブログ: Amazon アソシエイト Web サービスの名称変更および署名認証についてのお知らせ名称変更にともない、Product Advertising API にリクエストを送信いただく都度、認証のための電子署名を含めていただくことが必要になります。この変更は、2009年5月11日より3ヶ月の間の移
人工無能を作ろう〜マルコフ連鎖(perl)
perlでChaSenを使って形態素解析＆「1語の接頭語+1語の接尾語」のマルコフ連鎖をする際のサンプルです。 プログラムの文字コードはEUC-JPで、CGIとして実行できブラウザから実行結果を確認できるように書いてます。 perlからChaSenを使う場合、Text::ChaSenなど便利なモジュールもあります。 しかし、利用する形態素解析ツールが変わった場合にも簡単に対応出来るようにする為、Text::ChaSenを使わない方法で書きます。 下記ソースは汚染チェック・エラーチェック等を行ってませんので、ご利用の際にはご注意下さい。 #!/usr/bin/perl -w # ChaSenのパス $chasen = '/usr/local/bin/chasen'; # 形態素解析を行う文章 $str = "本当の優しさとはどんなことなのだろうか。相手がして欲しい事に気づいてあげら
ゆーすけべー日記
サキとは彼女の自宅近く、湘南台駅前のスーパーマーケットで待ち合わせをした。彼女は自転車で後から追いつくと言い、僕は大きなコインパーキングへ車を停めた。煙草を一本吸ってからスーパーマーケットへ向かうと、ひっきりなしに主婦的な女性かおばあちゃんが入り口を出たり入ったりしていた。時刻は午後5時になる。時計から目を上げると、待たせちゃったわねと大して悪びれてない様子でサキが手ぶらでやってきた。 お礼に料理を作るとはいえ、サキの家には食材が十分足りていないらしく、こうしてスーパーマーケットに寄ることになった。サキは野菜コーナーから精肉コーナーまで、まるで優秀なカーナビに導かれるように無駄なく点検していった。欲しい食材があると、2秒間程度それらを凝視し、一度手に取ったじゃがいもやら豚肉やらを迷うことなく僕が持っているカゴに放り込んだ。最後にアルコール飲料が冷やされている棚の前へ行くと、私が飲むからとチ
Perl 5.8.x Unicode関連
-> 趣旨と注意書き -> UTF8フラグ？ -> UTF8フラグとPerlIOレイヤ -> UTF8フラグのついた文字列を記述する -> Wide character in print ... -> Encode -> utf8::* -> use utf8; -> use encoding; -> use UTF8 と use encoding -> JcodeからEncodeへ -> 情報源 <- モドル 趣旨と注意書き Perl 5.8.x のUnicode 関連です。 正直、5.8.x は、ネタでしか使ってなかったので(ぉ、ちゃんといじったことがありませんでした。 使ってみると、よくわかんなくなったので、ちょっとまとめてみました。 今でもあんまりわかってないかもしれないので、内容は無保証です。 突っ込み歓迎。 Jcode、Encodeのメンテナの弾さんから、ご指摘いただいたので、
Perlで日付・時間を操作 - DateTime モジュールの使い方 (iandeth.)
Perlには、日時の加・減算を扱うモジュールが標準でついてきません。僕の仕事場ではずっと、同僚が作ったオリジナルモジュールを皆で使いまわしていたのですが、今になって、世間的 (CPAN) にはどんなものがあるのか気になって調べてみました。※参考になったのは miyagawa 氏のメールマガジンの過去記事と、perl.com の The Many Dates and Times of Perl なるエントリでした。 今回は数ある日付関連モジュールの中から、Dave Rolsky氏の DateTime モジュールについて、その基本的な使い方について簡単にまとめたので共有してみます。 同氏は上記 perl.com 記事の執筆者であり、この前の YAPC::Asia で DateTime project について講演してくれていた人です。気合の入ったモジュールを作ってくれた事に感謝。 目次 基本
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
perl-mongers.org
YAPC::Asia 2009 1日目 「Perlで圧縮」の資料 - naoyaのはてなダイアリー
はてなブログ | 無料ブログを作成しよう
モダンPerlの世界へようこそ 記事一覧 | gihyo.jp
