2. テキストマイニング（１） 評判情報。ポジティブ、ネガティブ • プロフィール。ブロガーの性別、年齢、地域 • そのページに関連した広告とか。 • 関連語。 • もしかして○○？ • クラスタリング。グルーピング。 •
Perlで入門テキストマイニング » SlideShare (share powerpoint...
2. テキストマイニング（１） 評判情報。ポジティブ、ネガティブ • プロフィール。ブロガーの性別、年齢、地域 • そのページに関連した広告とか。 • 関連語。 • もしかして○○？ • クラスタリング。グルーピング。 •
Perl で作る画像類似検索システムの考察
今日はとてもショッキングな出来事がありました。あまりにショックがでかいので何かに没頭しなければ気が紛れそうにありません。と言うわけで全く専門分野でもないし当面使う予定もないのですが、１年ほど前にちょっと気になっていた画像の類似検索についていろいろ調べてみました。 どうやら ImgSeek ってソフトが結構有名らしいです。最新バージョンは 0.86 で Linux Only です。１つ前のバージョン 0.85 は Windows binary があります。 過去にいくつか画像類似検索ソフトを試したような記憶がありますが忘れてしまいました（vector でも結構類似検索ソフトありますね）。まずは windows binary 版をダウンロードしてきて実行してみました。 それなりに使えそうな予感がします。Linux 向けの imgSeek-0.8.6.tar.bz2 をダウンロードしてインストー
perl - 勝手に添削 - ニコニコ動画ダウンローダー : 404 Blog Not Found
2007年08月04日04:30 カテゴリLightweight Languages perl - 勝手に添削 - ニコニコ動画ダウンローダー スライドもなんとか上がったので、リハビリもかねて久々の添削。 Perlでニコニコ動画のflvとコメントxmlをダウンロードする (Yusukebe::Tech) さんざん既出かもしれないけどPerlでニコニコ動画のflvファイルとコメントのxmlファイルをダウンロードするスクリプト。まずは結果から。 #!/usr/bin/env perl # # $Id: nicoget.pl,v 0.1 2007/08/03 19:26:19 dankogai Exp dankogai $ # original: http://yusukebe.com/tech/archives/20070803/124356.html # use strict; use wa
Web屋のためのPlagger講座 〜クチコミの現在(いま)をすべて収集せよ〜 | 株式会社フラッツ システム開発 PHP Ruby on Rails
久末です。宣伝とフォローです。 WebSiteExpertというWeb制作者向けの雑誌にPlaggerについての記事を書きました。 Web制作者向けということで、Plaggerそのものの説明、比較的簡単なPlaggerのインストール方法、 そして、Plaggerでクチコミを収集するサイトを自動生成するという3つの話題を扱っています。 Plaggerを知らない方、難しそうで敬遠していた方、インストールに失敗してあきらめてしまった方や、クチコミ情報をチェックしたい勤勉なWeb屋さんの助けになるようにできるだけ図を多く使って表現しました。 src=”http://g-ec2.images-amazon.com/images/I/31jfbcjnSpL.jpg” height=”160″ width=”113″ alt=”Web Site Expert #12″ title=”Web S
携帯のユーザーIDを取得する - Unknown::Programming
DoCoMoの場合は端末ID、SoftBankの場合はユーザID、AUの場合はサブスクライバIDを返すというもの。 CPAN漁ってみたところ、一応HTTP::MobileAgent::Plugin::ExtensionやSledge::MobileGate::Mobileとか携帯のIDを取得できるヤツはあった。 だけど、HTTP::MobileAgent::Plugin::ExtensionはSoftBankのときにUAから取得できるシリアルナンバーしか取れない。あとDoCoMoのis_utnの判定がhtml_version取得できない場合に未対応になるのがどうにもいけてない。 一方Sledge::MobileGate::MobileはユーザID取れるには取れるんだけど取得できなかった場合にシリアルナンバー返すんでちょい微妙。というかどっちにしろSledgeしからしか扱えないのでもっと汎用
Perl、PHPでGooglebotを一定の確率ではじく
Perl、PHPでGooglebotを一定の確率ではじく 2007-05-01-2 [Programming] 「動的生成ページへのGooglebot(Googleのクローラ)のアクセス数 が多すぎてサーバに負荷がかかりすぎる問題」に悩まされています。 robots.txt の Crawl-delay は効かないし[2007-03-21-1]、 Googleウェブマスターツールでクロール率を低く設定しても ある回数よりも下がらないしで困っていました。 アクセス禁止にすれば完全解決なのですが、 それにより検索されなくなるのはファインダビリティが下がって嫌なので、 とりあえずランダムで 503 を返すことで対処しました。 ときどき503が出ることにより、しばらくするとGooglebotが 「サーバが混んでいるんだな」と思ってくれるみたいで、 結果としてクローラのアクセス数が激減、かつ、検索結果
404 Blog Not Found:perl - POO と goto
2007年04月24日00:45 カテゴリLightweight Languages perl - POO と goto というわけで、本番。 404 Blog Not Found:perl - 万能なnewの書き方 ここからが面白くなるのだが次のEntryへ譲るここに着目していただきたい。 sub init { my $self = shift; $self->{$_} = $default{$_} for keys %default; $self->SUPER::init(); } 初期化に限らず、自分で何かをしたら次のメソッドに振るというのは、OOでは非常によく見られる光景だ。特にpluginなどを使っている場合、それが著しい。 しかし、このコード、次のメソッドに振っているのはいいのだけど、振ってから戻ってくるのだ。メソッド呼び出しも関数呼び出しに過ぎないのだから、当然といえば当然だ
404 Blog Not Found:perl - 万能なnewの書き方
2007年04月23日22:45 カテゴリLightweight Languages perl - 万能なnewの書き方 Perl 5のOOは、慣れてしまうと簡単だ。 継承とか考えずに、普通にクラスを作りたければ、必要なのは以下の二行だけ。 package Klass; sub new { bless {} }; これだけでは何もできないので、とりあえずnameというアクセサーを追加してみる。これだけ。 sub name { my $self = shift; $self->{name} = shift if @_; return $self->{name}; } しかし、上の形式だと、継承をサポートしていない。だから、 package Klass; sub new { bless {} }; package Klass::Sub; our @ISA = qw/Klass/; # new
404 Blog Not Found:perl - Regexp::Assembleのススメ
2007年04月19日15:00 カテゴリLightweight Languages perl - Regexp::Assembleのススメ というわけで、Regexp::Assembleのご紹介。 PERL HACKS(日本語版) [英語版] odz buffer - それ Regexp::Assembleん？ループ云々を抜きにして、こういうのは Regexp::Assemble の出番じゃないの？ すでにPerl Hackers御用達のモジュールとなっていますが、まだ知らない方もいらっしゃるかも知れないので。 何をするモジュールか、といえば、以下を見れば一目瞭然でしょう。 Regexp::Assemble - Assemble multiple Regular Expressions into a single RE - search.cpan.org use Regexp::Asse
YappoLogs: Twitterっぽいサーバースクリプト書いたよ
Twitterっぽいサーバースクリプト書いたよ twitterのAPIはtwitter以外でも互換APIだしたり、ライブラリとかがtwitter以外でも使えるようになってたりと、API周りが面白い今日この頃です。 大して深い意味は無いのですが、オレオレTwitterみたいのが欲しくなってサクっとTwitter APIが使えるサーバスクリプト書いてみました。 デモはhttp://tech.yappo.jp:11111/にて動いてます。 id/passwodはguest/guestもしくはtest/testです。 ソースはhttp://svn.yappo.jp/repos/public/misc/twitterd.pl 使い方はドキュメント書いてあるけど、htpasswdでユーザーアカウントを作成して、その作成したアカウントを使ってTwitterもどきにログイン出来ます。 サーバーを立ち上げた
Googleにもアクセス拒否され、スパム送信源と化した「libwww-perl」とは？
スパム対策をして気がついたのですが、どうやらスパムトラックバックを送信してくるリモートホスト（IPアドレスなど）はバラバラであっても、ユーザーエージェント、いわゆるブラウザの名称部分に「libwww-perl/5.805」というように「libwww-perl」と入っているものが多く、結果として、Googleなどは検索結果ページに対してこのユーザーエージェント名の一部「libwww」が含まれているとアクセス拒否しているようです。 ネット上で調べてみると、かなり多くの人が「libwww-perlはスパム送信ボットだ」と思っているらしいので、その正体を探ってみます。実際にはスパム送信のためのものではないです。どんなものでも悪用されると悲劇が起きるという例になってしまっています。 詳細は以下の通り。 まず最初に、「libwww-perl」がスパム発生器と化している状況は検索すれば国内や海外含めて山
cl.pocari.org
PHP の error_log に syslog を指定した際に他のログと混ざらないようにする 2013-08-30-1: [PHP] PHP のランタイムのエラーログですが、ファイルを指定するより syslog 経由にしたほうが何かと楽です。 ファイルの場合は、ユーザ権限で実行している cli でのエラーと httpd でのエラーの両方を記録するために、 パーミッションをもしかしたら 777 とかにする必要があるかもしれませんが、 syslog の場合は特にそんなこと気にする必要がありません。 php.ini で下記の設定をするだけなのですが、これだけだとちょっと都合が悪いです。 sudo vim /etc/php.ini error_log = syslog というのも送信されるログのファシリティは user なので、例えば CentOS 6 だと /var/log/messages
Perl and UNIX Network Programming (YAPC::Asia 2007) - naoyaのはてなダイアリー
YAPC::Asia で Perl UNIX ネットワークプログラミングについての発表をしてきました。UNIX ネットワークプログラミングの基礎の概論、I/O多重化の話、Perl のモダンなネットワークライブラリの話です。資料を以下に置いておきます。 http://bloghackers.net/~naoya/ppt/070404Perl_and_UNIX_Network_Programming.ppt (ppt, 122k) なお、会場では口頭で触れましたが、資料中のソースは簡単のためエラー処理を飛ばしています。また、途中で出てくる図は例えば vfs のページキャッシュをはしょってあったりとこれも簡単のため省略事項がある点にご注意ください。 それからフォントが Consolas なので Consolas が入ってない環境だと変になる、かも。
Plagger で遊んでたら週末が終わっていた [plagger]
前から試そう，試そうと思っていた話題の Plagger を導入してみました．mixi のマイミクの方とかはこれから足あとがつきまくると思いますが，気にしないで下さい． Plagger をご存知無い方は，この辺りでも． 一足早く「Plagger」の便利さを実感してみよう - ＠IT plagger - otsune FreeStyleWiki 要は，「いろいろな」データを入力して，加工して，「いろいろな」ものに出力するフレームワーク．「いろいろな」というところがポイントで，誰かが MacBook を勝手に持ち出したら携帯にメールする とか，Google で「はらへった」と検索してピザを注文する なんて人まで． Plagger については，既にネット上にインストール方法や設定方法がたくさんあるので，わざわざここで書くことはないんだけど，ひとまず自分の備忘録を兼ねて書いておきます． - RSS
PerlによるCSVファイルの高速集計 2：CodeZine
open(OUT, '>result.csv'); open(IN1, 'enquate.csv'); # アンケートデータを1行ずつ処理する while(my $line1 = <IN1>){ # 1行を4つに分ける chomp($line1); my ($id, $ans1, $ans2, $ans3) = split(/,/, $line1, 4); # この行にマッチする顧客データを検索する my $name = ''; my $address = ''; open(IN2, 'address.csv'); while(my $line2 = <IN2>){ chomp($line2); my ($tmp_id, $tmp_name, $tmp_address) = split(/,/, $line2, 3); if($tmp_id eq $id){
ITmedia エンタープライズ：第1回 何はなくともCPANを知ろう (1/2)
最近のWebかいわいでは、Webアプリケーション同士が連携してどんどん面白いサービスが生まれています。しかし、Web上のサービスは手元にソフトウェアも何も残らないので、どうしても雲をつかむような分かりにくさがあります。そこで本連載では、Webサービスを実際に利用／作成しながら、そういった「今どき」のテクノロジーを学んでみたいと思います。 今どきのWebプログラミング、教えます この連載では今どきのWebプログラミングを解説していきます。Webプログラミングというと一見難しそうに思えますが、ライブラリが豊富な最近のスクリプト言語を使えば、かなり簡単に高機能なWebサービスが実現できます。本稿では、特にライブラリが充実しているPerlを使うので、各種Webサービスの開発も「実は結構手軽で簡単なもんだ」と理解していただけるかと思います。 今回から数回はその足がかりとして、Perlのライブラリ群C
naoyaのはてなダイアリー - Perlでモダンなネットワークサーバーを書くには
Comet については、普及するかどうかという以前に、どう使えばいいのか、正しく使った場合に何をどこまでできるのか、という理解が共有されていないように思います。なので、(あくまで私見ですが) 使用したスライドの一部を公開したいと思います。よろしければごらんください。 サイボウズラボの奥さんによる Comet のサーバー周りの資料。すばらしい。C10K に対してどのようなアーキテクチャをとるのが良いかとの考察が特に勉強になりました。 また、問題や改善すべき点があれば、教えていただければ幸いです。 というので問題、改善すべきというわけではないですが Perl 周りの話で少し補足を。 資料中の「初心者へのオススメが PoCo::Server::HTTP でパフォーマンスが欲しい人には Sys::Syscall qw/:epoll/」の点。おそらく Perl でも epoll を使えますよというこ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Flash with perl
IBM LAMP システムを調整する、第 1 回: LAMP アーキテクチャー・・ - Japan
日本IBM
