k-means++を試し中 - のんびり読書日記
http://d.hatena.ne.jp/kaiseh/20090113/1231864089 上の記事を見て、k-means++が面白そうだったので、ちょっとだけ試してみた。 k-meansは初期値に大きく依存するところが嫌い。初期値への依存度を軽減するために、初期値を変えて何回か試行してその中で一番良い結果のものを使用する、なんてことをしないといけない。そのため処理時間も馬鹿にならなくなってしまうので、ちょっとこれじゃあなあ…ということで使ってなかった。 でも今回のk-means++は初期値をうまく求めることで、精度と速度の向上が得られるらしい。これはうれしい！ 論文著者のページにサンプルコードがあったので試してみようと思ったんだけど、MFCを使っているみたいで僕の環境ではコンパイルできず…。 http://www.stanford.edu/~darthur/kMeansppTest
101号室: [perl][POE] POEで簡単なチャットサーバーを作る
POE::Component::Server::TCPをつかったサーバー習作。 やることは １．ClientConnectedでクライアントのオブジェクト($heap->{client})を%clientsに入れる。 ２．ClientInputがきたら%clientsにあるクライアントすべてに送信。 ３．ClientDisconnectedで切れたクライアントのオブジェクトを%clientsから削除。 これだけでtelnetで繋いで会話するだけのサーバーが作れる。 空行含んでも60行足らずで書けた。POE便利杉 #!/usr/bin/perl use strict; use warnings; use POE qw(Component::Server::TCP); my %clients; # ID => clientオブジェクト my $acceptor_session_id
tokuhirom blog
Blog Search when-present<#else>when-missing. (These only cover the last step of the expression; to cover the whole expression, use parenthesis: (myOptionalVar.foo)!myDefault, (myOptionalVar.foo)?? ---- ---- FTL stack trace ("~" means nesting-related): - Failed at: ${entry.path} [in template "__entry.ftlh" at line 3, column 25] - Reached through: #include "__entry.ftlh" [in template "entry.ftlh" at
mixi Engineers’ Blog » 新RSS Crawlerの裏側
このブログでは初めましての長野雅広(kazeburo)です。mixi開発部・運用グループでアプリケーションの運用を担当しています。 12月12日よりmixiのRSSのCrawlerが改善され、外部ブログの反映が今までと比べ格段にはやくなっているのに気付かれた方も多いかと思います。この改善されたRSS Crawlerの裏側について書きたいと思います 以前のCrawlerについて 以前のCrawlerは cronからbrokerと呼ばれるプログラムを起動 brokerはmember DBから全件、idをincrementしながら取得し、外部ブログが設定されていればcrawlerを起動(fork) crawlerはRSSを取得しDBに格納して終了 このような設計になっていました。 この設計の問題として、member DBを全件走査するという無駄な動作と、一件一件crawlerを起動するためオーバ
PHP・Perl各種テンプレートエンジンの処理速度比較
はじめに 最近のWEBアプリケーションではテンプレートエンジンと呼ばれる仕組みを用いてHTML表示を行うのが主流になっている。 テンプレートエンジンとは、 print "<html>"; print "<h1></h1>"; print "</html"; のように、print()で直にHTMLを出力するんじゃなくって、 <html> <h1>[% mesg %]</h1> </html> のようなテンプレートファイルを用意し、それをスクリプトで読み取り、整形加工し、HTMLとして出力する仕組みのこと。 テンプレートエンジンを用いることで、HTMLの見た目の修正に必要なのはテンプレートファイルだけになり、メンテナンス性が向上する。 PHPとPerlの代表的なテンプレートエンジンはどの程度の処理速度を持つのか、検証してみた。 対象のテンプレートエンジン Perl HTML::Templa
HTML::Feature - 重要部分を抽出するモジュール - - ダウンロードたけし（寅年）の日記
以前からCPANで公開していたモジュールがあるんですが、日本語での解説ドキュメントがなかったのと、最近大幅にブラッシュアップしたので、せっかくなので紹介記事を書きます。 HTML::Feature - Extract Feature Sentences From HTML Documents 「えいちてぃえむえる::ふぃーちゃー」と読みます。 ブログやニュース記事など様々なHTML文書から「重要部分」を推測して抽出してくれる perl モジュールです。 「重要部分」とはいわゆる「本文」のことですね。本文抽出とか焦点抽出とか色々な言い方があるかと思いますが、まぁ要するに特徴的な部分を推測して抽出するわけです。 どういうものか。 例えばブログ記事からヘッダーやフッター、その他のナビゲーションブロックを除いた「記事らしき部分」だけを切り取りたい、とします。 ぱっと思いつくのは「特定のコメントタグ
顔にエフェクトをかけてプライバシーを守るWebサービスの作り方
最近、OpenCVを使った顔認識が流行っているようです。 顔認識ができるということは、アレができるわけです。 「顔にモザイク！」 Web上で写真を公開するときは、プライバシーを守る必要があるため、顔は隠しておいた方が良い場合があります。 そんな時に、「顔にエフェクトをかけるWebサービス」があれば便利です。 例えば、こんな風に… （spiritlooseのはてなダイアリーさんの写真を使わせてもらいました） というわけで、今回は「顔にエフェクトをかけてプライバシーを守るWebサービスの作り方」をまとめてみます。 1.OpenCVインストール 2.Image::ObjectDetectインストール 3.OpenCV、Image::ObjectDetectのインストールにつまいたとき 4.Imagerを使いこなす 5.顔を塗りつぶすサンプルプログラム 6.顔に特定の画像を貼り付けるサンプルプログ
Perl で作る画像類似検索システムの考察
今日はとてもショッキングな出来事がありました。あまりにショックがでかいので何かに没頭しなければ気が紛れそうにありません。と言うわけで全く専門分野でもないし当面使う予定もないのですが、１年ほど前にちょっと気になっていた画像の類似検索についていろいろ調べてみました。 どうやら ImgSeek ってソフトが結構有名らしいです。最新バージョンは 0.86 で Linux Only です。１つ前のバージョン 0.85 は Windows binary があります。 過去にいくつか画像類似検索ソフトを試したような記憶がありますが忘れてしまいました（vector でも結構類似検索ソフトありますね）。まずは windows binary 版をダウンロードしてきて実行してみました。 それなりに使えそうな予感がします。Linux 向けの imgSeek-0.8.6.tar.bz2 をダウンロードしてインストー
Wikipediaのキーワードリンクを使って関連語データを作ってみた
Wikipediaのキーワードリンクを使って関連語データを作ってみた 2007-06-09-3 [NLP][Programming][Algorithm] Wikipedia のキーワードリンクを使って関連語データ（関連キーワード集） を作ってみた。 Wikipedia のデータはダウンロードページからbz2形式のを取ってきた。 日本のウィキペディアのXMLデータね。 (see Wikipedia:データベースダウンロード) で、Perlスクリプトで以下の関連語データ作成処理を行った。 （スクリプトはこの記事の末尾に載せておく） (1) 各キーワードページに含まれているキーワード（リンク）を取り出す。 例えばキーワードAのページにB,C,Dが含まれていたら、A => B,C,D というデータを蓄積。 またキーワードAが他のキーワードのページ（例えばX）に含まれていたら、それも蓄積。その場合
Devel::DProf
perlスクリプトの実行速度を分析するプロファイラ。 プロファイラとは CGIを作っていて、もう少し早くならんかなと思うことは良くあります。 そんな時、やたらめったら適当にいじくっていても、それが実際 スピードアップに貢献しているとは限りません。 そういう時はプロファイラを使ってどの部分が遅いのか、 どこを改良すればいいのかを分析するべきです。 Perlにもプロファイラが用意されています。しかし、残念ながら 標準ではなくて自分でCPANから インストールしなくてはいけません。 Devel::DProf の構成 Devel::DProf には二つの部品があります。プログラム実行中にデータを 収集する為のPerl モジュールである Devel::DProf と、集めたデータを 整形して見やすく表示するコマンドの dprofpp です。 作業の手順としては、スクリプトに組み込んだ Devel::
perl - HTTP::Date : 404 Blog Not Found
2006年09月04日13:45 カテゴリLightweight Languages perl - HTTP::Date モジュールなしとは行かないのだけど、HTTP::Dateは紹介するに値する。 [を] 日付文字列のencode/decode とある用途に、日付っぽい文字列を手軽に可逆変換する方法を模索中。 モジュールなしで済ませたい。なんといっても、LWPに付属しているので、インストールベースをあまり気にしなくてよいのがよい。今時LWPをinstallしていないとしたら、そちらの方がperl mongerとしては問題といえるほど普及しているので。 対応しているフォーマットは、以下のとおり。 HTTP::Date - date conversion routines - search.cpan.org The function is able to parse the followin
髭。サイト
髭力 髭の心、父心。剃り残すと「お父ちゃん、チクチクしてイヤ！」 おしながき めいんめにゅー 髭、はえ初めし頃。 (メイン) しょーとかっと タブ譜置き場 Haro is Another 'Riverside Oneroad' site.
:: Cepheid :: - Web
Last modified : 2008-05-05 Copyright © 1998-2008 Somali. All rights reserved.
daily dayflower - 半角←→全角変換，Unicode::Japanese に未公開機能が…
2008-10-21 追記 いまだに（ありがたいことですが）検索で飛んできたりブクマされたりというのがちょいちょいあるので，最新動向を書いておきます。 id:tokuhirom さんが Lingua::JA::Regular::Unicode という Pure Perl Module をリリースなさいました（→ http://d.hatena.ne.jp/tokuhirom/20081018/1224300947）。 あなたが作っているアプリで文字列まわりを Unicode::Japanese インスタンスですべて持ちたいわけでなければ（そして，たいていのばあい，持つ必要はないのですが），この Lingua::JA::Regular::Unicode を使うのがベターです。依存性もなく，とても軽量ですので。 2008-10-21 追記おわり ウェブアプリを作っていると，ユーザが入力した半角
新人教育 - Unknown::Programming
明日からちょっと遅めのゴールデンウィークということでなんか更新しとくか。 まっさらな新人にPerl教えるのって本当にきついですね。 専門学校レベルのC言語しかやったことないとかいう人は配列やfor文を凄く好む。 ハッシュやforeach使えよと。 はたまた学校でPerlやってましたとか言う人もstrictってなんですか？ってな状態だし。 というかね、専門学校で教えられてるPerlのレベルがね、10年くらい時が止まってるんじゃねーのか、と思うくらいレベルが低いのがなんとかならんかなと。（ということはPerlでOOPとかstrictとかCPANとかを教えてくれるような専門学校があったら凄い生徒集まるんじゃない！？いやいや、世の中はPHP主流になりつつあるらしいぞ） いや、まとにかく勉強しないといけない項目を箇条書きでざーっと上げてみようか。 foreach文 ハッシュ 配列操作関数push,s
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GitHub - livedoor/cicindela2: a highly customizable recommendation engine written in perl + MySQL
オーニソプターズ
HTTP-Async-0.33
iandeth. - ファイルダウンロード用のHTTP HEADER