1日で作る全文検索エンジン - Building a full-text search engine in "ONE" day - - とあるはてな社員の日記
最近、「Introduction to Information Retrieval」というStanfordの大学院向け教科書のドラフトを読んでいます。id:naoyaあたりが勉強会で読んでいる教科書です。この教科書には、効率のいい全文検索システムを作るにはどうすればいいか、という(まさに)教科書的手法が網羅的に書いてあり、そのあたりに興味がある人には、非常に興味深く読めるお勧めの本です。 ただ、面白い面白いと言っているだけでは、エンジニアとしては価値半減ですので、GW中にrubyで一日かけて実装してみました。 さすがに実装は、一日で作ったものですから、非常に素朴です。マルチバイト文字はbi-gramで、シングルバイトはスペースなどの区切り記号で認識しています。インデックスは、rubyの処理系のHashやArrayで保持しており、外部にMarshallで書き出す、というものです。検索エンジン
Perl5 における ":method" とはなにか - tokuhirom's blog
attributes.pod によると以下のように説明されている。 method Indicates that the referenced subroutine is a method. A subroutine so marked will not trigger the "Ambiguous call resolved as CORE::%s" warning. :method というアトリビュートは、その関数がメソッドであることを示します。 このマークがついているサブルーチンは、"Ambiguous call resolved as CORE::%s" という警告をはっしません。 具体的には use strict; use warnings; package Foo sub shift { } sub f { shift->{hoge} }は警告をだしますが use stric
Perl5 によるメール送信 - 実践的な Email::Sender の利用方法 - tokuhirom's blog
Perl5 では、E-mail の送信をするためのモジュールが多数 CPAN にアップロードされているが、現在もっともまじめにメンテされていて質がよいのは Email::Sender らしい。 Email::Sender は登場当初はドキュメントもなさすぎるしつかいものにならなかったが、現在ではだいぶマシになっている。Moose 依存が気にならないケースでは、実用としてつかっても問題ないとおもう。 iso-2022-jp の日本語のメールを送るには、以下のようにすればよい。 use 5.12.1; use utf8; use Email::Sender::Simple qw(sendmail); use Email::Simple; use Email::Simple::Creator; use Data::Recursive::Encode; use Encode; # e-mail o
シェルスクリプトの実行・管理が楽になるRerunの紹介 - Qiita
普段使っているシェルスクリプトの数が増えてきて、うまく管理できるツール無いかなーと思っていたところにRerunというのを見つけたので紹介してみます。 Rerunって？ Rerun by rerun Rerun is a simple command runner that turns loose shell scripts into modular automation. rerunは複数のスクリプトをモジュールとして取りまとめ、スクリプトの管理と呼び出しをサポートしてくれるツールです。 実際に導入しながらどんなものか見ていきます。 インストール Installation · rerun/rerun Wiki を参考に。
「Linuxで3万（10万）プロセスを同時に起動させてみた」の再現実験 - syuu1228's blog
Linuxで3万プロセス起動するとMCE（Machine Check Excepution）を食らうというよく分からない噂を聞いたので、興味を持ち試してみている。 但し、元実験は恐らくDebian stableでカーネルが2.6.32と古めだが、再現実験環境は最近入れたUbuntu Serverなので3.5.0-26-generic。 こんなにバージョン違うともう別物だろう。 ハード構成も違うし、同じ状況を再現するのは困難かも…。 取り敢えず、今のところ何も起きていない。しばらく放置してみる。 追記： 何もエラーが出ないので、最終的に7万プロセスを投入して1日間放置したが、dmesgにもmcelogにもエラーは表示されなかったのでこれにて実験終了とする。 @naota344氏によると、「CPU温度の上昇」などのイベントでもMCEは発生していて、その場合ログは行われるがMCEによるpanic
WebSocketのリバースプロクシやSPDYサポートが加わった「nginx 1.4」登場 | OSDN Magazine
オープンソースのWebサーバー「nginx」開発チームは4月24日、最新の安定版となる「nginx 1.4.0」を公開した。1年ぶりの新たな安定版リリースとなり、SPDYプロトコルのサポート、WebSocketリバースプロキシなどの機能が加わっている。 nginxはロシアの開発者Igor Sysoev氏が開発したWebサーバーソフトウェア。軽量かつ高速なのが特徴で、リバースプロキシやIMAP/POP3プロキシ、キャッシュ、負荷分散、コンテンツの圧縮といった機能も持つ。ライセンスは二条項BSDライセンスで、BSD系OSだけでなくLinuxやMac OS X、Solaris、Windowsなどさまざまなプラットフォームで動作する。調査会社Netcraftの調査によると2013年4月のシェアは15％で、Apache HTTP Server（55％）、Microsoft IIS（20％）についで3
GitPrep - ポータブルなGithubシステムをUnix/Linuxにインストール - Perl入門ゼミ
Perl › here GitPrepはGithubのクローン、ポータブルなGithubシステムをUnix/LinuxにインストールできるWebアプリケーショGitPrepです。インストールはとても簡単で、ひとつのコマンドだけでインストールすることができます。 Githubの機能を、会社などでも無料で使いたいという自分の要望のために書き始めましたが、だんだん機能がそろってきて、どなたでも使ってもらえるところまできました。バージョン1.0をリリースしました。gitというツールは、Githubがないと、使いにくいsvnくらいの認識しかされないので、社内リポジトリのsvnからの移行のためには、こういうツールがあると、便利だと思います。 ユーザーの作成は無制限、プライベートリポジトリも無制限に作成することができます。GitPrep自体はオープンソースですので、無料で利用することができます。さくらレ
Perl QA Hackathon 2013に参加してきました - Charsbar::Note
以前こちらでも予告しておいた通り、4月12日から14日までイギリスのランカスターで開催されたPerl QA Hackathonに参加してきました。今回のイベントも多くのスポンサーさまに支えていただきました。運営チームのみなさまおよび企業団体スポンサー(cPanel, Dijkmat, Dyn, Eligo, Evozon, $foo, Shadowcat Systems Limited, Enlightened Perl Organisation, Mongueurs de Perl)のみなさま、そして昨年に引き続き個人スポンサーとして寄付をいただいたSyohei Yoshida (@syohex)さま、ありがとうございました。おかげさまで大変有意義な時間を過ごすことができました。 また、今回のQA Hackathonでは、ランカスターでのHackathonにあわせて東京でも一日Hacka
cpan.me - cpan リソースおよび情報
This webpage was generated by the domain owner using Sedo Domain Parking. Disclaimer: Sedo maintains no relationship with third party advertisers. Reference to any specific service or trade mark is not controlled by Sedo nor does it constitute or imply its association, endorsement or recommendation.
Working with UNIX Processes を読んだ - @kyanny's blog
Working With Unix Processes という本を読んだ。 Thin の作者からの「時期バージョンを作るとき参考にする」というメッセージ*1が添えられていたのに惹かれて買った。著者のサイトで直販しているが、 Kindle Store からも購入できる。 この本は一言でいうと、 UNIX 系 OS のプロセスについての本だ。プロセスとは何か、という導入部から始まって、プロセス ID やプロセス名、終了コードへと言及し、 fork(2) やソンビプロセス、シグナル、そしてデーモンプロセスの説明あたりまで本編中で説明している。 UNIX プログラミングに関する類書は 1000 ページを超えるものが多いなかで、この本はわずか 100 ページほどしかなく容易く読める*2。しかしページ数が少ないぶん、あまり踏み込んだ内容とは言えず、全体的にやや浅い印象を受けた。すでに UNIX, Li
PSGI/Plackで非同期 Web Server - blog.nomadscafe.jp
PSGI/Plackにおいて、非同期にレスポンスが返せるstreamingという仕様/機能が追加されました。 PSGI/Plack streaming is now complete これを使うと、streamingをサポートしたサーバから非同期/nonblockingにhttpやGearmanを利用して外部へ問い合わせを行い、その結果をレスポンスしたりできます。 また、これがPlackで既に実装済みなので、非常に短いコードでサーバの実装ができちゃいます。 すばらしいですね。 すでにmiyagawaさんが、この機能を利用した非同期Web Framework「Tatsumaki」を書かれています。 イベントを扱う部分が隠蔽されているので、これを使うとさらに簡単に実装できます。 すばらしすぐる。 ここでは、簡単に外部へAnyEvent::HTTPを用いて、HTTPリクエストを行うサンプルを書い
Server::Starterから学ぶhot deployの仕組み - $shibayu36->blog;
以前http://tech.naver.jp/blog/?p=1369の記事を読んだのだけれど、それまでにprocessの知識が無かったりして、まったく理解できませんでした。そこでWorking with UNIX ProcessesやServer::Starterの中身を呼んでようやくhot deployの仕組みを理解できた(気になっている)ので、Server::Starterの実装を追いながら、それをまとめてみます。 hot deployとは hot deployとは「再起動の時にリクエストの処理を続けながら、変更の内容を反映するための手段」です。 通常serverをrestartさせるときは、stop -> startの流れになると思いますが、この場合stopしてから、start出来るまでの期間にリクエストを処理できない期間が発生します。その期間なしにdeployする仕組みがhot
Working With TCP Sockets - A short, concise guide that teaches Rubyists the basics of socket programming, and then some!
The TCP/IP protocol is used by computers to communicate over the Internet. Any device using the Internet – even your intelligent lightbulb – utilizes this protocol. And as you probably know, it’s an acronym for Transmission Control Protocol (TCP) / Internet Protocol (IP). In fact, TCP/IP is much more than a protocol. It’s a full set of communication protocols that use different layers to specify h
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
The 67th Yokohama kernel reading party
Unix Programming with Perl
Unix Programming with Perl 2
滨州僭蓉教育咨询有限公司
Webアプリケーションの無停止稼働 - Server::Starter, Parallel::Prefork, Starlet を使って (SoozyConference 7 発表資料)