Released AnyEvent::DNS::Cache::Simple. DNS cache extension for AnyEvent - blog.nomadscafe.jp
I released AnyEvent::DNS::Cache::Simple to cpan today. cpan: https://metacpan.org/release/AnyEvent-DNS-Cache-Simple github: https://github.com/kazeburo/AnyEvent-DNS-Cache-Simple This module will cache DNS responses of AnyEvent::DNS. And you can improve the performance of AnyEvent applications. synopsis use AnyEvent::HTTP; use AnyEvent::DNS::Cache::Simple; use Cache::LRU::WithExpires; my $cache = C
本当は難しいCPANモジュールのバージョン特定 - blog.nomadscafe.jp
OrePANを作っていて一番難しいのはディストリビューションからモジュールのパッケージ名とバージョンを抜き出す部分。ExtUtils::MakeMakerやModule::Metadata、PAUSEのソースを参考にして書いているところ。 例えば、Log::Minimalであれば、パッケージを展開して $ tar zxf Log-Minimal-0.04.tar.gz $ cd Log-Minimal-0.04 $ find -name "*.pm" | grep "VERSION" のような処理をします。(実際はperl) これが一筋縄ではいかない作業でかなり苦労している 最初に引っかかったのがcommon::sense。これは*.pmファイルがない。実際にはsense.pm.PLというファイルがあり、実行することでperlのバージョンにあったモジュールを作りだす。 まずこれに対応するた
Monoceros 運用系の機能追加のお知らせ。最大保持コネクション数とステータス表示ミドルウェアが追加されました - blog.nomadscafe.jp
MonocerosやPlack/PSGIサーバの話で、YAPC::Asia 2013のトークに応募したので興味があればLikeボタンをぽちっとお願いします http://yapcasia.org/2013/talk/show/1ae09aba-c8d5-11e2-a1f8-59856aeab6a4 その Monoceros ですが、少しずつアップデートしていて、0.13と0.14で 最大保持コネクション数を制限するオプションとMonocerosのステータスを表示するミドルウェアが付きました。 https://metacpan.org/release/Monoceros まず、最大保持コネクション数ですが、—max-keepalive-connectionというオプションで指定します。デフォルトはオープンできるファイル数(POSIX::SCOPEN_MAX)の半分になってます。Monocer
Monoceros が HTTP/1.1に対応しました & nginx と組み合わせたベンチマーク - blog.nomadscafe.jp
C10K対応Prefork型高速PSGI/Plackサーバの Monoceros をHTTP/1.1に対応させました。 https://metacpan.org/release/Monoceros https://github.com/kazeburo/Monoceros MonocerosではHTTPのKeepAliveに対応して、大量の接続を捌く事ができますが、リリース時点ではHTTP/1.0 KeepAliveにしか対応していませんでした。しかし、nginxのupsream などでは、keepaliveを有効にしてHTTPセッションを使い回したい場合にHTTP/1.1が求められます。 以前このあたりの事をしらべてblog書いています nginx-1.1.x で httpなupstreamにもkeepaliveができるようになったので検証してみた https://blog.nomads
Monoceros というPrefork型だけどC10Kの接続を捌くことができるPSGI/Plackサーバ書きました - blog.nomadscafe.jp
Monoceros というPSGI/Plackサーバ書きました https://metacpan.org/release/Monoceros https://github.com/kazeburo/Monoceros StarmanやStarletのようなPreforkなアプリケーションサーバでは、コネクションの維持イコールプロセスの占有なので、HTTPのKeepAliveは無効にするのが一般的ですが、負荷の高いサービスではTIME_WAIT状態のソケットが溜まったり、SYN-ACKの再送問題などあり、KeepAliveを使いたいという欲求があったりなかったりします。 Monoceros はリクエストを処理するworkerの他に、イベントドリブンで動くコネクション管理プロセスを立てて、クライアントからの接続ソケットをunix domain socketを使いプロセス間でやりとりします。待機
Scope::Container::DBI で Amon2::DBI を使う - blog.nomadscafe.jp
DBIのRootClassを使うとScope::Container::DBIで接続を管理しつつ、Amon2::DBIが使えます。 #!/usr/bin/env perl use strict; use warnings; use 5.12.0; use Scope::Container::DBI; my $dbh = Scope::Container::DBI->connect( 'dbi:SQLite::memory:', '', '', { RootClass => 'Amon2::DBI' } ); $dbh->do(q{CREATE TABLE foo (e)}); $dbh->insert('foo', {e => 3}); $dbh->do_i('INSERT INTO foo ', {e => 4}); say join(',', map { @$_ } @{$dbh->se
DBI->connect 時に使う鉄板オプションを教えて！ - blog.nomadscafe.jp
perlでデータベースを使う時に誰もが必ず使うDBI。その接続時に使うconnectメソッドの第4引数に設定しているオプションがサービスによりまちまちなんだけど、だれか鉄板設定を教えてください。 僕が使うのが、 my $dbh = DBI->connect($dsn, $user, $password, { AutoCommit => 1, PrintError => 0, RaiseError => 1, ShowErrorStatement => 1, AutoInactiveDestroy => 1, }); これ。 加えて、mysqlであれば mysql_enable_utf8 => 1 mysql_auto_reconnect => 0, SQLiteだと sqlite_unicode => 1 sqlite_use_immediate_transaction => 1 を追加し
Q4Mを簡単に導入する方法 - MySQL Casual Advent Calendar 2011 - blog.nomadscafe.jp
xaicronとネタが被ったようだけど気にしない＞＜ livedoorでOperations EngineerやってるkazeburoだYo。最近livedoorからオープンソース化された3億ファイルを管理してるオブジェクトストレージ「STF」でも使ってるMessage QueueのQ4Mのインストール方法を紹介するよ！ カジュアルだからインストールだけ！ 知ってる人も多いと思うけどQ4Mはkazuhoさんによって開発されたMySQLのストレージエンジンとして実装されてるMessage Queue。livedoorではもちろん、mixiやDeNAをはじめソーシャルゲーム各社でも使われている。 Message Queueの説明や使い方はDIS_COMMENTでテーブルスペースフルの猫神様が書いてるので参考になるね！ Perl Hackers Hub 第10回 ジョブキューで後回し大作戦―Th
PSGI/Plackで非同期 Web Server - blog.nomadscafe.jp
PSGI/Plackにおいて、非同期にレスポンスが返せるstreamingという仕様/機能が追加されました。 PSGI/Plack streaming is now complete これを使うと、streamingをサポートしたサーバから非同期/nonblockingにhttpやGearmanを利用して外部へ問い合わせを行い、その結果をレスポンスしたりできます。 また、これがPlackで既に実装済みなので、非常に短いコードでサーバの実装ができちゃいます。 すばらしいですね。 すでにmiyagawaさんが、この機能を利用した非同期Web Framework「Tatsumaki」を書かれています。 イベントを扱う部分が隠蔽されているので、これを使うとさらに簡単に実装できます。 すばらしすぐる。 ここでは、簡単に外部へAnyEvent::HTTPを用いて、HTTPリクエストを行うサンプルを書い
MySQL で SELECT COUNT(DISTINCT) VS SELECT COUNT(*) FROM (SELECT .. GROUP BY ..) AS t - blog.nomadscafe.jp
とあるMySQLのslowlogに残っていたところから見つけたクエリの書き換え。 サービスのどこで使われているものかまで詳しくみていないんだけど CREATE TABLE `category2item` ( `id` int(10) unsigned NOT NULL AUTO_INCREMENT, `category_id` int(10) unsigned NOT NULL, `subcategory_id` int(10) unsigned NOT NULL, `item_id` int(10) unsigned NOT NULL, PRIMARY KEY (`id`), UNIQUE KEY `subcategory_id` (`subcategory_id`,`item_id`), KEY `picture_id` (`item_id`), KEY `category_id` (
Webアプリケーションにおける Job Queue システムの構成例と Worker を作る際に気をつけること - blog.nomadscafe.jp
Webアプリケーション内で処理を直列に実行せずにJob Queueに回して非同期に実行することが多くなって来て久しいと思いますが、そのおすすめ構成と気をつけることについてつらつらと。 1) 既存のデータベースをキューとして使う構成例 １つ目はMySQLなどのデータベースをキューとして用いる例。既にアプリケーションで利用しているデータベースにキュー用のテーブルを作成して利用します。データベースを利用したキュー管理の仕組みとしてJonk、Qudo、TheSchwartzなどがPerlでは有名どころです。 依存するミドルウェアが増えないので最もシンプルな構成になると思います。 上記の図ではWorkerはアプリケーション内で実行することで冗長性を確保しますが、キューを格納するデータベースはSPOFになります。しかし、、データベースに障害があった場合キューだけでなくすべてのサービスが停止すると思われ
Plack/PSGIアプリケーションのメモリリークをDevel::Leak::Objectでチェック - blog.nomadscafe.jp
dannさんが以前Catalystでやってたのを参考に、Plack/PSGIアプリケーションのメモリリークを Devel::Leak::Object で調べる方法 plackup を -MDevel::Leak::Object 付けて起動 $ plackup -MDevel::Leak::Object=GLOBAL_bless -e '$Devel::Leak::Object::TRACKSOURCELINES = 1' -s Starlet --max-workers=1 app.psgi -e ‘$Devel::Leak::Object::TRACKSOURCELINES = 1’ を付けると行数まで出力してくれる app.psgiはこんなの sub { my $env = shift; my $ref;$ref = bless \$ref, 'XXX'; [200,['Content
cron等をつかって外部のAPIに問い合わせる場合は、毎時0分を避けるのが大人のマナー - blog.nomadscafe.jp
なんかtwitterで書いたらウケたっぽいので cronをつかって外部のAPIに問い合わせる場合は、毎時0分をさけるのオススメ！！！！お兄さんとの約束だ！！！ — masahiro nagano (@kazeburo) August 9, 2012 某サービスのAPIへの問い合わせ件数を調べると、毎時 0分台(0秒から59秒)のアクセスは1分から59分までの1分間の平均アクセス数の5倍から8倍にもなります。 これはおそらく、crontabの設定が 0 * * * * /path/to/call_foreign_api になっていることが多いからじゃないかなぁと思うのです。 その結果、サーバのロードアベレージは このように毎時0分だけ跳ね上がってしまいます。サービスを快適に提供できなくなる可能性があるので、APIの利用を制限したり、サーバを追加しなければなりません。これはサービス利用者、サー
Perlでstrace -p pidして目的のシステムコールが来たら終了する - blog.nomadscafe.jp
riywoさんの「Perlでssh tail -fして目的の行が来たら終了する」に便乗するコネタ。 ログをtailしながら(ほぼ)リアルタイムで解析していくworkerの処理がどれくらい遅延しているのか確認して、それをgrowthforecastでグラフ化したいなと思ったので以下のようなスクリプトを書いてcronで実行しているよという話 #!/usr/bin/perl use strict; use Time::Piece; use LWP::UserAgent; my $worker = `/usr/bin/pgrep worker.pl`; chomp($worker); die "couldnot find worker pid" unless $worker; pipe my $logrh, my $logwh or die "Died: failed to create pipe
Nagios と derived でMySQLのスロークエリの量を監視する - blog.nomadscafe.jp
新しい機能をリリースした際に、MySQLに対して効率的ではないクエリが発行されてしまって、それが積もってサービス全体に影響が出てしまう前に発見してアラートをあげたい。 発見する手立てとしてはCPU使用率やInnoDBのROW OPERATIONSが考えられるところですが、今回はスロークエリが発生した回数を監視することにした。ちなみにいつものことながら対象とするMySQLは4.0系。long_query_timeがオンラインで変更できません。。。はい MySQLのスロークエリが発生した回数は、show status のSlow_queriesという項目でみることができて mysql> show status like 'Slow_queries'; +---------------+-------+ | Variable_name | Value | +---------------+---
Procletのオブジェクトインターフェイスでも起動するコマンドを直接書けるようにした - blog.nomadscafe.jp
Proclet::Declateでは今までも use Proclet::Declare; service('web', 'plackup -p 9413 app.psgi'); service('memcached', qw!/usr/local/bin/memcached -p 11211!); と起動するコマンドを直接書けていたのですが、Procletのオブジェクトインターフェイスではコードリファレンスしか受け付けていませんでしたので、0.21をサポートしました。 https://metacpan.org/module/Proclet コードリファレンスに加えて、文字列と配列のリファレンスでサービスを指定できます use Proclet; my $proclet = Proclet->new(); # 文字列 $proclet->service( tag => 'web', code
Plack::Middlewareでリクエスト終了後にごにょごにょする方法 - blog.nomadscafe.jp
Plack::Middlewareでリクエスト終了後になにがしかのか処理をしたい場合 sub call { my ($self, $env) = @_; my $t0 = [gettimeofday]; my $res = $self->app->($env); my $ela = Time::HiRes::tv_interval($t0); }; と書きそうになりますが、これだと $res が CodeRef になるStreaming形式のレスポンスでは正しく処理ができません。 Streaming形式のレスポンスは多くないだろうとか思ってると、Catalystがstreaming形式のレスポンスを返したりするので注意が必要です そこで Plack::Util::response_cb を使うと楽です sub call { my ($self, $env) = @_; my $t0 = [
Plack::Middleware::AxsLog supports LTSV format! - blog.nomadscafe.jp
固定フォーマットしかサポートしないけど、Plack::Middleware::AccessLogより軽い PM::AxsLogがLTSVフォーマット形式のログに対応しました https://metacpan.org/release/KAZEBURO/Plack-Middleware-AxsLog-0.03 PM::AxsLogについては Perl 2012 advent calendar hacker に書いてます。 AxsLog - Yet Another AccessLog middleware - Perl Advent Calendar Japan 2012 Hacker Track LTSVフォーマットについては次のページを参考にしましょう Labeled Tab-separated Values 【今北産業】3分で分かるLTSV業界のまとめ【LTSV】 - naoyaのはてなダ
HRForecast - もうひとつのデータビジュアライズツール - blog.nomadscafe.jp
ずいぶん前から作って動かしてはいるのですが、GrowthForecastの他にもうひとつのグラフ作成ツールを公開しています。 https://github.com/kazeburo/HRForecast デイリーで更新される数値のビジュアライズに使う事が出来ます。GrowthForecastにはない過去データの登録もできます。 モリスさんのスライドでも少し登場しています。弊社では主にHiveでの集計の書き出し先として使っています http://www.slideshare.net/tagomoris/log-analysis-with-hadoop-in-livedoor-2013 画面はこんな感じ 他のページにembedするHTMLの発行やCSVでダウンロードをサポートしています データの登録APIについて データの登録は、GrowthForecastと同じようにURIに対してPOSTリ
Scope::Container::DBIを書いた - blog.nomadscafe.jp
2010 Perl Advent Calendar などでも説明していた Scope::Container でDBの接続管理を行うモジュールを書いた。 CPAN: http://search.cpan.org/dist/Scope-Container-DBI/ github: https://github.com/kazeburo/Scope-Container-DBI 機能的には、Scope::Container に接続情報をキャッシュして、同じDSN・ユーザ名で接続の場合、キャッシュからdbhを返します。Scope::Containerなので任意のスコープで接続の維持と切断ができます。 Scope::Container::DBIには、connectメソッドがあるだけ。DBIと同じくdsn、ユーザ名、パスワード、オプションを渡す。 use Scope::Container::DBI; u
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
