jazzanovaのブックマーク - はてなブックマーク

AWS X-Ray による ISUCON8 本選問題の解析 - 酒日記はてな支店

ISUCON8 の本選問題は、競技者がコントロールできない外部 API 呼び出しを多数含んだ出題内容でした。講評では、サービスの特性を適切に分析した上で、まとめるところはまとめたり、遅延させるところは遅延させるなど ……とさらっと書かれていますが、実際そんなことを短時間で分析することは可能なのかよ！という話題が競技後の懇親会でもあったので、それ AWS X-Ray でできるよ、というエントリをまとめておきたいと思います。今回の解析は Perl 版の初期実装に対して行ったものですが、なぜ Perl かというと AWS の公式 SDK にない X-Ray 関連の CPAN モジュールを自分が書いているので、その宣伝も兼ねています。(blogエントリ書いてなかった) AWS::XRay Plack::Middleware::XRay Devel::KYTProf::Logger::XRay

jazzanova 2018/10/29

aws

リンク

builderscon 2018 に行ってきました - 酒日記はてな支店

bulderscon 2018 tokyo に参加してきました。今年は前後に CEDEC(登壇) と ISUCON(出題) があったので、発表する余裕はなさそうだなということで応募しなかったんですが、やっぱりカンファレンスは聞いているだけだと発表したくなりますね。来年は応募したい。名札バージョンアップ #builderscon pic.twitter.com/DgAYjpzq8v— fujiwara (@fujiwara) September 6, 2018 結局会期中には画像転送しかできなかったので後日何とかしたいと思います。(酔って帰宅後に自宅Wifi繋ぐところでうまくいかないなと思ったら寝落ちしていた) 気象ビーコンからデータ引っ張ってきて電子ペーパーに表示したい！聞いたトーク Envoy internals deep dive Envoy、まだ若いプロジェクトなのに一気に広

jazzanova 2018/09/10

リンク

maprobe - Mackerel のホスト情報と連携する外形監視エージェントを作った - 酒日記はてな支店

監視を Zabbix から Mackerel に移行しています。そこで困ったことを OSS を書いて解決しようシリーズのお時間です。ホストのダウン検知を早くしたい Mackerel の監視は Push 型と呼ばれるもので、mackerel-agent が Mackerel サーバに対してメトリクスを送信する形態です。そのため、agent を稼働させているホストがダウンしたという事象は、「一定時間サーバに対して情報が送られてこない」ことによって、組み込みのアラート "connectivity" として検知されます。これによって困ることとしては、以下があります。ホストが実際にダウンしてから7分程度経過しないとアラートが上がらないあまり短時間で判断してしまうと誤検知が増えるからでしょうかもうちょっと早く検知したいです "connectivity" アラートは Critical レベルし

jazzanova 2018/04/23

mackerel

リンク

ECS のデプロイツール ecspresso と、環境変数を展開して YAML/JSON/TOML を読み込む go-config について - 酒日記はてな支店

OSS紹介 Advent Calendar 2017 - Qiita 18日目の記事です。(一週間遅れ) Amazon ECS へのデプロイツール ecspresso と、そこで使っている環境変数を展開しつつ複数の YAML/JSON/TOML を読み込む config loader である go-config の紹介をします。 ecspresso github.com 「エスプレッソ」と読みます。Go で書かれた Amazon ECS 用のデプロイツールです。以下の3つのファイルを用いて ECS へのサービス、タスク定義作成、入れ換えを行います。 YAML の設定ファイルタスク定義のための JSON (aws ecs describe-task-definition 出力と互換) サービス定義のための JSON (オプション。aws ecs describe-services 出力の

jazzanova 2017/12/26

リンク

sardine - mackerel plugin のメトリクスを CloudWatch で集約する agent を書いた - 酒日記はてな支店

OSS紹介 Advent Calendar 2017 - Qiita 22日目の記事です。最近、監視を Zabbix から Mackerel に切り替えていっています。それと並行して、新規プロジェクトは Amazon ECS でコンテナで運用するようにもしていっています。そこで考えどころなのが、コンテナで動作するプロセスのモニタリングをどうするかです。たとえば、コンテナで動作する nginx を mackerel-plugin-nginx で監視する場合、普通にやるとこんな感じになるのですが… nginx と mackerel-agent を同一タスク (ECS用語) に定義する mackerel-agent.conf で cloud_platform = "none" の設定をして、コンテナがホストの EC2 とは切り離された状態でホストとして認識されるようにするすべてのタスクを

jazzanova 2017/12/22

mackerel

リンク

nginxでメソッドごとにリクエスト数制限を掛けたい - 酒日記はてな支店

アプリケーションでどうしても捌けない量のリクエストが一時的に押し寄せてしまう場合、アプリケーションサーバが死ぬのを避けるために GET は制限を掛けたいが、POST はリトライが面倒なのでなるべく通してあげたい、というような要求を nginx で処理できるかどうか。実装として一番望ましいのは GET は 100 req/sec で制限 (超えたら503) POST は無制限のようにメソッドごとに別々の制限を掛けることだったのですが、とりあえず HttpLimitReqModule を使うことで、メソッドごとに同一の上限を設定することはできました。 http { limit_req_zone $request_method zone=method:1m rate=100r/s; server { listen 80; location / { limit_req zone=method;

jazzanova 2013/06/21

nginx

リンク

cron で > /dev/null して椅子を投げられないための3つの方法 - 酒日記はてな支店

(タイトルは釣りです) いい加減、>/dev/null 2>&1と書くのをやめたらどうか - DQNEO起業日記この記事のタイトルが twitter で流れてきたのを見て、「そうだ！出力を /dev/null に捨てるなんてとんでもないよね！」と思ってよく読んだら /dev/null に間違いなく捨てる方法だったのでつい crontabに > /dev/null 書いたら椅子投げる 2012-06-13 00:01:17 via YoruFukurou とつぶやいてしまったのですが、では出力を捨てないためにはどうすればいいのか。現時点での個人的ベストプラクティスを書き留めておきます。デフォルト : メールで送る (MAILTO) せっかく cron daemon がログを捨てないためにわざわざメールで送ってくれるのに、それを > /dev/null で踏みにじるとはひどい。とはいえ、

jazzanova 2012/06/13

cron

リンク

Perl から Fluentd にログ出力 - Fluent::Logger リリース - 酒日記はてな支店

皆さん、ログ書いてますか！？(挨拶) Fluentd meetup in Japan も開催間近、最近大変熱いイベントログ収集システム Fluentd なわけですが、Perl からログを出力する Fluent::Logger というモジュールを CPAN にリリースしたのでお知らせします。 (最初の版は id:hirose31 さんが書かれて、それに同僚の id:shin1rosei と手を加えたものです) インストールは cpanm などでどうぞ。使い方は POD にもあるように簡単です。 use Fluent::Logger; my $logger = Fluent::Logger->new( host => "127.0.0.1", port => 24224 ); $logger->post( "myapp.info" => { foo => "bar" } ); 上記の例で送信す

jazzanova 2012/01/31

リンク

クエリキャッシュを切ったほうがいイカ？ベンチマークしてみた - 酒日記はてな支店

カジュアル！(挨拶) このエントリは MySQL Casual Advent Calendar 2011 の18日目の記事です。昔、専ら PostgreSQL を使っていた頃、MySQL のクエリキャッシュって簡単に性能上がるしみたいだし羨ましいなあ、と思っていました。そのため、1年ほど前から業務で MySQL を使うようになっても、クエリキャッシュは当然のごとく有効にしておりました。ところが先日 DSAS開発者の部屋:クエリキャッシュは切ったほうがいいんじゃなイカ？というエントリを読みまして、クエリキャッシュはグローバルロックを獲得するとのこと。これはちょっと検証してみなければなるまい、ということでベンチマークをしてみました。ベンチマーク結果結果は別ページにまとめました benchmark script と my.cnf ざっくりと説明しますと、平均 260 byte/行、1

jazzanova 2011/12/19

mysql

リンク

新しいPerlに今まで使ってたモジュールをまとめてインストールする - 酒日記はてな支店

Perl-5.12.1 がリリースされたということで早速インストールされたかたも多いと思いますが、新しい Perl にモジュールを全部入れ直すのは面倒ですよね。 ExtUtils::Installed を使うと楽ができます。今まで使ってる perl でインストールされているモジュールの一覧をファイルに落として、新しい perl で cpanm に食わせるだけです。 $ cpanm ExtUtils::Installed $ perl -MExtUtils::Installed -e 'print "$_\n" for ExtUtils::Installed->new->modules' > modules.txt $ perlbrew switch perl-5.12.1 $ cpanm < modules.txtあと、perlbrew でインストールした直後は cpanm も perl

jazzanova 2011/07/14

perl

リンク

YAPC::Asia2010で「nginx & Perl」の発表をしてきました - 酒日記はてな支店

YAPC::Asia2010 で、「nginx & Perl」という題名で20分の発表をさせていただきました。発表資料はこちらにあげてあります内容はざっくり nginx とおもしろげなモジュールの紹介、組み込み Perl の使いかたと注意事項、Plack Server に Reverse Proxy する場合の設定例などです。資料内で Lighttpd は single process という記述がありますが、「最近 Lighttpd も fork するようになった」(@myfinder さん) とのご指摘を受けました。ありがとうございます。あと、言おうと思ってて言い忘れたのですが、「nginx の if はネストできないし else もないので、複雑な rewrite をする場合は組み込み Perl 使ってやるのもアリじゃないかな」と思ってます。「柔軟な config を書くため

jazzanova 2010/10/18

リンク

nginxで特定ホスト以外からのアクセスをメンテナンス画面にする方法 - 酒日記はてな支店

Apacheで特定ホスト以外からのアクセスをメンテナンス画面にする方法 - 元RX-7乗りの適当な日々の nginx 版。 nginx.conf でこんな感じですかね。 http { server { listen 80; root /tmp; error_page 503 /503.html; location / { if ($remote_addr ~ ^127\.0\.0\.1$ ) { break; } if (-f "/tmp/503") { return 503; } } location /503.html { } } } 127.0.0.1 からのアクセスはなにもしない (break で残りの rewrite をキャンセル) /tmp/503 というファイルが存在する場合のみ status code 503 を返す最後の location /503.html がないと

jazzanova 2010/08/24

nginx

リンク

Twitter の ChirpUserStreams をダラ流しするWebAppを作った[かなり暫定版] - 酒日記はてな支店

Twitterの新しいStreaming API「ChirpUserStreams」がすごすぎる件が大変注目されているということで、UserStream を使って自分の Time Line をだだ流す Web Application を作ってみました。まず最初に留意事項ですが、follow などの event が発生した時点で API を引きに行くので、大量 event が発生すると API 制限に引っかかる可能性が非常に高いです。事業所などで出口 IP アドレスが一つの環境だと(以下略ということで、よろしくお願いします。ソースコードはこちらです http://gist.github.com/378540 1ファイルで動くので、必要なモジュールは各自なんとかしていただきたく。まず Config::Pit で twitter のアカウントを設定して下さい。 $ perl -MCon

jazzanova 2010/06/28

twitter

リンク

node.jsでTwitter ChiarpUserStreamを閲覧するWebアプリを作った - 酒日記はてな支店

先日 Perl + AnyEvent で作った TwitterのChirpUserStreamsをダラ流しするWebApp を、node.js で作ってみました。 node.js というのは、「JavaScript V8 Engineでイベント駆動I/Oなネットワークサーバを書くためのフレームワーク(実行環境)」ということでいいんでしょうかね。 # インストールは ./configure && make && make install で終わるので詳細割愛イベント駆動IOを使って、以下のような処理を1プロセスで行います。 CharpUserStream から流れてくる JSON を取得して node.js 組み込みの httpd のレスポンスに渡すブラウザは Long poll して node.js から JSON を取得して画面描画実際動いてるのを動画で見るとこんな感じです。左側の

jazzanova 2010/06/21

リンク

Go と Perl で sha1sum(md5sum) コマンドっぽい機能を実装した場合のソースコード比較 - 酒日記はてな支店

同じ機能を両方で書いてみたらどんな感じになるかなと。起動されたコマンド名から SHA1 or MD5 を求めるように切り替わるコマンドライン引数があれば引数のファイルについて、なければ標準入力からの入力について SHA1(MD5) hash を求めて表示こんな仕様で書いてみる。モジュールの導入部分など (上が Perl、下が Go) use strict; use warnings; use Digest::MD5; use Digest::SHA1; use constant BUF_LENGTH => 4096; package main import ( "fmt"; "hash"; "crypto/sha1"; "crypto/md5"; "os"; "regexp"; ) const ( buf_length = 4096; ) エラーを報告するサブルーチン sub er

jazzanova 2009/12/04

perl
golang

リンク

YAPC::Asia 2009 で Lightning Talk をしてきました - 酒日記はてな支店

「Perl で Salesforce」という題で発表させて頂きました。かなり詰め込んだので駆け足になってしまった感がありますが、スライドは http://labs.topicmaker.com/~fujiwara/yapc2009/ に置いておきます。カーソルキーの左右で捲れます。(今見たら Safari / Chrome で動かない…) 本日の教訓真面目なのは本体のトークに応募せよ LT はネタに走れごもっともです。次回はそうします。本日は皆様お疲れさまでした。明日もよろしくお願いします！

jazzanova 2009/09/15

yapcasia2009

リンク

Data::Model PostgreSQL 対応作業中 - 酒日記はてな支店

http://github.com/fujiwara/p5-Data-Model/tree/master Data::Model を PostgreSQL でも使いたいので対応作業をやってみたら、テストまわりでいくつか困ったことが。テーブル名 user は PostgreSQL では予約語のため、quote しないと使えない quote すればいいのだけど、PostgreSQL は "", SQLite と MySQL は `` で、そこを切り替えるのが面倒そうだったので s/user/tusr/g; してしまった CHAR 型のカラムは、PostgreSQL では末尾に空白が埋められるので、取り出すと期待する値と異なる (MySQL では取り出すときに切り捨てられる) デフォルトの型を切り替えられるように Schema::Properties->default_column_type

jazzanova 2009/07/03

リンク

tombloo のコンテキストメニュー位置を変更する - 酒日記はてな支店

tombloo を入れてみたが、コンテキストメニューの一番上に陣取られるのが困る。その場所は「戻る」であると体に染み付いてしまっているので。 chrome/content/browser.xul を適当にいじって変更した。 --- browser.xul.orig +++ browser.xul @@ -1,23 +1,23 @@ <?xml version="1.0"?> <overlay xmlns="http://www.mozilla.org/keymaster/gatekeeper/there.is.only.xul"> <popup id="contentAreaContextMenu"> + <menuseparator insertafter="placesMenu" /> <menuitem class="menuitem-iconic" - insertafter="c

jazzanova 2009/03/11

tombloo

リンク

DBI をバックエンドにした CouchDB みたいなの - 酒日記はてな支店

CouchDB は面白いのですが、Erlang で書かれた daemon を動かす必要があるので、環境によっては使いにくい。ということで、Perl + DBI のみで似たような動作をするものを作ってみました。daemon じゃなくて、Perl から直接 DB を扱うライブラリです。 Coderepos に置きました。http://svn.coderepos.org/share/lang/perl/DBIx-CouchLike/trunk できることは単純。 (key => 任意の構造の hash ref) の CRUD CouchDB ぽい map / reduce 対応している DBD はとりあえず SQLite と PostgreSQL で。 CRUD use DBIx::CouchLike; use DBI; $dbh = DBI->connect("dbi:SQLite:dbna

jazzanova 2009/02/16

リンク

DBIC::Schema::Loader で 2回 connect すると…… - 酒日記はてな支店

DBIx::Class::Schema::Loader(0.04004) で 2回 connect したら何か変。 package MySchema; use base qw/ DBIx::Class::Schema::Loader /; __PACKAGE__->loader_options( relationships => 1 ); 1; package MySchema::Foo; use base qw/ DBIx::Class /; __PACKAGE__->load_components( qw/ InflateColumn::DateTime PK::Auto Core /); __PACKAGE__->add_columns( created_on => { data_type => 'datetime' } ); 1; こういう定義で InflateColumn::Da

jazzanova 2009/01/26

perl
dbic

リンク

はてなブックマーク

タグ

ブックマーク / sfujiwara.hatenablog.com (31)

お知らせ

今週のはてなブックマーク数ランキング（2024年7月第2週）

はてなブックマーク透明性レポート（2024年 2月-2024年4月）

今週のはてなブックマーク数ランキング（2024年7月第1週）

公式Twitter

キーボードショートカット一覧

はてなブックマーク

公式Twitter

はてなのサービス