ISUCON5で予選敗退しましたがアクセスログ解析ツールkataribeは充実しました - このブログはURLが変更になりました
「チームSELinuxはEnforcing」としてishikawa84g、matsuu、netmarkjpの3人でISUCON5に参加したものの、スコアが伸びず予選敗退となりました。 最終スコアは3886。構成はVarnish+Python+MySQLでした。 ちなみにUbuntuだったためSELinuxはインストールしておらずEnforcingにしてません。すみません。でもAppArmorは有効にしたままだよ！ 当初はGo言語で実装する予定だったものの、運営からGo言語の実装にはバグがあるとの事前通知があったため、バグ解消に時間をとられるのを嫌ってPythonを選択しました。しかしPythonの知見が乏しくツラい感じでした。選択ミスった…。 やったことはMySQLのチューニング、nginx→Varnishの差し替え、SQLのチューニングなどです。 VarnishにしたのはESIで部分キャ
ISUCON予選突破の鍵は過去問を解くことなので無料で試せるようにした(Vagrant+Ansible) - このブログはURLが変更になりました
タイトルでいいきった。 ISUCON5参加者へのアドバイス まもなくISUCON5が開催されますね。 毎年参加して予選突破を果たしている私からのアドバイスは、過去問を解いてチューニング力を高めることが重要です。これホント大事。 過去問やってる？ ですが、ISUCONの過去問はAWS用AMIとソースコード一式が用意して提供されているものの結構難しいんですよね。 AWSの利用は課金がつらい（特に学生） AWSの利用はクレジットカードが必要でつらい*1 ソースコードから構築する方法がわからない（AMIの中身を見ないとわからないこと多数） 無料で過去問やろう そこで無料かつ簡単に手元で構築できるよう、VagrantfileとAnsible用Playbookを用意しました。 https://github.com/matsuu/vagrant-isucon/ https://github.com/ma
第4回ISUCON本戦でやったこと考えたこと - このブログはURLが変更になりました
いい感じにパフォーマンスチューニングするコンテスト第4回ISUCONの本戦に「ご注文はPHPですか？」として参加しました。最終スコアは26位の6598です。途中の最高スコア(remote)は8000強ぐらい。 ↑ピンクの線です。 メンバー アイコン Twitter @do_aki @matsuu @netmarkjp 職業 インフラエンジニア インフラエンジニア インフラエンジニア 得意言語 PHP Perl Python 当日の役割 右腕 左腕 ファシリテータ 予選のblog こちら こちら こちら 本戦のblog こちら こちら こちら 予選はGo言語で実装しましたが、本戦もGo言語で臨みました。 事前準備（プロファイラ編） アクセスログを解析するプログラムをnetmarkjpせんせいがPythonで実装したものをGo言語で再実装しました。名前はあとづけですがkataribe(語り部)
RHEL(CentOS)6系でトラフィックをたくさん捌くサーバが死ぬ問題は6.5のkernel-2.6.32-431.el6以降で多分直る - このブログはURLが変更になりました
タイトルで言いたいことはすべて言った。 経緯 うちの場合はLVS+keepalivedなロードバランサなんだけど、ちょくちょくkernel panicになる問題が発生してた。 そこでcrashコマンドで解析してみた。crashコマンドの使い方はこちらが参考になる。Linux crash dump 読み方入門 # crash /boot/System.map-2.6.32-279.14.1.el6.x86_64 /usr/lib/debug/lib/modules/2.6.32-279.14.1.el6.x86_64/vmlinux /var/crash/127.0.0.1-2013-09-27-16\:21\:01/vmcore (snip) SYSTEM MAP: /boot/System.map-2.6.32-279.14.1.el6.x86_64 DEBUG KERNEL: /usr
金に物を言わせてISUCONのプログラムをc3.8xlargeで動かしてみた - このブログはURLが変更になりました
先日AWSから新しいEC2インスタンスタイプc3.8xlargeが発表されましたね。 【AWS発表】 新世代の数値計算向けEC2インスタンス 2013年11月時点の性能と価格は以下のとおり。ISUCON予選で使用したm3.xlargeと比較。 インスタンスタイプ vCPU ECU Memory(GiB) Tokyoリージョンの1時間あたりのオンデマンド価格 m3.xlarge 4 13 15 0.684ドル c3.8xlarge 32 108 60 3.064ドル CPU性能約8倍、メモリ4倍。価格約4.5倍。c3.8xlargeお得。 さて、オンデマンドの価格は上のとおりですが、開始後すぐのためか需要が少なくスポットインスタンスが激安なんですね。 Amazon(Web Services)が大セール！c3.8xlargeがなんと！$0.0001！！ 新しいHPC向けAmazon EC2イン
isucon3本選に└('-'└)└)└)＜HEARTBEATSとして参加した＆予選本選を通して得た知見 - このブログはURLが変更になりました
11月9日に開催されたisucon3本選にチーム「└('-'└)└)└)＜HEARTBEATS」*1として参加してきました。 結果は惨敗だったのですが、当日やったことと、予選本選を通して得た知見を書き留めておきます。 当日やったこと 画像のサムネイル作成をなんとかするためImager使ったら孔明の罠 ベンチマーク中にtopを眺めているとconvertコマンドがボトルネックになっていたのでここをなんとかしようと試みてみました。 convertを呼び出す代わりにImagerを使ってサムネイルを作成してみたのですが、Imagerだと差分検出でエラーになってしまいました。見事な孔明の罠ですね。やられた。 Image::Magickのインストールに手間取る Imagerが差分検出で引っかかるので早々にあきらめてImage::Magickを使おうとしたのですが、cpanfileに requires "
SSL証明書のインストールチェックはどのサイトを利用すべきか - このブログはURLが変更になりました
先日ツチノコブログでクロスルート証明書の確認にIE6を使ってる話が紹介されてた。 確かに実機で確認するのは大事なのだが、SSL証明書が正しくインストールされているかチェックしてくれるサービスがいくつかある。 それで確認すればいいんじゃね？と思って調べてみたが、実はクロスルート証明書まで調べてくれるサービスは少ない。また各社チェックしてくれる内容が結構違う。 そこでオススメのSSL証明書チェックサイトを3つ厳選してみた。 Qualys SSL Labs SSL Server Test クロスルートを含む複数のチェインを表示してくれるのは試した限りここだけだった。 また、クロスルート以外にも脆弱なプロトコルや暗号アルゴリズムを使用していないか、BEAST、CRIME、Lucky13、BREACHなどの攻撃に対して対策されているかなども調べてくれる。 グレード表記や項目別スコア表示もあり。最低限
Nagiosのcheck_pingが遅いのをなんとかする - このブログはURLが変更になりました
Nagiosのcheck_pingコマンド、やたら遅いですよね。 # time sudo -u nagios /usr/lib64/nagios/plugins/check_ping -H 127.0.0.1 -w 200,40% -c 500,80% PING OK - Packet loss = 0%, RTA = 0.05 ms|rta=0.053000ms;200.000000;500.000000;0.000000 pl=0%;40;80;0 real 0m4.171s user 0m0.028s sys 0m0.112sほんと遅い。なんでこんなに遅いの。調べてみました。 check_pingの仕組み check_pingのソースを読んだところpingコマンドの実行結果をパースしているだけでした。 check_pingはnagios-pluginsのconfigure時に指定され
株式会社ハートビーツに入社してました - このブログはURLが変更になりました
そういえばTwitterにさらっと書いただけでここに書き忘れてましたが、5月16日付けで株式会社ハートビーツに入社しました。 サーバの監視、管理、構築、ハウジングサービスなどを手がけるインフラ屋さんです。 24時間体制で監視してもらいたいサーバ、ほったらかしになっているサーバ、サーバを建ててほしい等のご用命は是非弊社までお問い合わせください。
スマートフォン/ガラケー/PDA等を使ってワンタイムパスワードを実現するMobile-OTPのススメ - このブログはURLが変更になりました
第2回 qpstudy02の懇親会において即席でMobile-OTPを紹介したのだが、そういえばまとめてなかったのでつらつらと書いてみる。 ところでみなさんRSAのSecurIDのようなセキュリティトークンに憧れませんか？ wikipedia:セキュリティトークンとは(一部抜粋) セキュリティトークン（ハードウェアトークン、認証トークン、暗号トークン）とは、コンピュータサービスの利用権限のある利用者に、認証の助けとなるよう与えられる物理デバイスのことである。 概要 セキュリティトークン（ハードウェアトークン）は、多くはポケットや財布に入れて持ち運べる程のサイズで、利用者のキーチェーンにつけられるように設計されているものもある。 カードサイズのトークンには、暗証番号を入力するための小さいキーパッドや、ワンタイムパスワードを表示する小さな表示部を備えるものもある。また、USB端子に挿入して使用
Apache-2.2.6のmod_proxyが腐ってる - このブログはURLが変更になりました
Apacheをインストールしているサーバから届くパケットがiptablesにINVALIDと判定される現象が継続して発生。でも通信は正常にできてるように見える。 tcpdumpでキャプチャーして観察してみたら、Apacheのmod_proxyを利用するタイミングでSYNと同時にFIN+ACKも吐いてた。なんじゃこりゃ。 詳しく調べていくとApache-2.2.6のmod_proxyが腐ってるのが原因だった。前バージョンの2.2.4では発生しない。まいったね。 https://issues.apache.org/bugzilla/show_bug.cgi?id=43472 本家svnには修正パッチが取り込まれている。次の2.2.7で修正される予定。 Gentooのapacheはapache-2.2.6がstableなのでモロに影響を受ける。Gentoo環境でmod_proxyを使ってる人は要
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
