はてなブックマーク

こんにちは。どうもこんにちは。 先週末は #isucon で惨敗した わけなんですけども、手ぶらで望んだわけではなくてかなり準備とか練習してました。 今回は golang + redis の練習をしててそれはズバリあたったわけで、練習の中で kagenui というプロファイラ&アナライザを作ったので公開しました。 isuconをかなり意識した機能がついてます。 netmarkjp/kagenui - https://github.com/netmarkjp/kagenui 大きな特徴は2つ。 集計できる( @matsuuさん作) 通ったパスのメモが書ける 集計できる ひとしきり記録した後に集計関数を呼ぶと、以下の様なかんじで集計結果が取得できます。 Sort by Count Count Total Mean Stddev Min Max Description 100 24286 242

チーム「ご注文はPHPですか？」として @matsuu @do_aki ご両人と共に参加してきました！利用言語はGoです。 結果は初日暫定10位。benchmarkerのバグは利用無し(気付かず)。 本戦出場は・・・大変微妙・・・ →初日5位で通過出来ました！やったね！ 最後まで表示されてるピンクが我らです。 最初独走して、その後次々に追いぬかれていくさまが見て取れます。 さくせん 事前に作っておいたツールを使ってアクセスログを集計しながら、 ポイントを絞って重たいものから順番に対処していきました。 勘とか思いつきはぐっと堪えて、やるべきことをやりましょう！ ・・・って社内の事前勉強会で言った立場なので、、ね。 やったこと 時系列は覚えていない。和幸のとんかつ弁当が美味かったことは覚えている。 .vimrc goを書く準備(去年の予選AMIで練習してた通りにした) /etc/sysctl.

どうもこんばんは みなさんRFS/RPS使ってますか？ 使ってなければ使いましょう。mottai nai。 今回はCentOS6で/sys/の変更を永続化する(再起動してもsysfsの設定が消えない)方法です。 ※ /sys/ は sysfs といいます。 grep sysfs /proc/mounts してみるとよろしいかと 以下設定方法です。 設定方法 再起動しても消えないように永続化する方法 簡単に設定する方法 設定方法 オンラインで設定する場合 /sys/class/net/*/queues/rx-*/rps_cpus は、使いたいCPUをbitで考えて16進数で設定します。 4コアあって xxoo なら 0011 なので 3 とかそんなん。 eth1のrx-0を4コアで使う場合はこんな感じ。 echo "f" > /sys/class/net/eth1/queues/rx-0/r

いただきましたのでご紹介！ありがとうございます！4/16に発売してました！ その分野の取り組みでかなりがんばってる友人が書いた本なので、とても楽しみにしてました。 第1章:チーム開発とは 第2章:チーム開発で起きる問題 第3章:バージョン管理 第4章:チケット管理 第5章:CI(継続的インテグレーション) 第6章:デプロイの自動化(継続的デリバリー) 第7章:リグレッションテスト 基本的な流れを、事例を添えて解説してくれているので、 はじめてやってみるときにとても心強い感じ。 後半のリグレッションテストについてはまだ浸透しているとは言い難いので、 この本をきっかけに導入してくれるデベロッパーさんが増えて欲しいきもち。 リグレッションテストが機能していると、アプリのリリーステストだけでなくて、 インフラのミドルウェアバージョンアップなども勇気を持って積極的に進めることができるようになるんです

そろそろcactiに見切りをつけたくGrowthForecastを使い始めてみたものの、みんなこれどうしてんの？的なことがいろいろ出てきたのでとりあえず記録しておくことに。 ↓このへんのことについて何かソリューションをご存知の方がいましたら教えてプリーズ serviceごとの認証 serviceごとに担当者が違うのでわけたい basic認証でもok frontend reverse proxyでやればいいか。 一覧に表示するグラフの絞込 このホストのmysql*を見たいとか 素早く辿り着く的な用途 viewと画面(JavaScript)の作り込みでいけそう。誰か作ってないかな？ service内section横断でのグラフ表示 全web*サーバのeth0 trafficを見たいとか 俯瞰で比較したい用途 /json/list/graph とかを元にviewと画面(JavaScript)を作

このエントリはPlay frameworkひとりアドベントカレンダーの8日目です。 今日はGET/POSTで送信されたデータを受信してみます。 いずれの場合もJSONで送ったデータが返ってくるようにします。 formのバインディングとかあるみたいだけど、わからんちんなので使いません。 上級者が使えばよろしい。 レスポンス例 {"fuga":["fugo","fuge"],"hoge":"hoga"} GETの場合はこのリクエストで正しいデータがくるようにします。 curl 'http://localhost:9000/push?hoge=hoga&fuga=fugo&fuga=fuge' POSTの場合はこのリクエストで正しいデータがくるようにします。 curl --data 'hoge=hoga&fuga=fugo&fuga=fuge' 'http://localhost:9000/pu

思い立ったらひとりアドベントカレンダー。 業務とは関係ないけどPlay Frameworkをテーマにしてひとりアドベントカレンダーしてみます。 というわけで、このエントリはPlay frameworkひとりアドベントカレンダーの1日目です。 Play framework? The Play framework makes it easier to build web applications with Java & Scala. Play is based on a lightweight, stateless, web-friendly architecture and features predictable and minimal resource consumption (CPU, memory, threads) for highly-scalable applications

このエントリはPlay frameworkひとりアドベントカレンダーの13日目です。 昨日からviewをいじってますが、Play framework 2ではviewとして Scala を使うのです。。。 というわけでtemplateとして使う範囲で便利なScala文法について覚えましょう。 これくらいならウエッってならないと思います。たぶん。 キホンのキ @なんとか はScalaとして解釈されるようです。 変数呼び出し @変数名 と書くと変数が出力されます。 @content オブジェクトのプロパティはそのまま 変数名.プロパティ名 で呼び出せます。 @(twowa :Twowa) @twowa.contents オブジェクトがMapの場合、 @変数名("キー名") で呼び出せます。 hoge.get("attr1") を呼び出す場合はこんな感じ。 @(hoge :HashMap[Stri

有料イベントですが、CROSS 2013 というイベントが1月18日にありました。 http://www.cross-party.com/ そこでひとつセッションオーナーになってまして、パネルディスカッションぽいことをやったのですが、それはともかくとして夕方以降にはプレミアムモルツ飲み放題タイムがありました。サントリーからでかいタンクでやってくる美味いプレモルを飲みまくりながらそのへんのソフトウェアエンジニアとしゃべりまくるという素敵な時間になりましたので、ぜひ来年もあれば来ると良いのではないかと思います。 セッションの話 「継続的システム運用のゲンバの話」と題してやりました。16:30-17:30。 サービスやシステムを作るのはいい。だができてからのほうが長いんだぜ。このセッションでは、運用フェーズに入ってからシステム規模を適性に調節していく・ハードウェアやソフトウェアを代謝させていくた

有料イベントですが、CROSS 2013 というイベントが1月18日にあります。 http://www.cross-party.com/ そこでひとつセッションオーナーになってまして、パネルディスカッションぽいことをやるのですが、それはともかくとして夕方以降にはプレミアムモルツ飲み放題タイムがあります。サントリーからでかいタンクでやってくる美味いプレモルを飲みまくりながらそのへんのソフトウェアエンジニアとしゃべりまくるという素敵な時間になると思われるので、ぜひ来ると良いのではないかと思います。 セッションの話 「継続的システム運用のゲンバの話」と題してやります。16:30-17:30。 サービスやシステムを作るのはいい。だができてからのほうが長いんだぜ。このセッションでは、運用フェーズに入ってからシステム規模を適性に調節していく・ハードウェアやソフトウェアを代謝させていくための現場レベルの

2012年末の昼下がり。 原稿を書かなければならないのですが、追い詰められているがゆえに違うことをしてます。 最近は邪道Jenkinsがマイブームでして、ちょろっと検証してみました。 3時間くらいいじっただけなので、詳しい方からツッコミいただけると幸いです。 モチベーションは「JP◯みたいなジョブマネージャがほしい！」ということ。 そこまで高機能じゃなくてもいいんですけど、そこそこのものが欲しかった。 一覧できる リランできる ユーザ企業のシステム担当者さんでも使える Hinemosでできるのは知ってるんですが、検証したときにクライアントが手元・サーバがインターネット越しという構成で使えなかったので却下したままハイそれまでよ。。。 そんなこんなでjenkins。macの場合は java -jar /usr/local/Cellar/jenkins/*/libexec/jenkins.war

まつうせんせーのまとめを御覧ください [blackbirdpie url="https://twitter.com/matsuu/status/264661505830690817"] →これはチェック側のエンバグっぽいとのこと byモリスさん [blackbirdpie url="https://twitter.com/matsuu/status/264662518289547265"] →これがうまくいかなかったのは、参照の増加により/buyのロックが激しくなったせい。/buyを改善したあとなら効いた [blackbirdpie url="https://twitter.com/matsuu/status/264663517037199360"] →nginxのlog formatを指定して $request_time を確認 [blackbirdpie url="https://tw

というわけで hbstudy #38 はシェルスクリプト芸人養成講座でした。 awk祭りという話題で持ち切りだったんですが、ぼくawkわからないので、意地でもawkなしで解く！ということでがんばりました。 今日解き直したのも含まれてます。 シェルでFizzBuzzだって解けるんだよ！ お題 回答 ※エスケープとかおかしくなってるかもなので、そこは念力デバッグしてください Q1 cut -d : -f 1 /etc/passwd Q2 cut -d : -f 7 /etc/passwd | sort | uniq -c | sort -nr | sed 's/\/\(bash\|sh\)$/\/\1\t*/' Q3 find etc/ 2>/dev/null | xargs grep -Hn '#!/bin/bash' 2>/dev/null | egrep "[^:]+:1:" | sed

2位でした。ありがとうございます。お騒がせしました。 やったことはこれだけ varnish導入 unicorn導入 varnish default.vclはこんな感じ。 ポイントは、vcl_fetchの先頭にあるbanですな。 backend default { .host = "127.0.0.1"; .port = "3001"; } sub vcl_recv { if (req.restarts == 0) { if (req.http.x-forwarded-for) { set req.http.X-Forwarded-For = req.http.X-Forwarded-For + ", " + client.ip; } else { set req.http.X-Forwarded-For = client.ip; } } if (req.request != "GET" &

技術評論社さんから献本いただきました。ありがとうございます。 内容盛りだくさんすぎて、しかも各章が濃ゆいのでまだ読み込めていません。 流し見はもったいない。ちゃんとがっつり読みます。 というわけで、読んだぶんからの感想とオススメポイントを紹介します。 どんな本？ タイトルの通り、10年効く基本的な技術をしっかり解説してくれています。本当に基礎の基礎のところがわかれば、ちゃんと応用できるようになります。 どんな人にオススメ？ 現場の叩き上げでLinuxを勉強してきて、普通に使う分にはそんなに困らなくなった人 webで調べたチューニング項目の意味がいまいちよくわからない人、項目と値の意味を他人に説明しきれない人 基礎の大切さが胆落ち(ハラオチ)した人 ここがステキ！ とにかく基礎・仕組みから丁寧に丁寧に説明されています。 また、問いに対する答えだけでなく調べ方まで紹介しているので、�地力をつけ

こんにちは。こんにちは。 開催前から話題先行しまくりのペアプロ合コンを3/24(土)に開催してきました。 言いだしっぺ@happa_no_koのもと20人近いスタッフで協力しなんとか開催できました。 ご参加いただいたみなさまありがとうございました。 おかげさまで楽しくできました。 KDDIwebコミュニケーションさまありがとうございました。 あの会場だからこそ、こんなに楽しくできました。 スタッフのみんなお疲れさま！ いろいろ不安もあったけど、予想を上回る大満足のできだったね。 やってみて改善点も見えてきたので、ちょっとずつでも次回以降に活かしていきましょう。 ※念のため※ このエントリの記載は私の個人的な意見とか見解なので、 ペアプロ合コン運営チームとしての意見ではありません。 当日の雰囲気 準備段階でいろいろ工夫してきて、まずいことにはならない確信はあったんだけど、正直なところここまで

技術評論社さんから献本いただきました。ありがとうございます。家宝にします。たぶん。 著者はあの松信さんなので、もう期待大。 すでにkazeburoさんやら銀河さんこと桑野さんやらはてな田中さんやらりーおさんやらがreviewしていますので内容はさておき、感想とオススメポイントを紹介します。 (りーおさん同僚だからサインとかもらっちゃうのかな) どんな本？ 正直なところ、1st stepの入門書としては難しい(カタい)。まさに実践入門。 どんな人にオススメ？ 開発/運用など現場で体当たりでやってきたけどイマイチ伸び悩んでいる人、なんだか不安な人 基礎の大切さが胆落ち(ハラオチ)した人 ソフトウェア工学とか計算機化学の基礎の大切さに薄々気づいてきた人にぜひ読んで欲しい！ ここがステキ！ 「データを入力し、データを出力する」というITの基礎の基礎を振り返るきっかけになる！ そもそもシステムという

個人的なメモ。 大層な話じゃないです。 あとfluentdをdissりたいわけでもないです。 使ってみてすごい使いやすかった。すばらしい。 ただちょっとだけ気をつけとかないと、という話。 遭遇した問題 前提 fluentd-0.10.11(td-agent) アクセスログ(データ不正的な感じ)を複数行まとめて投入してtailで読み込み アクセスログの2行目以降にUTF-8なマルチバイトが含まれる アクセスログをparseしてfileに書き出したい 事象 複数行投入したうち、マルチバイトを含む行以降がfileに出力されず ログファイルに元データが出力されず。ログには unexpected error error="\"\\xEF\" from ASCII-8BIT to UTF-8" が出力 どういうこと？ まとめて投入した一連の途中で出力処理がエラーになっていて、以降の処理(=マルチバイト

ターミナルマルチプレクサ Advent Calendarの12日目でございます。 今日はさらにコアなネタに。 みなさん、シリアル通信することってありますよね？ ネットワーク機器に接続して設定したりとか、とかとか。 そんな時にもscreenが使えちゃうんです。 ちなみに私はMac(MBA Snow Lepard)で使ってます。 screenでシリアル接続する ケーブルをつなぐ。最近はUSBタイプのものですね。ドライバとかは入れておいてください screenでつなぐ たとえば、USB接続のシリアルが /dev/tty.usbserial に接続できた場合は下記のように接続します。 ※Ctrl-aではなくCtrl-zの場合 screen -e ^z^z /dev/tty.usbserial 115200 xmodem転送する ネットワーク機器のファームウェアアップデートのために、xmodem転送

webサーバのパフォーマンスについて、PHPでセッション生成が遅い場合、 php.iniの設定を確認してみてください。 となっている場合、この/dev/randomからの読み取りの遅延が原因で動作が遅くなっている可能性が高いです。 ⇒使うのであれば /dev/urandom を使いましょう。 /dev/randomからの読み込みが遅くなる原因は、 /dev/randomは、十分なエントロピーが得られない場合には応答をwaitすることエントロピーの素として「人間の利用するキーボードなどの入力デバイスのタイミングの「ぶれ」などを活用」していること ⇒iDC設置のサーバ機器だとエントロピーがたまらない！ だそうです。 ⇒from: Linusのクリスマスプレゼントが引き起こした問題 - @IT この場合、サーバの負荷は高くないものの応答が遅い状態になります。 みなさまご注意ください。

これはターミナルマルチプレクサ Advent Calendarの6日目でございます。 ノリと勢いでAdvent Calendarしたくてそのためにblogを移設したんだけど、 実はそんなにネタなかったりして。 と、いうわけで、今回は手持ちのtipsを紹介します。 その1. ログインしたら自動でscreen .bashrcに自動でscreenが起動するように仕込めば、 今日からあなたもとても自然にscreen使いになれちゃいます。 自動screenデビューしたい？ そんなあなたは↓のコードを .bashrc に書きましょう。 if [ $TERM != "screen" ]; then if [ $TERM != "dumb" ]; then screen -e ^z^z fi fi ポイントは次の2つ。 無限ループしないように、 $TERM が screen の時はscreenを起動しない

sphinxやrst2pdfでTypeError: get_language() takes exactly 2 arguments (1 given) sphinxやらrst2pdfやらを使っていろいろ書いてるわけなんですが、どうも色々バージョンアップしたら下記のエラーが出るようになっちゃって困った困った。 TypeError: get_language() takes exactly 2 arguments (1 given) んで、もうソースコード書きなおしちゃえってことでdocutilsを書き換えて回避。 副作用は、あんまりないだろう、きっと。 安全にいくなら、virtialenvしてからその配下のを書き換えてくださいね。 (virtualenvってもう古いんだっけ?) command sudo vim /Library/Python/2.6/site-packages/docut

こんにちは。こんにちは。 去る10月1日に実施された、tuningathon #2に参加してきました。 結果は5位!。前回よりもランクダウン。。 でも入賞できてよかったですよ。 今回はあまりたいしたことはできず、 1位の方のアプローチは「無理」と判断してハナからあきらめちゃってたので、 判断力と決断力がもっとあれば、結果は違ったのになぁと悔しいこと悔しいこと。 自分が実施したことは、入賞された方々とあまり変わらず。。 php5.4をCFLAGS="-O2 -march=core2" でソースインストール apacheのログ出力停止と並列数調整 mysqlのquery_cache on と innodb_buffer_pool_size 調整 cherokeeのサイトに書いてあるOSチューニングを少々 くらい。今回もあからさまにphpのcpu boundだったので、 前回のようにfastcg

どうもコンニチワ。 去る2011.8.27に開催された なんでもありのWebアプリケーション高速化バトル、#isucon に、チーム「いんふらえんじにあー」として @matsuu さん、 @ishikawa84g さんと参加してきました。 チーム名は2秒くらい考えてこんなものしか思いつきませんでした。 チーム名を決めなければならないということに気づいたのは、要返信のメールの締切を2日過ぎてからのことでした。相談なしに決めてゴメン。。。 ともあれ結果は2位 3位。1位とは大差！2位とは僅差！すごくすごく楽しかったです。 主催のライブドアさん、ありがとうございました！ さて、今回も結果が出てほっとしました。 今回はチームメイト @matsuu さんがすでに詳細書いてくれているのでそちらを見ていただくと紆余曲折を感じていただけるかと。 →isuconに参加してきた＆チーム「いんふらえんじにあー」