awslim - Goで実装された高速なAWS CLIの代替品を作った - 酒日記 はてな支店
最初に3行でまとめ AWS CLIは便利です。しかし起動が遅いので、Goで実装された高速な(ただし機能は少ない)代替品を作りました。awslim といいます リリースバイナリは無駄に大きいので、必要な機能だけを組み込んだビルドを簡単にできるようにしてあります。ビルドして使うのがお勧めです どうぞご利用下さい github.com 以下はこれに至るまでの経緯とか、実装や使い方の話とかです。長いです。 作成の経緯 AWSの各種サービスにアクセスするための AWS CLI は、スクリプトやコマンドラインから処理を自動化するために大変便利なツールです。AWSでサーバーサイドの開発、運用している人であれば、ほぼ全員がお世話になっているんじゃないかと思います。 しかし、AWS CLI (コマンド名aws) には「起動が重い」という問題があるなとずっと思っていました。具体的には、aws --versio
nginx で gzip_static と gunzip を使ってストレージを節約する - 酒日記 はてな支店
一月ほど前に 社内Gyazoの画像をAmazon S3に逃がしてスケーラブルに運用する - 酒日記 はてな支店 というエントリを書いて一段落と思いきや、そのサーバには社内向けの nopaste アプリも同居しており、気がつけばテキストファイルが10GB以上積もっていたのでした… 社内 nopaste アプリの実装はDBなどを使用せず単にテキストファイルを保存しているだけだったので、ファイルを gzip して nginx の http_gzip_static_module を使って配信したらディスクを節約できていいんじゃないか、と思いついたのですが、Accept-Encoding: gzip でないクライアントからアクセスすると 404 になってしまうので圧縮前のファイルが消せない。 今時ブラウザで対応していないものは少ないとはいえ、curlとか各種言語のHTTPクライアントでアクセスする場
MongoDBをNUMAなマシンで使うときの注意 - 酒日記 はてな支店
デュアルCPUで計12コア24スレッド、メモリ48GBというマシンで MongoDB-2.0.8 をしばらく稼働させたところ、突然 CPU の system time が1コア分暴走したようになる、という現象が起きました。 最初は原因がよく分からず、とりあえず mongod のプロセスを kill して起動し直したら復旧したのですが、またしばらくすると同じ現象に。 mongoのメモリ使用量と Load Average をプロットしてみると、どうもある程度 (約24GB?) のメモリを使ったところで暴走が起きているような……とログを見直してみると、起動時に WARNING がでていました。 Sun Jan 20 00:10:01 [initandlisten] MongoDB starting : pid=12669 port=27017 dbpath=/var/lib/mongo 64-b
mod_pagespeed をちょっとだけ試してみた - 酒日記 はてな支店
Google の Page Speed の Apache module 版 mod_pagespeed をインストールして、ちょっとだけ動きを見てみた。 インストールは Ubuntu に deb パッケージで。 $ wget https://dl-ssl.google.com/dl/linux/direct/mod-pagespeed-beta_current_amd64.deb # sudo dpkg -i mod-pagespeed-beta_current_amd64.debconfig はデフォルトで入るものそのまま。 <IfModule pagespeed_module> SetOutputFilter MOD_PAGESPEED_OUTPUT_FILTER ModPagespeed on ModPagespeedUrlPrefix "http://localhost/mod_p
RSS対応NICなのに割り込み処理が複数コアに分散しない…のはirqbalanceが動いてなかったから - 酒日記 はてな支店
タイトルがすべてでございます。 NICの割り込み処理が1コアに集中してしまい、ボトルネックになって性能が出ない場合があるという話は最近広く知られていると思います。 NICのハードウェアレベルで割り込みを分散してくれる RSS(Receive Side Scaling) という仕組みがあり、それを利用すれば特になにもしなくても複数コアに分散されるはず、と思っていたのですが、どうも特定のマシンでそうならない。 # cat /proc/interrupts CPU0 CPU1 CPU2 (省略) CPU11 64: 1256214 0 0 ... 0 IR-PCI-MSI-edge eth1-0 65: 225711 0 0 0 IR-PCI-MSI-edge eth1-1 66: 402906 0 0 0 IR-PCI-MSI-edge eth1-2 67: 723539 0 0 0 IR-P
#isucon2 で優勝してきました - 酒日記 はてな支店
なんでもありのいい感じにスピードアップコンテスト ISUCON が 2 になって帰ってきたので、参加して優勝を勝ち取ってきました。 まとめ的なものはこちらから livedoor Techブログ : ISUCON チームメンバーのblogも併せてご覧ください。 おそらくはそれさえも平凡な日々: #isucon2 で連覇させてもらってきました Redis布教活動報告 ISUCON 編 - unknownplace.org 今回は前回の ISUCON 優勝メンバーのひとり @sugyan が転職して出題側に回ってしまったので、@typester を招聘してチーム編成。@songmu と共に3人でチーム「fujiwara組」として再参戦です。 以下、作業用IRCのログからふりかえりますと…… 11:39:29 <typester> とりあえずrecent_soldはキャッシュってのはまずやることか
クエリキャッシュを切ったほうがいイカ？ ベンチマークしてみた - 酒日記 はてな支店
カジュアル！(挨拶) このエントリは MySQL Casual Advent Calendar 2011 の18日目の記事です。 昔、専ら PostgreSQL を使っていた頃、MySQL のクエリキャッシュって簡単に性能上がるしみたいだし羨ましいなあ、と思っていました。そのため、1年ほど前から業務で MySQL を使うようになっても、クエリキャッシュは当然のごとく有効にしておりました。 ところが先日 DSAS開発者の部屋:クエリキャッシュは切ったほうがいいんじゃなイカ？ というエントリを読みまして、クエリキャッシュはグローバルロックを獲得するとのこと。これはちょっと検証してみなければなるまい、ということでベンチマークをしてみました。 ベンチマーク結果 結果は別ページにまとめました benchmark script と my.cnf ざっくりと説明しますと、 平均 260 byte/行、1
OMRON の UPS BY35S を Linux と使う - 酒日記 はてな支店
先日引っ越して自宅サーバを移動したところ、まれにサーバの電源を取っている子ブレーカが落ちることが判明。HDD が壊れたらたまらないので、今まで自宅では使っていなかった UPS を導入することにした。 前の会社では APC の UPS ばかり使っていたので、惰性で APC にしようかなと思ったのだが、APC の個人ユースの製品はあまり評判がよろしくない感じ。使ったことはないけど評判よさげな OMRON にしてみた。 オムロン 無停電電源装置(常時商用給電/正弦波出力) 350VA/210W BY35S 出版社/メーカー: オムロン発売日: 2009/11/27メディア: Personal Computers購入: 1人 クリック: 17回この商品を含むブログ (2件) を見る わりと省電力の PC サーバ 1台しか接続しないので、350VA モデルを￥13,992 で購入。この値段で正弦波出
インフラエンジニア勉強会 #qpstudy 03 で Perl の話をしてきました - 酒日記 はてな支店
キユーピー3分インフラクッキング-初心者にも優しいインフラ勉強会- #qpstudy にて「Perl とうまく付き合う」というお題で発表させていただきました。 最初は「インフラエンジニアのための……」という仮題だったのですが、資料を作ってみたらそんなかんじでもなくなってしまったので改称しましたすみません。 発表資料はこちらです 内容は「プログラミングはできるけど Perl の作法がよく分からない」というかた向けに、 マニュアルの読みかた CPAN モジュールの扱いかた レガシーコードに立ち向かう方法、デバッグ技法 などをまとめてあります。 ustream の録画は以下の動画です。自分の発表は56分過ぎから約30分間です。 ということで、qpstudy に参加された皆様お疲れさまでした。 発表を聞いてくださった皆様、会場を提供していただいた @nifty 様、ありがとうございました！
DRBD の failover と iSCSI Enterprise Target の起動タイミング - 酒日記 はてな支店
drbdadm primary コマンドを実行したあと、自分がちゃんと Primary になったのを確認してから iscsi-target を起動しよう、という話。 1ヶ月ほど前から DRBD + Keepalived + iSCSI target を VMware ESXi から使うメモ - 酒日記 はてな支店 で検証した構成を元に、実マシンで iSCSI target を作って ESXi から使用中。 # 15台ほどの VM を乗っけて試験運用 DRBD の failover を起こす際に、以下のようなスクリプトを実行しているのだけど #!/bin/sh # backup -> master になるときに実行 drbdadm primary all service iscsi-target start #!/bin/sh # master -> backup になるときに実行 serv
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
