GNU Parallelがすごすぎて生きるのがつらい
皆さん今日もたくさんのサーバを相手にされていることかと思いますが、いくつかのサーバにアクセスして 1 秒間の統計情報(例えばvmstat 1 2)を集めてパッと表示したい時ってどうやってますかね？shell script を学びはじめたばっかりの僕はこんな感じで書いてました。 $ for i in host1 host2 host3; do ssh $i "vmstat 1 2 | tail -1"; done 0 0 0 329004 210836 14275360 0 0 0 2424 1410 1828 0 0 100 0 0 0 0 0 3716112 587704 25921684 0 0 0 488 1643 2026 0 0 100 0 0 1 0 0 555440 265560 14015548 0 0 0 4204 1534 2392 1 0 99 0 0 vmstatと
Perlでshellのパイプっぽいのを書いてみた - As a Futurist...
ちょっと perlipc(Perl でのプロセス間通信)について調べてて、どうやったら shell 展開させずに、プロセスを shell のパイプでつないだみたいにできるかなーと思って、何の生産性もないことは覚悟の上で再実装してみた。 追記 IPC::Runってモジュールがあるよと gfx さんに教えて頂いたので調べてたら、これで十分同じことがやれそうだったので書きなおしてみました。 比較すれば、ややこしい部分が全部IPC::Runに隠蔽されているので相当理解しやすくなりました！Thx gfx! エラーハンドリングしてないし、ハンドルとかよく分かってないけど、とりあえず想定の動きはさせられた。 IPC::Open2とか使ってできそうな気もするんですが、どう書いたらいいのか分からず。 自分でやりたいことは上で書けたっぽいから、open2 の方を頑張って調べる気が起こらないので、何かヒントをお
「安全なWebアプリケーションの作り方」を読んでセッションを復習してみた - As a Futurist...
タイトルが長くて略称があれば知りたい感じの「安全な Web アプリケーションの作り方」を暇を見つけて読んでいます。今まであいまいなままだった部分を順を追って説明してくれるので、本当に助かります。Web アプリ作りの初心者は卒業したかなーという人は必ず目を通しておくと良いと思います。 Cookie を用いたセッションについて復習 「HTTP はステートレスで」とかいう話はよく聞きますが、じゃあどうやってセッション管理するのがいいの？って話をよく考えると体系的に聞いたことがなかった！というわけで、この本で文字通り体系的に学び直すことができました。 その中でも、「セッション ID の固定化」という話題はちゃんと分かってなかった部分があったので、こちらのサイトを参考に PSGI なアプリケーションを作ってみました(僕の書いたアプリ自体はその他の脆弱性に溢れていますがｗ)。コードはエントリの最後に。
RStudio使ってApacheのアクセスログをグラフにしてみよう - As a Futurist...
最近個人的にやっと R のブームが来ています。2009 年に Tsukuba.R に参加して gfx さんの前で Perl の話をするという謎のイベントをこなして以来、「そろそろ R 使うか」と言い続けてはや 2 年。ついに遅れたマイブームがやってきました。 さて、今回やってみたのは前回入れてみたサーバ版の RStudio を使って、Apache のアクセスログを何らかグラフにしてみたという内容になります。凝ったことしようとしたんですが、そもそも R がよく分からなかったのでとりあえずできた最低限の話と、いくつか BK 的なものを。間違ってたら教えてくだしあ＞＜ 今回の目標＝アクセスログの 1 時間毎のヒストグラムをグラフにする とりあえずということで、こういうグラフを作ることを目標にしましょう。数値だけであれば以前紹介したコマンドラインで十分でこんな感じ。 参考：突然の Twitter
「出過ぎた杭」を目指してみませんか？ – 新卒エンジニアに向けて - - As a Futurist...
新卒準備カレンダー 2011 春というおもしろい企画がありまして、3 日目は自分が担当させて頂くことになりました。@shibukawa さんの様に抽象的なレベルまで高めて書くほどの経験は残念ながらありませんので、僕ものんべんだらりと自分語りをしたいと思います。 Who are you? DeNA のサーバインフラエンジニア新卒 2 年目(=もうすぐ 3 年目)です。主な言語は Perl とshow slave statusです。プログラムやコンピュータに結構詳しい学生さんでも、インフラって何やってるのかについてはイマイチ伝わらないことが多いのですが、一応説明しておきます。僕は大してコードも書いてませんし、かといってプロジェクトマネージャみたいに人の管理もしていません。僕が相手にしているのはシステムが動いているコンピュータ(=サーバ)そのものです。システムの多くは無数のサーバが通信しあって提
ifstatって便利そうなの見つけたのでついでに*statを紹介 - As a Futurist...
今更感もありますがすごい便利そうなツール発見。ネットワークインターフェイスのトラフィックを簡単にモニタリングできるツール。 ifstat CentOS とかだったら rpmforge にあるみたいなので、こんな感じで。(レポジトリ設定してなければ適当に) yum install --disablerepo=* --enablerepo=rpmforge ifstat チーミングしてる環境で出してみるとこんな感じ。-iで並び順も指定できたり、-bで Kbps にできる。vmstatと違って-tで timestamp も出せるのでこれ単体で便利に使えそうですね。ちなみに Linux の場合/proc/net/devを使ってるそうです。 *stat 系のツール 便利ですよね。パッとサーバに入って今起きている問題を分析するのにこれらのツールを使うのは有用です。top しか見ない人は覚えておくといい
MySQLでslave追加時にmasterが全力でbinlogを送って困る時 - As a Futurist...
たまにはしょうもない TIPS でも。MySQL の魅力といえば言わずもがな 10 年の歴史を誇る「レプリケーション」の仕組みだと思います。これさえあれば 1 つの筐体で必死にデータ保全しなくてもコピーがいくらでも増やせるし、@nippondanjiさんのスライドにある通り、レプリケーションの妙技を駆使することで様々に柔軟な運用を行うことができます。 Art of MySQL Replication. slave 追加とは？ さてそんなレプリケーションですが、実運用で最も多く行われるオペレーションは「slave の追加」だと思います。追加の方法は大きく分けると 2 通りです。(ストレージエンジンは InnoDB を想定。というか InnoDB 以外認めません＞＜) 論理バックアップを利用 mysqldump 等を利用して論理的にデータの静止断面を作る＆その時の binlog のポジションを
サーバインフラエンジニアについて思うことを『小悪魔女子大生のサーバエンジニア日記』に触発されて書いてみた - As a Futurist...
サーバインフラエンジニアはモテるとの噂が最近絶えないわけですが、そんな僕達注目の書籍『小悪魔女子大生のサーバエンジニア日記』がついに刊行されましたので早速ゲットしてみました。紀伊国屋の店頭取り置きサービスというすばらしいサービスを使わせてもらったのですが、取りに行った時に「書籍の名前はなんでしょうか？」「こ、小悪魔女子大生の・・・」とか言わせんなよ恥ずかしい＞＜ かわいい絵だけど中身はガチ すでに一部界隈では有名になっているこちらのブログの書籍化です。まったくの素人だった女子大生がだんだんと知識を吸収していく様を見ていると、「俺が教えたかった orz」という思いが、、、じゃなくて、すごい細かいところまで内容としては盛り込まれていて、すごいですね。 絵については僕がとやかく言う事ないですが、最後の加藤さんのコメントにもある通り、内容としては小悪魔さんと同じように全くの初心者向けというよりは、
ブログリニューアルしてみました - As a Futurist...
明けましておめでとうございます。年始は実家に帰っていたので、普段できなくて溜まっていることを やってしまおうということで、かねてから気にかけていたさくら VPS を使ってみるついでに ブログをリニューアルしてみました。かなりすっきりしたと思いますがいかがでしょうか。 VPS 初めてだったのと、WordPress いじくるの久々だったので色々苦労しました。軽く備忘録。 さくら VPS 前はさくらのレンタルサーバでうごかしてました。レンサバはサーバ管理をあまりやったことの 無い人にとっては、Apache や MySQL の config 作って動かしたりする必要ないので 確かにお手軽です。実際、サーバとかマジわかんねだった僕でもブログを構築することができました。 ただ、仕事でサーバをこれでもかってほど触ってると、ついつい自分で動かしたくなるのが職人というもの。 とはいえ自宅サーバでえいこらする
YAPC::Asia2010に行ってマジ感動した - As a Futurist...
初めて YAPC に参加してきました。YAPC というのは Perl というプログラミング言語を本当に愛する人達が 集まるカンファレンスです。と言っても、きっとエンジニアじゃない人には分からないんでしょうね、 趣味や仕事で使ってるとあるツールが好きだというだけで金曜土曜を潰してわざわざお金を払って集まる意味は。 僕は 4 月に MySQL Conference にも参加してきましたが、本当にこういう「I love 〇〇」なカンファレンスは その一体感、楽しさ、心地良さ、知的な刺激、どれを取っても夢の様な場所です。カンファレンスの間はずっと、 ずっとこのカンファレンスが終わらなければいいのに、と思ってしまいます。 僕はインフラエンジニアになってまだ 1 年半のペーペーで、開発経験なんか皆無に等しいので 正直ついていけるか不安でしたが、杞憂でした。それはきっと僕も Perl が大好きだからです
退学して就職した2009年をやっと振り返ってみた - As a Futurist...
あけましておめでとうございます。あまりの忙しさに結局年内に 2009 年を 振り返ることができなかった riywo です。実家に帰って、多少時間ができたので そろそろ書いてみようかと思いました。とはいえ、もう 2 日後には仕事が始まるという 状態ではありますが。。。 大学院に退学願を提出したのが 2009 年だったということをすっかり忘れてしまうくらいに、 ものすごい変化をした 1 年でした。あの頃が遥か昔に感じられます。 さっき改めて、「修士論文の代わりに退学願を提出してきた」を 読み返してみました。このエントリはまさに退学願を提出したその足で 2 時間くらいで一気に書いた 文章になりますので、かなり荒削りなものになっていますが、あの大学院の 2 年間で 積もり積もったものを書き連ねたものですので、今でも全く気持ちは変わっていません。 改めて当時の分析を振り返ると共に、そこからの変化とい
自分と違うタイプの人間と付き合うことの重要さ - As a Futurist...
僕の短い人生、狭い世界の中でもいろんなタイプの人間に会ってきました。 タイプを区分するときのメインの軸としては「自分と同じタイプ」か「自分とは違うタイプ」かという ポイントになると思います。大抵の人は「自分と同じタイプ」の人間と居ると「安心」するし、 「自分とは違うタイプ」の人間と居ると「不安定」になるものでしょう。でも、そこで「安心」に 安易に流れるのは良くないなと最近思っています。 自分と似たタイプは「楽」 自分と似たタイプの人間と会話するのは楽です。特に細かく説明をせずとも、大体感覚が共有できているので、 話すのも楽だし、興味の方向も似ているので、ニュースなんかでも自分が知っていることは相手も知っているので 本質的な話をすぐすることができて、生産的でもあります。 だから、人間は大抵似た人と「群れ」て生活しています。特に小中高時代を思い出してもらえれば、 ファッションに命をかける人達と
修士論文の代わりに退学願を提出してきた
退学って「お願い」するもんなんだと初めて知りました．というわけで，前々から 言っていた通りに，大学院に退学願を提出してきました．専攻ではすでに修士論文の提出も 発表も終わっているそうです．いつ行われたのかも知りません．とりあえず 4 月からはちゃんと就職して働きますのでご心配なく．日本はやさしい国ですね． さて，ここで大学に対する恨みつらみを書いてもしょうがないので， これから（日本の一般的な）大学・大学院を目指すという方に対して， これは考えておいた方がいいんじゃないかということを書き連ねておきます． 大学に入って 6 年しか経っていないし，学会にも行ったことのない人間の 戯れ言ですので聞き流しておいて下さい． **【さらに追記】**2 年ぶりになぜか注目されました Twitter が一般にも浸透したんだなぁと勝手に感慨にふけっています。@su319 さんが Toggeter にまとめて
DropboxをUbuntuで完全にコマンドラインだけで使う方法 - As a Futurist...
前の記事で，ssh -X で無理矢理入れる方法を紹介しましたが，あれダメです w なんかいまいちうまく動かないことが多いです．それで，ふと調べていたら Dropbox Wiki の方にまったく X を使わずにインストールして使うための TIPS が 載っていたので紹介します． TipsAndTricks/TextBasedLinuxInstall – Dropbox Wiki まずは必要なファイルの DL Dropbox 本体と，インストールに使う Python スクリプトを wget で落とします． $ cd ~ $ wget -O dropbox.tar.gz http://dl.getdropbox.com/u/17/dropbox-lnx.x86-0.6.427.tar.gz $ wget http://dl.getdropbox.com/u/6995/dbmakefakelib.
WebService::Simple::Flickrを作りました - As a Futurist...
前回，Flickr::API を使って Flickr の認証のやり方がわかりましたが，なんか Flickr だけの モジュールを使うのもしゃくなので，ゆーすけべーさんが公開している WebSerivice::Simple を継承して認証できる形のモジュールを作ったので公開します． ゆーすけべー日記: WebService-Simple-0.09 の使い方 WebService::Simple::Flickr Flickr の認証はちょっと面倒な形をしています．最初に触る API にすべきじゃないです w 何が面倒かというと，パラメータを送るとき，それを並べてハッシュをとったものを 署名として付けないといけない点です．この部分を実装しておきます． get()関数をオーバーライド sub get { my ($self, $args) = @_; $args->{api_key} = $sel
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
