日本の迎撃ミサイルがとんでもないことになっている！ただ、今回話題になっている迎撃ミサイルというのは北朝鮮から飛来してくるアレに対するものではなく、別の意味のようだ。先週の春一番の嵐ににより大きな被害をもたらした日本列島。その報道の中でテレビで放映された映像がネットで話題になり、それが海外に飛び火し話題になっているようだ。 話題になったのはテレビに映し出されたお婆さんの写真。なんと突風に吹かれながらも必死に地面に足を固定させ、斜めの体制になりながらも耐えているという強靭な体力の持ち主だったのだ。この瞬間がネットでたちまちわだいになっていた。 この写真は、海外サイトにマイケルのような母として話題になっている。さすがにこの異様な姿は日本のみならず、海外でも面白いようだ。オリジナルの写真のほか、アスキーアートやマイケルと一緒に斜めになる『アンチ・グラヴィティ・イリュージョン』（反重力ダンス）をコラ

コミュニケーションが生まれるツイートまとめツール

curl_multiはselectシステムコールを使って同時に複数のHTTPリクエストを行うことができます。マルチスレッドやらマルチプロセスを使っているわけではなく、原理はnode.jsなんかと近いI/O多重化で、一度に一つのことしかしていません。 PHPのcurlはlibcurlのAPIをほぼ踏襲しており、ちょっと取っつきにくいです。クラスでラッピングして、curl_close()などはデストラクタで呼ばれるように自動化すると、もう少しすっきりすると思います。 <?php /** * curl_multiでHTTP複数リクエストを並列実行するテンプレ * */ //タイムアウト時間を決めておく $TIMEOUT = 10; //10秒 /* * 1) 準備 * - curl_multiハンドラを用意 * - 各リクエストに対応するcurlハンドラを用意 * リクエスト分だけ必要 * *

ドイツ在住のSFXプロデューサーMatthias Müller氏が作ったフルHDムービー「The Space We Live In」が非常に美しく、雰囲気もあり、フルスクリーンで見ると非常にいい感じです。 The Space We Live In - FULL HD Video - YouTube（1080p版あり） The Space We Live In on Vimeo 以下のようなシーンがぐりぐりと動いてくれます また、下記公式ページの「FREE WALLPAPERS」をクリックすると、以下の5種類のフルHDサイズ壁紙がダウンロードできます。 The Space We Live In http://matthiasm.de/sub/TSWLI.html このムービー自体、これだけでもかなりのクオリティなのですがやはりアップロードするために画質が落ちているという点も否めないため、個人

Twitterは、同社の何千台ものサーバに対してバイナリをデプロイする場合に、ピア・ツー・ピアシステムのBitTorrentを利用したツール「Murder」を用いていると、7月1日の記事「Twitterの大規模システム運用技術、あるいはクジラの腹の中（後編）～Twitterのサブシステム「Unicorn」「Kestrel」「Flock DB」」で紹介しました。 FacebookでもBitTorrentによる大規模なデプロイが高速に行われていることは、7月16日の記事「Facebook、memcachedに300TB以上のライブデータを置く大規模運用の内側」で紹介しました。 どうやら大規模システムにおけるデプロイではBitTorrentの利用が進んでいるようです。 7月15日付けのTwitter Engineering Blogに、Twitterのエンジニア、Larry Gadea氏による「

CentOsにhping3を導入する際に、やった作業をメモ。 # wget http://www.hping.org/hping3-20051105.tar.gz # tar zxvf hping3-20051105.tar.gz # yum install libpcap-devel # ln -s /usr/include/pcap-bpf.h /usr/include/net/bpf.h # ./configure # make # make install libpcapdevelをインストールしておくことと、pcap-bpf.hをnet/bpf.hへリンクを貼っておくのが肝。

人間とウェブの未来（旧） 「ウェブの歴史は人類の歴史の繰り返し」という観点から色々勉強しています。2014年までの人間とウェブの未来の旧ブログです。 ircdを自分だけが使用し、大量に書き込みが許される状況では、ircdのExcess Floodの機能が非常に邪魔だ。 数キロバイトのテキストがircdに貯まるだけで、Excess Floodが発動し、強制ログアウトさせられる。 configで機能を削除する方法もあったが、とりあえずソースを弄って、Excess Floodの機能を削除した。 Excess Floodとmsg_readyエラーを削除する必要がある。 以下にソースを弄ったログを。 # less -N irc2.10.3p7+jp6/ircd/s_bsd.c 1935 1936 // READ ERROR キャンセル 1937 1938 /* ここからコメントアウト 1939 el

#!/bin/sh . /etc/init.d/functions # 色々書いて・・・ for chek in 1 2 3 do # 重要なコマンドを3回実行して・・・ RETVAL=$? [ $RETVAL = 0 ] && success && echo [ $RETVAL != 0 ] && failure && echo done exit 0 でこれを実行すると、 # ./boot_script.sh check 1 : [失敗] check 2 : [失敗] check 3 : [ OK ] てな感じで、起動スクリプトのような出力が可能。

人間とウェブの未来（旧） 「ウェブの歴史は人類の歴史の繰り返し」という観点から色々勉強しています。2014年までの人間とウェブの未来の旧ブログです。 LVMを用いてファイルシステムを構築していて、そのHDDが壊れた時など、データ損傷し過ぎでどうにもこうにもいかなくなることがある。 そこで、別OSを起動してその壊れたHDDをマウントし、必要なデータを抜き出すにはどうしたらいいか。 ちょっと苦戦したので、そのメモ。 1，OS起動中にSATAを認識させる(HDDをSATAケーブルで接続後) # echo "scsi add-single-device 01 00 01 00" > /proc/scsi/scsi ※数字は「scsi番号 Channel Id Lun」、今回は「01 00 01 00」だった。 2，SATAが認識されたか確認 # cat /proc/scsi/scsi Host:

人間とウェブの未来（旧） 「ウェブの歴史は人類の歴史の繰り返し」という観点から色々勉強しています。2014年までの人間とウェブの未来の旧ブログです。 簡単に作ってみた。 #!/usr/bin/perl use warnings; use strict; my $retval = "1"; my $master_dev = "/dev/sda1"; my $backup_dev = "/dev/hdc"; my $backup_dev1 = "/dev/hdc1"; my $master_dir = "/"; my $backup_dir = "/backup"; my $log = "/var/log/backup.log"; print "backup $master_dir ($master_dev) -> $backup_dir ($backup_dev1)\n"; my $moun

人間とウェブの未来（旧） 「ウェブの歴史は人類の歴史の繰り返し」という観点から色々勉強しています。2014年までの人間とウェブの未来の旧ブログです。 説明するまでもない、次世代の統合監視を担うオープンソースの代表格であるZabbix。ちょっと調査をする必要があったので、色々APIを試したりしていたときに発見した現象。 同時にZabbixAPIを叩きに行ったさいに、apacheとMySQLが高負荷状態に。その状態でWEBブラウザから他のクライアントがログインを試みてもタイムアウトになる。なんだーなんだーと思って調査してみたら、ログイン時にログを残す時のログID取得処理でバグがあった。 調査の内容は以下。 例えば、APIのクライアントから同時にZabbixAPIを叩きにいくと(zabbix-host-status-test.plは自分自身の監視を有効化したり無効化したりするスクリプト) ./z

人間とウェブの未来（旧） 「ウェブの歴史は人類の歴史の繰り返し」という観点から色々勉強しています。2014年までの人間とウェブの未来の旧ブログです。 オープンソースとしてのログビューワーってあんまりいいものが内が、ようやくまともなsyslogビューワーが出てきたので早速いれてみた。 複数のサーバーからsyslogサーバーにsyslog-ngを用いて集中管理し、それらをビューワーで見るという使い方。 URLに変数などを仕込むことで、任意の期間の任意のホストのログだけを見るってこともできるので、障害時などのアラートとしてURLを送るなどの使い方もできる。 logzillaのインストールと設定系の日本語のドキュメントは全くないので、ここに書いておく。 syslog-ngがインストールされている前提での手順。 ソースダウンロード # cd /usr/local/src # wget http://

人間とウェブの未来（旧） 「ウェブの歴史は人類の歴史の繰り返し」という観点から色々勉強しています。2014年までの人間とウェブの未来の旧ブログです。 デフォルトのyumレポジトリにないからといって、ソースでインストールしたりとか、パッケージ作ったりとかしてる人が多かった。 意外と知らない人が多くてびっくりしたので、yumでかなり多くのパッケージをインストールできるレポジトリの追加方法を書いておく。 使い方はレポジトリを登録後、下記コマンド。 # yum –enablerepo=rpmfoge install syslog-ng レポジトリ登録方法は以下。 rpmforge（いわずもがな、大量rpm保持サイト） rpm ダウンロード # wget http://dag.wieers.com/rpm/packages/rpmforge-release/rpmforge-release-0.3.

fdiskやsfdisk等で、sda1と同じディスク容量のパーティションを切りたい時は、fdisk内で同じブロックサイズを指定する。 しかし、実際にパーティションを切った後mke2fsでフォーマットするとディスクサイズが違っていて、tune2fsの結果も違ってたりする。 こういう場合は、ほとんどinodeのサイズが違っている場合が多いので、明示的にinodeサイズを指定してやる。 # mke2fs -i 4096 /dev/sdb1 また、その他下記コマンドでパラメータが違う場合は、適宜mke2fsやtune2fsのオプションを使って合していく。 # tune2fs -l /dev/sdb1 Filesystem featuresが違う場合などは、tune2fsで変更。 # tune2fs -o user_xattr,acl /dev/sdb1

そして、研究報告_vol.3として、今日発表してきた、僕自身の提案手法のレジュメとスライドを紹介します。 データマイニングの観点から変化点検出を利用したネットワークセキュリティの応用法について提案しまいた。 発表を聞いていた人達からの評判もよくて、「発表がよくて感動した」と言ってくれた人もいたり、大成功でした。 変化点検出とトラフィック特徴の相関関係を用いた手法です。 ■後期発表会資料 – トラフィック特徴量の時系列データにおける相関特性を用いた変化点からの異常検出 ・トラフィック特徴量の時系列データにおける相関特性を用いた変化点からの異常検出(レジュメ).pdf ・トラフィック特徴量の時系列データにおける相関特性を用いた変化点からの異常検出(スライド).pdf

さて、次は前期発表会で紹介した内容のレジュメとスライドです。 前期発表では、現在オンラインで扱うことができるエンジンで最も精度がいいといわれているChangeFinderと呼ばれる変化点検出エンジンの理論と考察を行い発表しました。 これが、僕が「変化点検出を用いたネットワークセキュリティ」の研究をしようと思ったきっかけになりますね。 とりあえず、すばらしいエンジンです。 過去の記事で、これはプログラムに実装し、検証済みです。 記事：変化点検出エンジン ■前期発表会資料 – 統計的手法による時系列からの外れ値と変化点の検出 ・統計的手法による時系列からの外れ値と変化点の検出（レジュメ）.pdf ・統計的手法による時系列からの外れ値と変化点の検出(スライド）.pdf

人間とウェブの未来（旧） 「ウェブの歴史は人類の歴史の繰り返し」という観点から色々勉強しています。2014年までの人間とウェブの未来の旧ブログです。 今回は、前々回の記事「変化点検出の研究に対する悩み」の解決編です。 なんとなく、このネットワークセキュリティの分野について、どのように研究していったらいいかがわかってきました。 それでは、議論の経過などもまじえて書いていきますね。 まずは、教授がおっしゃっているように、 「DARPA のデータとか，府大のデータ」を使ってみれば，一般性があるのでそうしたいと言うように読めるのですが，「DARPA のデータとか，府大のデータ」ですら，それらで OK だったから世の中のすべてのシチュエーションで OK にはなりません． 見る人によれば，「それも特定の環境ですね」と言われます． ということですが、僕自身、DARPAのデータや府大のデータを使うと一般性

人間とウェブの未来（旧） 「ウェブの歴史は人類の歴史の繰り返し」という観点から色々勉強しています。2014年までの人間とウェブの未来の旧ブログです。 ※宍道湖の湖辺にたたずむ兄貴 たまには研究のことでも書いておこうと思います。 僕の研究は、ネットワークセキュリティを変化点検出の立場から考えていこうというものです。 ここでいう変化点検出というものは、 ある時系列データ(時間に依存する数値データ)に対して、独自の変化点検出エンジンを用いることで、その時系列データのトレンドが変化した点を検出すること です。 すごく単純な話ですが、これが様々な分野、例えば株価の変動や気象の変化などトレンド変化を解析するような分野、に応用することができる手法なのです。 しかし、理論自体はやっていることと比べると、かなり難しくなっています。 ここでは、誰にでも（母親にでも）分かるように、簡単に変化点検出について説明し

人間とウェブの未来（旧） 「ウェブの歴史は人類の歴史の繰り返し」という観点から色々勉強しています。2014年までの人間とウェブの未来の旧ブログです。 ※去年の冬にいった渦潮で有名な鳴門大橋 今日、不正アクセスやウィルスなどを、変化点検出エンジンを用いて検出する方法について、ふと思いついた方法がある。 プログラムでシミュレーションもしていないし、理論的にも単純すぎて、説得力がないような方法だが、意外と効果があるんじゅないのかな、と妄想している。 では、その方法について、メモ程度に記載しておく。 まず、今自分が使っている変化点検出エンジンプログラムは、1次元の時系列データに対して、変化点を検出することができる。 しかし、不正アクセスやウィルスなどは、サーバーから見たとき、厳密には1次元の要素だけで判断できるわけではなくて、例えば、トラフィック量やアクセス頻度、接続ノード数、LoadAverag

人間とウェブの未来（旧） 「ウェブの歴史は人類の歴史の繰り返し」という観点から色々勉強しています。2014年までの人間とウェブの未来の旧ブログです。 ※春に行った京都の玄武岩 さて、久々の研究報告です。 NECさんの開発している変化点検出エンジン「ChangeFinder」を、プログラムで実装してみました。 「ChangeFinder」は、これまでの従来の手法による変化点検出にかかる計算コストを大幅に削減した独自のアルゴリズムによって開発されています。 データマイニングの観点から、外れ値と変化点を区別して、変化点を検出することに成功しています。 このように、変化点と外れ値は同一のアルゴリズム内で扱うのは難しいとされてきた中で、計算量を削減した上で同一に扱えるというのは、かなり画期的な手法です。 それでは、実験的にデータを発生させたりすることで、適当な時系列データを作成し、どの程度の精度と計

ようやく今年一年の研究が一応は終了しました。 が、今やっている研究に関してはずっとやっていく予定なので、終わりではないですが、とりあえず一息いれるって意味で今年の研究のまとめを紹介しておきますね。 題目は「トラフィック特徴量の相関特性を用いた異常検出」です。 一番簡単にエッセンスを述べると、単一の特徴量だけでは、現在の不正アクセスは正常のアクセスと比較して区別しにくいため、複数の特徴量の相関関係を見ることで、不正アクセスを判断しようって内容です。 とりあえず作成したPDFを紹介します。 ■題目：トラフィック特徴量の相関特性を用いた異常検出 ・トラフィック特徴量の相関特性を用いた異常検出（概要）.pdf ・トラフィック特徴量の相関特性を用いた異常検出（スライド）.pdf ・トラフィック特徴量の相関特性を用いた異常検出（表紙・目次・本文）.pdf

人間とウェブの未来（旧） 「ウェブの歴史は人類の歴史の繰り返し」という観点から色々勉強しています。2014年までの人間とウェブの未来の旧ブログです。 Capabilityをセットする際、セットしたいCapability ＊以外＊ のCapabilityを落としすことでCapability機能を実現している。その ＊落とした＊ Capabilityを再度同じプロセスにセットし直せない様な仕様になっているのは、どういうリスクを想定しているのだろうか。 もう少し踏み込んでみよう。 例えば、あるプロセスにあるCapabilityのみをセットした状態にし、それ以外のCapabilityは落とした状態とする。 そこで、 「プロセスにセットしてあるCapabilityを一旦落とした後、再度、直前までセットしていたCapability ＊のみ＊ をセットし直すことは可能だ」 という仕様を許可することは、リ

人間とウェブの未来（旧） 「ウェブの歴史は人類の歴史の繰り返し」という観点から色々勉強しています。2014年までの人間とウェブの未来の旧ブログです。 物欲日記ばっかり書かずに、たまにはお勉強の話でも。 fp = ap_pfopen(p, hoge.txt, "r"); if (fp == NULL) { fprintf(stderr, "%sは無いよ!\n", hoge.txt); return 1; } /* hoge.txt を色々弄って・・・*/ ap_pfclose(p, fp); apacheのモジュールについて最近勉強しているので、やったことをメモしていこうと思ってます。色々調べてて、メモリとかファイルハンドル回りでほーほーと思ったことをいくつか。 apacheモジュールはC言語にも関わらず、メモリのリソース管理はapacheがよしなにしてくれる。 apacheはリソース管理の

人間とウェブの未来（旧） 「ウェブの歴史は人類の歴史の繰り返し」という観点から色々勉強しています。2014年までの人間とウェブの未来の旧ブログです。 とりあえず、apr_compat.hを2系でincludeしておくと良い。 マクロで定義したい場合は、とりあえず以下のマクロをやっとけば、1.3系のapを結構使えるはず。 #define ap_inline APR_INLINE #define ap_md5_ctx_t apr_md5_ctx_t #define ap_MD5Encode apr_md5_encode #define ap_MD5Final apr_md5_final #define ap_MD5Init apr_md5_init #define ap_MD5Update apr_md5_update #define ap_append_arrays apr_array_ap

人間とウェブの未来（旧） 「ウェブの歴史は人類の歴史の繰り返し」という観点から色々勉強しています。2014年までの人間とウェブの未来の旧ブログです。 1.3系については、通称パンダ本に結構書いてあるので、情報量が少なめの2系モジュールに関する開発について。 基本は、1.3系と違い、2系はhook関数というものを作ってそれをモジュールから登録し、apacheコアにhookさせて、登録した関数を実行させるという流れ。 モジュールというのは、結局のところ「apacheコアが呼び出すhook関数を登録するためにある」といってもいいくらいかな。 流れとしては、以下のようにhook関数を登録して、 static void register_hooks(apr_pool_t *p) { ap_hook_access_checker(lalimit_access_checker, NULL, NULL,

人間とウェブの未来（旧） 「ウェブの歴史は人類の歴史の繰り返し」という観点から色々勉強しています。2014年までの人間とウェブの未来の旧ブログです。 ■ mod_resource_checker  [Download](apcheリソースloggingモジュール) サーバー内で複数のWEBサービスを提供したい場合に、chroot環境でのIPベースと、Virtualhostを用いたnameベースがある。 IPの枯渇や、ハードウェアにあまりお金をかけない、プロセス数の問題などで、最近ではnameベースを用いてサービスを提供することが多い。 ただし、nameベースでは様々な問題が起きる。 例えば、 VirtualHost毎にログを残す場合、VirtualHostの数が増えてくると、fdの数が足りなくなる セキュリティ的にsuEXEC環境をとらないといけなくなる DSO版phpにも対応できるように

人間とウェブの未来（旧） 「ウェブの歴史は人類の歴史の繰り返し」という観点から色々勉強しています。2014年までの人間とウェブの未来の旧ブログです。 apacheモジュールで必須のconfig構造体を作成する作業。 これは、通常1.3系ではモジュール読み込み構造体（MODULE_VAR_EXPORT等）の3番目にディレクトリ毎のconfig、5番目にserver毎のconfigを作成する関数指定する。 2系の場合は、モジュール読み込み構造体（AP_MODULE_DECLARE_DATA等）の2番目にディレクトリ毎のconfig、4番目にserver毎のconfigを作成する関数指定する。 ここで注意しなければならないのが、ｃｏｎｆｉｇを作成した後、command_rec構造体から具体的なconfの値を設定していく時の扱い方。 ディレクトリ毎に使用するconfigは、command_recに

人間とウェブの未来（旧） 「ウェブの歴史は人類の歴史の繰り返し」という観点から色々勉強しています。2014年までの人間とウェブの未来の旧ブログです。 かなり有名なmod_limitipconnですが、色々制限方法の記事をみていると、きっちりとその性能を説明できていないものが多い気がする。 あるディレクトリ以下又はファイルに対する同一IPからの同時接続数を制限するというのが、このモジュールの役目なんだが、大事なところが説明されていない。 例えば、よくある以下のような制限を行ったとする。 <Location /hoge> MaxConnPerIP 3 </Location> 多くの情報ではこの設定だと、 [warning] http://example.jp/hoge/index.cgi等、hoge/以下へのアクセスに対して、同一IPからの同時接続数を3に制限する。 [/warning] とか

人間とウェブの未来（旧） 「ウェブの歴史は人類の歴史の繰り返し」という観点から色々勉強しています。2014年までの人間とウェブの未来の旧ブログです。 ■ realpath_for_fs() [Download] ・シンボリックリンクを含んだ絶対パスを安全にrealpathに変換 しばしば、シンボリックリンクを含んだ絶対パスをシンボリックリンクを含まない絶対パス（realpath）としてみたい場合がある。 特に、apacheモジュールを実装する上で、apacheはシンボリックリンクをrealpathに解析した上で、Directiveを見てくれないため、realpathでDirectiveを書いていても、シンボリックリンク経由でアクセスがあった場合は、Direvtiveのパスは無視される。 パスのBaseネームがシンボリックリンクであれば、symlinksコマンド等で調べることができるが、絶対

人間とウェブの未来（旧） 「ウェブの歴史は人類の歴史の繰り返し」という観点から色々勉強しています。2014年までの人間とウェブの未来の旧ブログです。 apacheモジュールでプロセス間通信を行う場合、共有メモリを使ってやる手法がある。 apacheモジュールでよく使われるaprで、共有メモリ用の関数が用意されているため、実装に問題が無い以上はaprを使った方が楽だ。 では具体的な使い方を。 apacheモジュールで共有メモリを使う場合は、apache起動時のレジスターフックのpost_configのタイミングで共有メモリ領域を確保してやるといい。 後は、確保時にディレクティブ毎の共有メモリの領域を覚えておき、起動後のリクエスト・レスポンス時のハンドラーで、それぞれの共有メモリ領域を呼び出してやればいい。 まずは、グローバルで共有メモリ領域へのポインタのベースとなる変数と、共有メモリ領域を宣

人間とウェブの未来（旧） 「ウェブの歴史は人類の歴史の繰り返し」という観点から色々勉強しています。2014年までの人間とウェブの未来の旧ブログです。 apacheモジュールでプロセス間通信を行う場合に、共有メモリを使うと色々問題がでてくる。 preforkの性質上、複数のapache子プロセスがフォークされており、それらがそれぞれリクエストに対する処理を行うため、共有メモリ領域の書き込み時に衝突が起きたりして、データに齟齬が発生してくる。 それを防ぐのが排他処理だ。 今回は、aprで実装済みのglobal mutexを使って排他制御する方法を説明する。 まずは、グローバでmutexを宣言する。 #include "apr_global_mutex.h" #include "unixd.h" apr_global_mutex_t *mutex; 次に、apache起動時のpost_confi

人間とウェブの未来（旧） 「ウェブの歴史は人類の歴史の繰り返し」という観点から色々勉強しています。2014年までの人間とウェブの未来の旧ブログです。 Preface This is the distribution page for the Apache module mod_vlimit. mod_vlimit allows “Apache HTTP Server” administrators to limit the number of  simultaneous connections(exec cgi php)  from the same IP address or all to any files. If client accessese are over the limit connections, mod_vlimit return 503 error message t

人間とウェブの未来（旧） 「ウェブの歴史は人類の歴史の繰り返し」という観点から色々勉強しています。2014年までの人間とウェブの未来の旧ブログです。

人間とウェブの未来（旧） 「ウェブの歴史は人類の歴史の繰り返し」という観点から色々勉強しています。2014年までの人間とウェブの未来の旧ブログです。 Capabilityのビットの種類 プロセスに関するLinux Capabilityには4種類のビットがあり、それぞれ役割が異なる。 [note] P: Permitted E: Effective I: Inherited B: Bounding [/note] この中で、プロセスがCapabilityを必要とする操作をOSに対して要求した際、評価されるのはEビットである。しかし、Eビットを決定する過程で他のビットも利用される。 Capabilityのビットの関係 例えば、capset(2)システムコールを使う場合のビットの関係は以下のようになる。 [note] new P ⊆ old P new E ⊆ new P [/note] ここで

人間とウェブの未来（旧） 「ウェブの歴史は人類の歴史の繰り返し」という観点から色々勉強しています。2014年までの人間とウェブの未来の旧ブログです。 最近はクラウド基盤と呼ばれるオープンソースソフトウェアについて、セミナーや勉強会が盛んに行われている。 クラウド基盤とは、クラウド（コンピューティングリソースをプールしておき、必要最低限の手間で、消費者が使いたいと思ったときに、リソースをすぐにプロビジョニングできる状態）環境を構築するためのソフトウェアだ。 amazonEC2と同じような仕組みを作ることができると思ってもらえればよい。 僕自身もEC2等には非常に興味があるので、動向調査や研究の意味で勉強会にも参加したりしている。 ということで、現状のオープンソースのクラウド基盤でどういったものがあるのかを簡単にまとめようと思う。 注目されているクラウド基盤 現在、オープンソースとしてのクラウ

人間とウェブの未来（旧） 「ウェブの歴史は人類の歴史の繰り返し」という観点から色々勉強しています。2014年までの人間とウェブの未来の旧ブログです。 VirtualHost対応のために、アクセス時のホスト名とVirtualHost名をapacheモジュール内で比較させる方法がある。 しかし、これだけでは不十分で、実際にはServerAliasの設定がされているサーバーも多く、Aliasとマッチさせる必要もでてくる。 そのための関数を書いてみた。以下ソース。 static int check_virtualhost_name(request_rec *r) { int i; const char *header_name; const char *alias_name; header_name = apr_table_get(r->headers_in, "HOST"); if (strcm

人間とウェブの未来（旧） 「ウェブの歴史は人類の歴史の繰り返し」という観点から色々勉強しています。2014年までの人間とウェブの未来の旧ブログです。 ブログはかなり久々。 会社での実装でいいものが生まれたりするのが、なかなかそれを社外に公開するわけにはいかず、あまり技術的な創作物をブログに書くことができなかった。今は、会社2割大学8割のような比率で研究しているので、最近作ったpatchでも紹介する。 実装対象は、DSO版PHPなどでもsuEXECのようなアクセス制御が行えるmod_ruid2に対してpatchを書いてみた。 mod_ruid2は実装上、モジュールとしてApacheに読み込んだ場合、すべての動的コンテンツ実行時にサーバプロセスをsetuid、setgidしてしまう。しかし、ある特定の環境下では、任意の拡張子（.phpや.py）においてのみモジュールの処理を実行させたい場合があ

人間とウェブの未来（旧） 「ウェブの歴史は人類の歴史の繰り返し」という観点から色々勉強しています。2014年までの人間とウェブの未来の旧ブログです。 mod_ruid2はDSO版のPHP等を効率良くある程度安全に使うにはかなり良いモジュールである。 「ある程度」と書いたのは、それなりに脆弱性があるためで、それは今後紹介するとして今回はそこに関しては言及しない。 簡単なmod_ruid2の動作だが、preforkされているサーバプロセスに対してリクエストがあった場合、サーバプロセスそのものをリクエスト対象のファイルの権限（uidやgid等）もしくは任意 の権限に変更し、そのごリクエスト処理を行なって、最後に変更されたサーバプロセスの権限を元の権限に戻す。このあたりの細かい話はLinux Capabilityの話になってくるので省略する。 ところが、今回色々試していると、サーバプロセスのユーザ

人間とウェブの未来（旧） 「ウェブの歴史は人類の歴史の繰り返し」という観点から色々勉強しています。2014年までの人間とウェブの未来の旧ブログです。 久々のApache HTTP Server 2.4.1という安定版がリリースされたので、早速ベンチマーク評価を行う。今回はevent_mpmのExperimentがとれて、晴れてデフォルトMPMになったのでそれを使ってみたい。 日本一（ひょっとすると世界一）早いApache 2.4.1 event_mpmのレビューを意識してみた。 はじめに 個人的にも、event_mpmが採用されたことに最も注目している。event_mpmは非同期型のIO処理をしていて、nginxに近いアーキテクチャをとっている。厳密には、nginxの非同期と比べた場合、nginxは徹底的にノンブロッキング（accept4を使う等）してworkerスレッドで次々と並列処理し

人間とウェブの未来（旧） 「ウェブの歴史は人類の歴史の繰り返し」という観点から色々勉強しています。2014年までの人間とウェブの未来の旧ブログです。 前回の記事「Apache 2.4.1のスループット評価（旧ApacheとNginxとのベンチマーク比較）」を非常に多くの方に見て頂いており、こういう情報が重要なんだなぁ、としみじみ思った。多くのオープンソースを使わしてもらっているので、こういう形でフィードバックしていけたらよいな。参考にして頂いてありがとうございます。 今回は、前回の記事に続き、個人的にも非常に興味のあるApache2.4.1の「動的コンテンツのスループット」がどの程度なのかを評価したいと思う。 ※いくつかの検証を追加したのと、細かい部分で比較の仕方がよろしくなかったので修正を加えました。 ■ 修正と追記箇所（2012年3月2日） ・PHPのバージョンを5.3.10に統一（思

人間とウェブの未来（旧） 「ウェブの歴史は人類の歴史の繰り返し」という観点から色々勉強しています。2014年までの人間とウェブの未来の旧ブログです。 ソース 「スレッド単位で権限分離を行うWebサーバ上のアクセス制御アーキテクチャ」として、3月15日16日に開催されたIA/IOT/SITE/ISMS合同研究会で発表してきた。概ね、好評だったように思う。ただ、やらないといけないことはいくつかあるので、そこはこれから大学で適宜やっていこうと思う。 まずは、この論文の概要としては、 大規模Webサーバ上で大多数のユーザー（仮想ホスト）を一つのサーバで処理するようなマルチテナント環境において、ユーザー間のセキュリティを担保するためのアクセス制御を行う技術 である。（これまではsuEXECが使われていた） これは、Webサービスが高度化していく時代において、低価格化がより望まれてきており、以前に増し

人間とウェブの未来（旧） 「ウェブの歴史は人類の歴史の繰り返し」という観点から色々勉強しています。2014年までの人間とウェブの未来の旧ブログです。 mod_process_security – Apache上でスレッド単位で権限分離を行うファイルのアクセス制御アーキテクチャ（前半編）の続き。 ソース 前半編では、Apacheにおける従来のファイルのアクセス制御の問題をパフォーマンスやセキュリティの観点から説明した。簡単にまとめておくと、 従来はCGI実行方式やDSO実行方式毎にアクセス制御が存在していた煩雑 CGIはそもそもアクセス制御有無に関わらず性能が低いしプロセスの生成も大規模に適していない FastCGIはプロセスを複数起動させておかなければならないので、大規模に適していない DSOのアクセス制御は性能を優先した場合はセキュリティが弱い DSOのアクセス制御はセキュリティを優先し

人間とウェブの未来（旧） 「ウェブの歴史は人類の歴史の繰り返し」という観点から色々勉強しています。2014年までの人間とウェブの未来の旧ブログです。 2017年5月20日追記 本エントリはI/OのOperationとCompletionおよびデータ整合性を混ぜてまとめた一部誤った定義になっているので、正確な定義を日本語で知りたい方は下記にリンクしたエントリを読むことをおすすめします。 非同期とノンブロッキングとあと何か Apache2.4.1のevent_mpmやnginx及びnodde.jsのアーキテクチャを考える上で、非同期I/OやノンブロッキングI/O、I/Oの多重化に関してある程度正確な理解が必要だと思ったのでまとめておく。 ここで「ある程度」といったのは、非同期を表すAsynchronousとノンブロッキングのnon-blockingは曖昧に使われる場合が多いからだ。まず、英語の

人間とウェブの未来（旧） 「ウェブの歴史は人類の歴史の繰り返し」という観点から色々勉強しています。2014年までの人間とウェブの未来の旧ブログです。 nginx-1.0.14のソースを見ていく。非同期I/Oをどのようにくししているのか非常に興味がある。まずは、リクエストを受け取った後、どのようにファイルを非同期で読み込みそれをキャッシュとして扱っていくのか、また、非同期であることの優位性をどのように実装しているのかを紐解いていった。 まずは以下の「ngx_http_file_cache_read()」関数でキャッシュの読み込みや更新を行っている。 [program lang=’c’ escaped=’true’] static ngx_int_t ngx_http_file_cache_read(ngx_http_request_t *r, ngx_http_cache_t *c) { t

人間とウェブの未来（旧） 「ウェブの歴史は人類の歴史の繰り返し」という観点から色々勉強しています。2014年までの人間とウェブの未来の旧ブログです。 表題の通り、現行のカーネルの実装において、マルチスレッドとマルチプロセスでの実装の優位性はどういう所にあるのかを知りたい、というのが今回の調査の意図だ。 そのために、前提知識としてマルチスレッドとマルチプロセスの特徴について、カーネルのソースを見ていきたいと思う。カーネルの海に飛び込むには、やはり最新のLinux Kernel 3.3のソースを選択することにした。前置きの段階で少し長くなってしまいそうだ。ではカーネルの海に飛び込みたいと思う。 とはいっても、まずは最初の一歩が必要なので、当たりをつけようと思う。キーワードは、 マルチスレッド マルチプロセス コンテキストスイッチ メモリ空間の共有 TLB（トランスレーション・ルックアサイド・バ

人間とウェブの未来（旧） 「ウェブの歴史は人類の歴史の繰り返し」という観点から色々勉強しています。2014年までの人間とウェブの未来の旧ブログです。 といいつつも、そこまで大したことはしていない。 luaという高速に動作する組み込み系のスクリプト言語で遊んでみたかったのと、それだったmod_luaで遊んでみればいいなと思っただけである。で、実際にmod_luaをコンパイルして遊んでみた。コンパイルオプションは以下。 ./configure --prefix=/usr/local/apache2.4 --with-apr=/usr/local/apr --with-apr-util=/usr/local/apr --enable-modules=all --enable-mods-shared=all --enable-mpms-shared='prefork worker event' -

人間とウェブの未来（旧） 「ウェブの歴史は人類の歴史の繰り返し」という観点から色々勉強しています。2014年までの人間とウェブの未来の旧ブログです。 mod_lua、色々触ってみた所、すごい簡単にモジュールっぽい動きが実装できて、可読性も良くて便利。 ソース しかし、個人的にモジュール実装する時に良く使うのは、アクセスログ出力時のフック箇所（ap_hook_log_transaction)である。例えば、リクエスト毎にレスポンス処理前の最終段階であるap_hook_fixupsの段階でrusage()等でリソースの計測始めて、ap_hook_log_transactionの段階で差分を算出し、動的コンテンツ実行に利用したCPU使用時間等を計測する、といった使い方ができる。また、処理始めでカウンターを上げておいて、処理終わってログ書き込む段階でカウンター下げるといった使い方にもap_hook

Hands-on with the new iPad Pro M4: Absurdly thin and light, but the screen steals the show

メインで使用しているTwitterクライアントアプリのTweetbotがアップデートしてました。 Tweetbot ― 個性派Twitterクライアント (for iPhone) 2.2（￥250） カテゴリ: ソーシャルネットワーキング, ライフスタイル 販売元: Tapbots – Tapbots（サイズ: 10.5 MB） 全てのバージョンの評価: （806件の評価） アップデート内容 iCloud対応！ 今までもTweetMarkerに対応してたので複数のデバイスでの未読位置の管理はできたんですが、DMは同期できませんでした。 iCloud対応によりDMの既読も対応です。 嬉しいですね。 なお今まで通りTweetMakerも使用できます。 YouTubeのサムネイル表示もいい感じ それにしてもこのアプリはどんどん機能アップしていきますね。 すごいなぁ。 Tweetbot ― 個性派

3月18日にLinuxの最新版「Linux 3.3」が公開されました。今回のバージョンではAndroidプロジェクトのコードのマージが大きな特徴の1つですが、ネットワーク関係でも大きな前進がありました。1つはOpen vSwitchがメインラインにマージされ、Linux 3.3から標準サポートとなったこと、そしてネットワークインターフェイスを束ねて帯域幅の拡大を実現する「Teaming」機能が改善されたことです。 LinuxにはすでにLinux bridgeがありますが、Open vSwitchはさらに高度な機能を備えたソフトウェアスイッチとして標準サポートされるとのこと。仮想環境のソフトウェアスイッチとして普及しつつあるOpen vSwitchは、さらにその地位を固めようとしています。 なぜOpen vSwitchがLinuxのメインラインに？ ところで、なぜOpen vSwitchがL

先日リニューアルされた「さくらのVPS」でWebサーバ（LAMP）を構築した際の基本設定をテンプレートとして公開します。参考になればいいなと。 管理者アカウントの作成 # useradd -G wheel userName # passwd userName # vi /etc/pam.d/su -- 以下の行のコメントアウトを外す # auth required pam_wheel.so use_uid -- # visudo -- 以下の行のコメントアウトを外す # %wheel ALL=(ALL) ALL -- SSH設定 # mkdir /home/userName/.ssh # chown userName. /home/userName/.ssh クライアント側で公開鍵を作成し、サーバに公開鍵を転送 -- $ ssh-keygen -t rsa $ scp .ssh/id_rs

Something went wrong, but don’t fret — let’s give it another shot.

意識するしないに関わらず、思っている以上に触れることの多いOSがLinuxです。いったいこのLinuxが世界中でどれほど使われているのか、そしてどのようにして作られてきたのかが簡潔にわかりやすく示されているムービーが、The Linux Foundationによって作成され公開されています。 How Linux is Built - YouTube カタカタカタと0と1の羅列が登場して…… その中から「HOW LINUX IS BUILT」というタイトルが出現 意識していなくても、みんなLinuxを毎日使用しています。 例えば手元のスマートフォン。毎日、85万台のAndroid端末(Linuxベース)がアクティベートされています。 ちなみに、Windows Phoneは1日3万台です。 このムービーを再生してからここまででだいたい30秒弱ですが、その間に100台のAndroidスマートフォ

Tesla chief executive Elon Musk says the firm is looking to invest in India and bring the electric carmaker to the country “as soon as humanly possible.” Musk said he had a “very goo