SSHトンネリング - 気ままに書いてみました日記
お仕事でデータセンターからデータセンターへサーバのお引越しをするという作業がありました。言い換えると、あるシステム系を別のネットワークへ移行するということですが、大抵の場合はその系に収まっていない外部システムへの依存をどう処理するかが悩ましいところになります。 そこでお題の通り、SSHトンネリングを使って処理しましたというお話です。 MySQLのレプリケーションの問題 データセンターを移行する前はdb101をdb201にレプリケーションしていたので移行後も同様にしたい。 SSHトンネルを掘ってみる-1 トンネルを掘ってみたけどレプリケーションするにはdb201からdb101へ接続できなければなりません。 SSHトンネルを掘ってみる-2 デキた！と思ったら監視の都合でgw101からトンネルを掘ってねと。。 SSHトンネルのRで張ればいいのか。。 ただし、sshd_configの設定が必要とな
さくらVPSにSubversionとTracをインストール。 - 気ままに書いてみました日記
自宅サーバではバックアップはかなり適当な感じだったので、しこしこ書き溜めているソースの管理はさくらのVPSに移した。月額980円の年間1万ちょっとで安心が買えるのはとても安いと思った。メモリが512Mのプランなので他にはネームサーバとかを移したぐらい。 以下はコマンドの発行手順。自宅サーバから手軽にチェックアウトしたいというような場合は秘密鍵をほげほげして.bashrcに「export SVN_SSH ...」を記述してみたいな感じの作業があった。備忘録。 git、使えるようにならないといけないな。めんどくせ。 tracのインストール方法 useradd taro groupadd svn ##wget http://pypi.python.org/packages/2.4/s/setuptools/setuptools-0.6c11-py2.4.egg ##sh setuptools-0
MySQL Spiderエンジンを使ってみた。〜データベースシャーディング(sharding)とは〜 - 気ままに書いてみました日記
もしかしたら使うかもしれないので調べてみた。 shard 日本語に訳すと(ガラスや貝殻の) 「破片」といったような意味 データベースをshardに分解して複数のサーバに分散して運用するのがDB sharding データベースパーティショニングとも言えるのかしら？ 単一のサーバのDBテーブルを複数のファイルに分割するのをパーティショニングとも呼ぶが、「パーティショニング」という言葉を使ってDB shardingのことを言っているブログ等もちらほら見かけます。 より突っ込んでみたい人は「shared nothing」でぐぐってネ。 なぜデータベースを分散処理するのか 横軸にはサービス運用開始からの時間経過を設定し、縦軸には「DBの応答時間」、「DBへの問い合わせ数」、「DBサイズ」の各数量をとります。サービスが順調に利用されていっているものとし、「DBサイズ」や「DBへの問い合わせ数」は時間経
コイン投げの正規分布 - 気ままに書いてみました日記
「完全独習 統計学入門」小島寛之 著をお勉強中で、下記のような命題を実際に検証してみた。 コインをN枚同時に投げて(あるいはN回続けて投げて),そのうち何枚が表になったかをデータとして記録する。この作業を膨大に実行して、表の枚数Xの出た相対度数のヒストグラムを作ると、それは近似的に、平均値がN/2、S.D.が√N/2になる perlでスクリプトをかいてそれをグラフにしてみました。スクリプトで出力したのは同時に100枚投げて表になった枚数をkeyにして10万回繰り返した分布をvalueにいれたハッシュです。結果はエクセルで分析しました。 use strict; use warnings; use GD::Graph::bars; use Data::Dumper; my $N = 100; my %distribution; for ( 1 .. 100000 ) { my $num_of_
Time::Piece(Time::Seconds)のONE_MONTHでうっかりやってしまった - 気ままに書いてみました日記
「2011-10-01 00:00:00」の一ヶ月前のTime::Pieceオブジェクトを取得したいというような場合に「$t -= ONE_MONTH」みたいなコードを書いたら意図しない結果になってしまった。詳しくはhttp://blog.clouder.jp/archives/000409.htmlに書いてある通り。以下はよろしくないサンプルとそれの代替となるコード。 use strict; use warnings; use Time::Piece; use Time::Seconds; use Perl6::Say; for my $month ( 1 .. 12 ) { my $date = sprintf "2011-%02d-01 00:00:00", $month; my $t = Time::Piece->strptime( $date, '%Y-%m-%d %H:%M:%
mysqlサーバを複数インスタンス立ち上げる - 気ままに書いてみました日記
レプリケーションの練習をしたいとか、spiderエンジンを試してみたいとかの動機があったので複数のmysqlサーバが必要となった。使わなくなって久しいPentiumのPCをサーバにするとかも考えたけれど面倒なのでMacのvmwareでなんとかしようと思ったが２Gのメモリだと複数の仮想サーバはやはりつらい。何とかならないかと思っていたところに１つのホストで複数のインスタンスを立ち上げる手法があったのでちょっと調べてみた。 2013-05-07追記 最近のmysqlの環境構築は以下の２つがよいかなと思ってます。 ＜＜MySQL Sandbox＞＞ 簡単に複数の検証用環境を立ち上げることができます。 CPANからインストールできる。(http://search.cpan.org/~gmax/MySQL-Sandbox-3.0.17/lib/MySQL/Sandbox.pm) Perlerでない場
CentOS5.6でMySQL5.5.15をソースからインストール - 気ままに書いてみました日記
文字コード関連での追記あり cmakeが必要になるのでインスコ http://www.cmake.org/cmake/resources/software.htmlからソースをダウンロード ./bootstrap make make install mysqlのインストール WEB上のマニュアルは下記リンク http://dev.mysql.com/doc/mysql-sourcebuild-excerpt/5.5/en/installing-source-distribution.html ソースを解凍した中のINSTALL-SOURCEというドキュメントの2.9章にも同様の内容が書いてある。 groupadd mysql useradd -r -g mysql mysql tar zxvf mysql-5.5.15.tar.gz cd mysql-5.5.15 cmake . (もしく
AnyEventサンプルその６ - 気ままに書いてみました日記
AnyEvent::JSONRPC::Liteから要点を抜き出す。サーバ内部のcondvarをrecvしている箇所。 サーバ側 use strict; use warnings; use AnyEvent; use AnyEvent::Handle; use AnyEvent::Socket; use Data::Dumper; tcp_server '127.0.0.1', 8888, sub { my ($fh) = @_ or die; my $handle = AnyEvent::Handle->new( fh => $fh, on_error => sub { shift->destroy; warn "ON ERROR $!"; }, on_eof => sub { shift->destroy; warn "ON EOR $!"; }, ); $handle->on_read
AnyEventサンプルその５ - 気ままに書いてみました日記
AnyEvent::Handleの扱いに苦労した。 ioやtimerのヲチャー変数のようにundefでも行けた。参照カウントが残っているとどうもよくないのかしらね。AnyEvent::JSONRPC::Liteでもweaken $handleとやっている部分がどうも今ひとつ理解できずにいたのだが、大事だよということはよくわかった。 サーバ側 use strict; use warnings; use AnyEvent; use AnyEvent::Handle; use AnyEvent::Socket; use Data::Dumper; tcp_server '127.0.0.1', 8888, sub { my ($fh) = @_ or die; my $handle = AnyEvent::Handle->new( fh => $fh, on_error => sub { shi
AnyEventサンプルその４ - 気ままに書いてみました日記
いろいろと書き方がある？ので苦労する。$handle->destroyするということはソケット接続を切るということでもあるので、どの時点できるのかをきちんと通信を頭の中に思い浮かべないといけない。 サーバ側 use strict; use warnings; use AnyEvent; use AnyEvent::Handle; use AnyEvent::Socket; use Data::Dumper; $|++; tcp_server '127.0.0.1', 8888, sub { my ($fh) = @_; my $handle = AnyEvent::Handle->new( fh => $fh, on_error => sub { shift->destroy; warn "ON_ERROR $!" }, on_eof => sub { shift->destroy; wa
AnyEventサンプルその３ - 気ままに書いてみました日記
AnyEvent::HandleやAnyEvent::Socketを使う。今回はtelnetを使わないでtcp_connectを使ってみた。 サーバ側がエコーバックする時に改行文字を入れないとデッドロックしてしまう部分ではまった。line形式のデータのやり取りでは改行が必須なのかな。 サーバ側 use warnings; use AnyEvent; use AnyEvent::Handle; use AnyEvent::Socket; use Data::Dumper; tcp_server '127.0.0.1', 8888, sub { my ($fh) = @_ or die; my $handle = AnyEvent::Handle->new( fh => $fh, on_error => sub { shift->destroy; warn "ON ERROR $!" }, o
AnyEventのサンプルその２ - 気ままに書いてみました日記
AnyEvent::Handleを使って対話するサーバを書く サーバを立ち上げてtelnetでアクセスすると名前を聞かれるので答える。次に年齢まで聞いてくるので答えます。それで対話が終了しサーバの方から接続を切ってきます。味噌はIO監視の中でさらに監視をしているというところなのだが、本当に問題のない書き方なのかが少し心配。。 use strict; use warnings; use AnyEvent; use AnyEvent::Strict; use AnyEvent::Handle; use AnyEvent::Socket; $|++; my $cv = AE::cv; tcp_server '127.0.0.1', 8888, sub { my ($fh) = @_ or die; my $handle; $handle = AnyEvent::Handle->new( fh =
AnyEventのサンプル - 気ままに書いてみました日記
最近何も書いていなかったのでAnyEventの復習でお茶を濁す。 AnyEvent::Introにも載っているサンプル。 普通に標準入力からの入力を待ち受けるスクリプトとどう違うの？というような疑問を持ってしまうサンプル。 use strict; use warnings; use AnyEvent; use AnyEvent::Strict; $|++; print "Enter Your Name: "; my $cv = AE::cv; my $watcher; $watcher = AnyEvent->io( fh => \*STDIN, poll => 'r', cb => sub { my $str = <STDIN>; chomp $str; undef $watcher; $cv->send($str); } ); print $cv->recv, "\n"; AnyEve
ソーシャル・ネットワークを見た。 - 気ままに書いてみました日記
仕事柄のせいか見ることにためらいはなかった。何事もきっかけは女の子に振られたとか、そういうことなのかなと今更ながらに思う。時流に乗って一気呵成に物事を進めるというのもアリなんだよなぁ。。 一番ずっしりと来たのはハーバードの学長(サマーズ？)が「ハーバードの学生は雇われるのが仕事ではなく、仕事を創造するのが仕事だ。」と言っていたところ。 アメリカ発のWEBサービスは基本的にグローバルがターゲットとなっているが、これは英語という要因も大きい。だけれど、WEBサービスの全てが必ずグローバルでなければいけない理由というのもないし、これからはローカルなサービス(日本語圏だけとか)がさらに成長していくような気がする。梅田さんの最近の新書「ウェブで学ぶ ――オープンエデュケーションと知の革命 (ちくま新書)」を読んで、その予感が深まっている。 2011年から数年は世界で大きく物事が動いていきそうな予感が
AnyEvent::JSONRPC::Liteを使う。 - 気ままに書いてみました日記
JSONRPCサーバを立ててクライアントからのリクエストを非同期で返したいという課題 サーバのスクリプトは以下の通り。 use strict; use warnings; use AnyEvent::JSONRPC::Lite; use Data::Dumper; my $cv = AE::cv; my $server = AnyEvent::JSONRPC::Lite::Server->new( port => "12345" ); $server->reg_cb( echo => sub { my ( $res_cv, @params ) = @_; if ( $params[0] eq "call_2" ) { for my $dummy ( 1 .. 100000000 ) { } } $res_cv->result(@params); }, ); $cv->recv; クライアン
AnyEvent::Handleのドキュメントを日本語訳に。 - 気ままに書いてみました日記
キューの理解とか、イベントループの理解とかまだまだ浅いのが日本語にも出てしまっているかもしれませんが、一助となれば幸いです。誤訳はあると思うので、元のサイトも確認してネ。文書の整形はこれからしていきます。 http://search.cpan.org/~mlehmann/AnyEvent-5.29/lib/AnyEvent/Handle.pm AnyEvent::Handle 非ブロッキングIOストリームハンドル DESCRIPTION(要約) ストリームのファイルハンドルにおけるイベントベースのIO操作を簡単にする ためのヘルパーモジュールです。 AnyEvent::Introに格好のサンプルが掲載されています。 以降において"byte"といった場合、それは「文字」のことを指しています。 「sysread」と「syswrite」が全てのIOに使用されています。 このモジュールではsysr
「ウェブで学ぶ」を読了 - 気ままに書いてみました日記
ウェブで学ぶ ――オープンエデュケーションと知の革命 (ちくま新書)posted with amazlet at 10.11.27梅田望夫 飯吉透 筑摩書房 売り上げランキング: 1310 Amazon.co.jp で詳細を見る 久々に梅田さんの本を読んだ。「ウェブ進化論」で有名になってその後、表舞台からは一線を引いていた印象があったので気になっていた。 自分の職業がプログラマということもあり、ITに関しては常にアンテナを張っているのでこの本に書いてあったことは割と予想の範囲内というかそんなところだった。 ただ、次の10億人とか20億人に向けたITサービスというくだりはハッとさせられた気がする。ふとアルビン・トフラーの「富の未来」が思い浮かんだ。10年後、20年後の人の価値観はもしかしたら劇的に変化しているのかもしれない。
ある期間の日数を求める - 気ままに書いてみました日記
Date::CalcモジュールのDelta_Days関数を使う。 普通の感覚なら2010年は1/1〜12/31のことで、365日あるものと思う。 プログラムでは都合上最後にインクリメントしないといけない。 use strict; use warnings; use Date::Calc qw/Delta_Days/; my @from = qw/2010 01 01/; my @to = qw/2010 12 31/; my $dif = Delta_Days(@from, @to); print ++$dif;
jQuery 1.4.2のスケルトン - 気ままに書いてみました日記
本当は要点となる部分をサクっと把握できればいいのだろうけど、地道に作業してみた。約6000行を400行にした。 (function(window, undefined){ var jQuery = function(){ return new jQuery.fn.init(); }, _jQuery, _$, document, rootjQuery, quickExpr, isSimple, rnotwhite, rtrim, rsingleTag, userAgent, browserMatch, readyBound, readyList, DOMContentLoaded, toString, hasOwnProperty, push, slice, indexOf; jQuery.fn = jQuery.prototype = { init : function(){}, sel
xamppにImageMagick (Imagick)を入れる - 気ままに書いてみました日記
ImageMagickのソースコードのダウンロードはこちら Windows Binary Release php_imagick.dllのダウンロードはこちら VC6 Windows binaries for imagick 2.3.0 ImageMagickは「Win32 dynamic at 16 bits-per-pixel」をダウンロードした。オプション選択は特に触っていない。デスクトップ上にショートカットはいらないからそのチェックを外しただけ。PATHは必要。 php_imagick.dllはTS(Thread Safe)をダウンロード。xamppを普通に入れてphpinfoの「PHP Extension Build」を情報を確認すべし。 OSはWindowsXP(32bit)、Windows7(64bit)、WindowServer2008評価版32bit(仮想環境)の環境で試
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
