Kazuho@Cybozu Labs: リモートからXenのDomUとかLVMやファイルを差分バックアップするスクリプトを書いた
月曜から XenServer の運用を始めたんですが、以下のような要件のバックアップツールがほしくなりまして。ちょっと調べた範囲で見つからなかったので、書いてみました。 スナップショットによる無停止でのバックアップ 差分／多世代バックアップが可能 ネットワーク越しにプルベースでバックアップが可能 元々は去年書いたバイナリファイルの差分バックアップスクリプト (データベースの差分バックアップとウェブサービスのお引っ越し)。これを拡張して、LVMを操作したり、バージョン番号を自動採番するようにしたり、ssh経由での転送機能をつけたりした感じです (ディスクは遅いからギガイーサなら over ssh でも問題ない)。 詳しいことを知りたい人にはソースコードを読んでいただくとして (といっても300行ちょい)、たとえば XenServer 上の DomU のバックアップを取るなら、サーバ上で xe
Afficheur - マイクロブログを愛する全ての人に
Afficheurは、Twitter, Jaiku等に投稿する Mac OS X（10.4 to 10.6）で動くマルチキャストツールです。 Afficheur プロジェクト 7つのサービスに対応 Afficheur が対応しているのは Twitter や Jaiku だけではありません。国内サービスの Wassr、海外サービスの identi.ca、Jisko、FriendFeed、facebook にも対応しています。また URL をリンクとして Tumblr にポストすることもできます。 もちろんこれらのサービスは自由にポスト先を選択できます。 いつでも気軽にポスト 思い立ったとき、すぐにポストしたくありませんか？ Afficheur なら設定したホットキーを入力するだけでポストウィンドウが開きます。 またポスト後は自動で消えますので、気軽にポストする事ができます。 ポストするだけで
FeedBurnerやTwitterFeedを使っていると元のURLにutm_sourceなどのパラメータがついてしまうことがある - F.Ko-Jiの「一秒後は未来」
Top/RSS/FeedBurnerやTwitterFeedを使っていると元のURLにutm_sourceなどのパラメータがついてしまうことがある 変なパラメータというか Google Analytics 用のパラメータのようですが。 たとえば ネタフル のフィード http://feeds.feedburner.jp/netafull がクリックトラッキングを使っているようなので、その記事の中から http://feedproxy.google.com/~r/netafull/~3/gpDgc0BxDsA/032672.html を開いてみると、 http://netafull.net/moblog/032672.html?utm_source=feedburner&utm_medium=feed&utm_campaign=Feed%3A+netafull+([N]%E3%83%8D%E
Apache module mod_rewrite
URL を操作するためのスイス製のアーミーナイフ、mod_rewrite へようこそ! このモジュールは、（正規表現パーサに基づく）ルールベースの 書き換えエンジンを使い、要求された URL を適宜書き換えます。 サポートするルールの数、および各ルールを適用する際のルール条件 の数に制限はなく、本当にフレキシブルでかつパワフルな URL 操作 メカニズムを提供します。この URL 操作に先立ち、次のようにいろいろな 評価を行なうことができます。たとえばサーバ変数、環境変数、HTTP ヘッダ、 タイムスタンプ、さらに外部データベースの検索結果までを評価の対象として、 各種のフォーマットを使った粒度の高い URL マッチングを実現できます。 このモジュールは、サーバ単位のコンテキスト (httpd.conf) およびディレクトリ単位のコンテキスト (.htaccess) において (PATH-
CGI: url-encode : mod_rewrite - lethevert is a programmer
CleanでCGIを作っているのだけれど、あるURLを入力すると、400 Bad Requestになってしまって接続できないという現象がおきて困っている。 どうも、mod_rewriteを経由するとおこる現象のようで、書き換え後のURLを直接入力すると、エラーはおこらない。 問題が起きるURLは次のようなもの。 http://localhost:8080/view/aa%25a/ http://localhost:8080/view/aa%25&aa/次のは起きない。 http://localhost:8080/view/aa%25aa/非常に微妙な状況である。 いろいろ探していて、関連しそうな記事を見かけたのでリンクしておく。 http://www.issociate.de/board/post/274279/mod_rewrite:__20_-%3E_space_-%3E_400_Ba
mod_rewriteメモ|情報備忘録
[forbidden|F] URLを強制的にアクセス禁止にする。レスポンスコード403が返される。 RewriteCond といっしょに使うと良いらしい。 [gone|G] URLを強制的に消去済み(gone)にする。 レスポンスコード410が返される。 移転も代替コンテンツもない場合に使うっぽい。 [proxy|P] Apacheにプロキシモジュールが組み込まれていることが条件。 ちょっと気になるフラグ。 どうも外部のコンテンツを返すことができるっぽい。 そのうち調べてみたいです。 [last|L] これもよく見かけますね。 ここで書き換え処理を中止し、それ以上の書き換えルールを適用しないようにする。 [next|N] よくわかりません。 [chain|C] よくわかりません。 [type|T=MIME-type] MIME type の強制指定。ターゲットファイルの MIME タイプを
UbuntuTips/Others/MagicSysRq - Ubuntu Japanese Wiki
対象とするUbuntuのバージョン すべて 原文 PmDematagodaが公式フォーラムに投稿した、"MagicSysRq keys for assistance with Ubuntu troubles"（2008/01/19時点の内容） はじめに SysRqキーは他のキーと組み合わせて使うことで、さまざまな低レベルコマンドをシステムの状態に関係なく実行することができます。ただし、Linuxカーネル自身がカーネルパニックを起こしていたり、フリーズしている場合は利用できません。Xサーバのフリーズ状態から復帰する場合や、ファイルシステムを破壊することなくコンピュータを再起動する際によく使われます。 フリーズしたUbuntuを安全に再起動するには Ubuntuがフリーズし何もできなくなったとしましょう。可能な限りHDDにダメージを与えたり、データをなくすことなく、きれいにOSを再起動したい場
blog.katsuma.tv
久々のBlog更新、というわけでリハビリがてらJavaScriptで軽く遊んでみたいと思います。 いま、巷で流行ってるMapReduceのオープンソース実装Hadoopは「Hadoop Streaming」という標準入出力でデータのやりとりができる仕組みを使って、 Hadoopの実装言語であるJavaにとらわれず、RubyやPerlなど他の言語でもMap＋Reduceの処理ができることが１つのウリになっています。 で、僕たちwebエンジニアはみんなJavaScript大好きなので、「JavaScriptでもMap Reduceやりたい！」という流れになるのは必然です。 そこで、試行錯誤でいろいろ試してみると割とさっくり出来たのでそのメモを残しておきたいと思います。 環境の整備 Mac OSX上のVMWare FusionにCentOSの仮想マシンを２台立ち上げて、環境セットアップしました。
@Messagesの仕様をちょっと変更, mod_rewriteで置き換えた文字列をエスケープする - #3(2008-01-18)
■ [Q3] @Messagesの仕様をちょっと変更 @Messagesがバックグラウンドスレッドから（つまり自動振り分けから）呼び出された場合に、デッドロックを回避するために、コンテキストアカウント以外のアカウントのメッセージを取得できないようにしました。 ■ mod_rewriteで置き換えた文字列をエスケープする mod_rewriteで以下のようなルールを定義してパスをクエリパラメータに置き換えたとします。 RewriteRule ^(.*)$ test.cgi?value=$1 [L] ここで、http://example.com/Test%2BTestにアクセスするとCGI側からvalueの正しい値が取れず、「Test Test」になってしまいます。これは、mod_rewriteがマッチさせる前にURLを「Test+Test」にデコードするためで、この結果$1には「Test+T
SWF Editor for PHP - Yoya Wiki
2024-03-12 WebP MenuBar2024-03-11 Random2024-03-09 DMARC2024-03-07 VGMPlay RAW ZIP2024-03-05 CVE-2023-4863 CVE SNES2024-03-04 NewsSharing FakeNews2024-03-02 LCH Lab Food Castella BitNet2024-03-01 HSL HSV ColorSpace p5-SWFEditor (perl 拡張) https://github.com/mix3/p5-SWFEditor メモ http://www.adobe.com/devnet/swf/ 公式 SWF仕様書 http://www.m2osw.com/swf_alexref.html 非公式 SWF 解析結果 リリース予定と変更履歴 http://sourcefor
mod_rewrite の RewriteMap の Apache 内部関数の使い方 - @kyanny's blog
mod_rewrite には RewriteMap というディレクティブがある。その名の通り、ある入力パターンを対応する値と置き換えるもので、外部のプログラム (rewrite.pl みたいな）を指定して使うことが多かったけど、 Apache 内部関数というのも指定できる。 # 内部関数 MapType: int, MapSource: 内部 Apache 関数 ソースとして、内部 Apache 関数を使うこともできます。 現時点ではエンドユーザが自分用に独自のものを作ることはできませんが、 以下のものが用意されています。 * toupper: 見つかったキーをすべて大文字に変換する。 * tolower: 見つかったキーをすべて小文字に変換する。 * escape: 見つかったキーの中の特殊文字を 16 進エンコーディングに変換する。 * unescape: 見つかったキーの中の 16
rootのパスワードが必要なスクリプトを書く場合の注意点 - スコトプリゴニエフスク通信
MySQLのrootユーザーのパスワードが必要なスクリプトを書く場合、 #!/bin/bash mysqladmin -uroot -ptiger ping のようにスクリプト自体にパスワードを書くのではなく、rootのHOMEディレクトリの.my.cnf(/root/.my.cnf)の中にパスワードを書き、rootユーザにしか読めないように600にしておく。 # cat > /root/.my.cnf [client] user = root password = tiger [mysqladmin] user = root password = tiger # chown root:root /root/.my.cnf # chmod 600 /root/.my.cnf と、ここまではいいのだが、テストとして、 $ sudo mysqladmin ping mysqladmin: co
実録、ほぼ無停止なMySQLのフェイルオーバ (動画もあるよ) - （ひ）メモ
レプリケーションしてるMySQLで、マスタやスレーブが障害停止した場合のリカバリプラン でも掲げたゴールである、「マスタが落ちてもぐーすか寝ていられるようにしたい」がほぼできたので、ほとんどサービスが停止することなく、フェイルオーバする様をスクリーンキャストに収めました。 埋め込みプレイヤーだと、小さくてわからないと思うので、リンク直接でみてください。 http://www.irori.org/pub/mysql-mm.mov 登場するホスト 登場するホストは2台、db901とdb902です。 最初は、db901が更新系クエリを受けるプライマリでdb900の浮動IPアドレスを持っています。 画面分割 画面は5分割しています。 左上 = 「select sysdate(),@@server_id」をdb900に対して(sleep 1しながら)延々と実行しまくりんぐ 右上 = ping -n
Git初心者が絶対に覚えておくべきコマンド - idesaku blog
Gitの使い方を覚えるにあたって、まず知っておきたいのは――git-cloneだのgit-commitだのは当然として――「操作をミスったときにどのように回復するか」である。それを実現するのは、次の３つのコマンドだ。 git-commit --amend git-reset git-reflog git-commit --amend あるファイルをコミットしたとしよう。 $ (edit...) $ git commit -am 'メッセージ生成処理を実装したよ。'しかし、しばらくして彼は気づいた。 def create_massage(param) ...typoしてる！massageじゃない、messageだ！マッサージを作ってどうする！ 慌てるな。まずは直してステージに上げるんだ*1。 def create_message(param) ...$ git add .そして…。 $ gi
SSLの脆弱性でTwitterのパスワード入手に成功
研究者がSSLの中間者攻撃の脆弱性を悪用し、他人のTwitterパスワードを入手することに成功したと発表した。 SANS Internet Storm Centerや米IBM傘下のセキュリティ企業Internet Security Systems（ISS）のブログによると、TLS／SSLプロトコルに中間者攻撃の脆弱性が見つかった問題で、研究者がこの脆弱性を悪用してTwitterのログイン情報を盗み出すことに成功したと発表した。 脆弱性はTLS／SSLのリネゴシエーションの過程に存在し、理論的には中間者攻撃によってHTTPSセッションにデータを挿入することが可能になるとされていたが、当初の情報では実際に悪用するのは難しいと見られていた。 しかしISSなどによれば、研究者はこの脆弱性を突いて被害者がTwitterサーバに送ったHTTPパケットにアクセスし、パスワードなどのログイン情報を取得する
TRAVATAR
一覧 2011/12/16TRAVATAR サービスを終了いたしました 2011/11/16TRAVATAR サービス終了のお知らせ 2010/06/18バージョン1.2.0をリリースしました 2010/02/12バージョン1.1.2をリリースしました 2009/12/18バージョン1.1.1をリリースしました 2009/12/10バージョン1.1をリリースしました 2009/11/29MA5にて優秀賞を受賞しました！
[Scala]Scalaでeval - t2ru's blog
Rubyのように文字列をScalaスクリプトとしてプログラム内でevalする方法。 scala-compiler.jarの中にscalaインタプリタが使っているクラスInterpreter(そのまんま)があるので、これでevalできる。 package jp.hogehoge import scala.tools.nsc._ import scala.util.DynamicVariable class Evaluator { val i = new Interpreter(new Settings(null)) def eval(line: String): Any = { i.interpret("jp.hogehoge.Evaluator.result.value = " + line) Evaluator.result.value } } object Evaluator { va
![[Scala]Scalaでeval - t2ru's blog](https://cdn-ak-scissors.b.st-hatena.com/image/square/8d396c488df0a0267bbd6c1f01ced31085014111/height=288;version=1;width=512/https%3A%2F%2Fogimage.blog.st-hatena.com%2F11696248318754040300%2F11696248318754040387%2F1369846013)
なんか Go で書くのが流行ってるみたいなので - moriyoshiの日記
追記:「kzk's blog」の「Writing TokyoCabinet wrapper for Go language」で紹介御礼。この記事は cgo を使った TokyoCabinet のラッパーの書き方を解説しているので、下記のコードと組み合わせて本当に tc が backend になっている KVS を書いてみるのもよいかも。 『早速 Go 言語を試してみる！』とか。 『Go で無駄にチャンネルを使ってクイックソートのようなものを書いてみた』とか。 こちらはというと、試しに memcache バイナリプロトコルで通信する KVS もどきを書いた。 サーバのイベントループで go すれば全部済むのが楽ちんですね。 追記: HandleConn() の中で、backend_ch を backend との送信と受信両方に使っていたのだけど、ここにあるように、まったく誤りだということが分
oinume journal
Raycastを使い始めて1年経ったので、どういうことに使っているかを振り返ってみる。去年書いた AlfredからRaycastに移行した - oinume journal の記事から少し使い方が変わっているところもあるのでメモがてら。 基本的な使い方 Cmd + QをRaycast起動のショートカットとして割り当てている。Pro版は使っていないのでAI機能などは使ったことがない。 ブラウザのブックマーク検索など、よく使うけどHotKeyを割り当てるほどでもないRaycastコマンドはbmのようにAliasを設定している。 Cmd + QでRaycastを起動してbmと入力するとブックマークの検索ができるので楽ちん アプリケーションランチャー機能 アプリケーションを起動するときのランチャーとして使っている。よく使うアプリにはHot Key(ショートカット)を割り当ててる。 Clipboar
Text::MicroTemplateで遊ぶ : As Sloth As Possible
こないだ言ってたPlackアプリのサンプルでは、出来るだけ普段使ってない構成にしようと目論んでて、そのために例えばテンプレートエンジンにはText::MicroTemplateを使ってみたりしている。 Text::MicroTemplateはシンプルで軽くてなかなか良かった。ちなみにこんな感じで使う。 use Text::MicroTemplate qw(:all); my $html = render_mt('Hello, <?= $_[0] ?>', 'faultier')->as_string; でもファイルから読みたいよねーそれ実装しなきゃなのかなーとか思ってたらちゃんとText::MicroTemplate::Fileってのがあって、こっちを使えばキャッシュも使ってくれるしラッパーの機能とかもあるしで素敵だ。 ?# hello.mt Hello, <?= $_[0] ?> use
「Plackで一発ネタは俺に任せろ！」ﾊﾞﾘﾊﾞﾘ「やめて！」 : As Sloth As Possible
タイトルからして既に残念な感じが漂ってるけど、前回の記事で言った通りPlackでアプリを作ってみようと試行錯誤中。ちなみにこないだサーバをApacheからnginxに変えたついでにHTTP::EngineのアプリもFastCGIで動かすようにしたので、PlackのアプリもFastCGIで動かしてみた。設定はこんな感じ。 # app.psgi use NetaKit::TweetProxy::App; use Plack::Builder; builder { #mount '/baritter' => builder { NetaKit::TweetProxy::App->new->to_app; #}; }; #!/usr/bin/env perl # bin/fcgi.pl use strict; use warnings; use File::Spec; use FindBin qw
nabokov7; rehash : コーダーとかマークアップエンジニア、そしてデザイナの領域について
November 08, 200903:01 カテゴリサービス作りの話 コーダーとかマークアップエンジニア、そしてデザイナの領域について HTMLコーダーとかマークアップエンジニアのキャリアパスについて 言いたいのは、HTMLとCSSしかできない人の価値はこの先低くなっていくよねって事です（人材的な意味で）。 デザイナとコーダー(マークアップエンジニア) の仕事についてこの間同僚の人達と話す機会があったんですが、僕的に驚いたのは最近のwebデザイナってコーディングも出来るのが普通らしいってことでした。え、そうだったんだ ? 僕は約4年前にこの会社に転職してきました。前も似たような仕事はしてたんですが、そこではマークアップエンジニア的な職種はなく、デザイナがツールで画像を切り出したり、(table タグが何重にもなった) html を書き出して、それにプログラマが動きを与える、という進め方が
nabokov7; rehash : key-value store に特化したWAFとか、key-value store のみでランキングを効率よく管理する方法とか
November 15, 200912:12 カテゴリプログラミングネタ key-value store に特化したWAFとか、key-value store のみでランキングを効率よく管理する方法とか 同僚が新しい WAF(Webアプリケーションフレームワーク) を作っていて、その中で使うデータクラスの O/Rマッパーを何にするかで迷っているようだったので、こう叫んでおいた (心の中で)。 O/Rマッパーなど、SQLもまともに扱えない軟弱者があみだした不格好な補助輪にすぎない ! Webアプリケーションが重い理由の8割はO/Rマッパーのせいだ ! 漢なら SQL 直書きが当たり前 ! そうでなければ時代の流れに沿って key-value store 専用に設計すべき ! まあそんなこと言っても、現実には作業効率とか考えたら使うけどね、O/Rマッパー。 そんなことより、key-value
第25回 Rackとは何か（3）ミドルウェアのすすめ | gihyo.jp
前回、前々回の記事では、Rackの生まれた背景、Rackとは何か、実際にRackアプリケーションを作る際に使えるものをご紹介しましたが、もう一つまだ説明していない重要な要素がRackにはあります。今回は、そのミドルウェアという仕組みについてご紹介します。 ミドルウェアとは ミドルウェアとは何かを一言で言うと、「別なアプリケーションをラップして、リクエストやレスポンスを加工したり、処理を切り換えたりするRackアプリケーション」です。 この仕組みがあることで一体何ができるのでしょうか。Webアプリケーションを作っていると、リクエストやレスポンスをアプリケーションに行く前やアプリケーションの処理の後に加工したくなることはよくあります。例えば、条件に応じてURLの書き換えをしたり、エンコーディングの変換をしたり、Cookieの処理をしたり…といったことが日常茶飯事です。こういう処理を、サーバと
nginxとUnicornでRackアプリを動かす : As Sloth As Possible
どうやらUnicornというのが良いらしいという噂を聞きつけたので、どんなもんじゃろと試してみることにした。 Route 477 - 大規模Railsサイトのための新しいHTTPサーバ、Unicorn Unicornてのは何者なのかと言うと、Rack及びRailsに対応したRubyのWebアプリ用のHTTPサーバ。詳しくは上の記事を読んで下さい。githubでも使ってるそうだ。あと、名前が格好良い（あんまり関係ない）。 まずはunicornの設定 と言っても、gem install unicornしてconfig.ruがあるディレクトリでunicornコマンドを叩けば、thinとかと同じようにサーバが起動する。rackup互換のオプションも付いてるので特に悩むこともないと思う。あとは普通にApacheとかでプロキシの設定してやるなりなんなりすればすぐ使える。 それだけだと大して面白くないの
Route 477(2009-11-10)
■ [ruby] 大規模Railsサイトのための新しいHTTPサーバ、Unicorn githubの中の人が、ブログで「Unicorn使い始めて一ヶ月くらい経つけどいい感じだよ」と書いています。 適当に要点だけ拾ってみました。 Unicornって何よ？ UnicornはRubyのためのHTTPサーバ。MongrelやThinのようなものだけど、全く違う設計と思想を持っている ありがちな構成 [mongrel] [mongrel] .. [nginx] -> [haproxy] -> [mongrel] [mongrel] .. [mongrel] [mongrel] .. 問題点: あるactionの処理に60秒以上かかったとき、Mongrelが当該スレッドをkillしようとして固まることがある メモリが一定量を超えたときMongrelを再起動するのが遅い。 デプロイ時に9個のmongre
HTML::Element と HTML::TreeBuilder で盆栽 - @kyanny's blog
HTML::Element とか HTML::TreeBuilder で HTML 構文木をいじることを盆栽と呼ぶらしいですが、最近よく盆栽してていろいろ覚えたことがあるのでメモ。 as_HTML() で HTML エンティティに変換させない HTML::Element#as_HTML を呼ぶと HTML 文字列が返るのだけど、これを引数なしで呼ぶと "all unsafe characters" が HTML エンティティに変換（エンコード）される。これは普通あまり望ましくないので（変換などせずそのまま出して欲しいことのほうが多い）、それを回避するには my $html = $elem->as_HTML('');と、空文字列を渡してやる。 HTML::TreeBuilder のインスタンスに対して as_HTML() を呼ぶと タグをつけられてしまう これはサブクラスの HTML::Tr
「ふたり暮らしのお部屋」グランプリ！
※ご応募頂いた画像は、審査のうえ掲載させて頂いております。 ※画像をクリックすると、拡大画像とコメントをご覧頂けます。
心から薦められる商品・サービスしか開発しない
飲食店などで働くアルバイトの勤怠管理サービス「CiFTR（シフター）」をSaaS（ソフトウエア・アズ・ア・サービス）型で提供するワイアード。主に小規模店舗向けにサービスを展開してきた。約1年がたった今、大手企業による大規模導入も決定したという。「初心を忘れず、心から薦められるサービスを開発したい」と語る石原明彦社長に、事業への取り組み姿勢など聞いた。（聞き手は島田 昇＝日経コンピュータ） CiFTR（シフター）はどのようなサービスか。 店舗の運営者が、アルバイトやパートタイマーの勤務時間を管理するためのSaaS型サービスだ。アルバイトなどがまず、勤務時間をPCや携帯電話から申請する。店舗運営者は、そのデータを元にPC上でシフト表を作成する。店舗運営者は、入力ミスが軽減され作業時間が短縮できる。アルバイトの人たちは、勤務時間の申請用紙を提出するために店舗に出向く必要がなくなる。 シフト表の作
ここギコ！: 位置ゲーの歴史をまとめてみた
Posted by nene2001 at 11:07 / Tag(Edit): 位置ゲー 歴史 / 0 Comments: Post / View / 0 TrackBack / Google Maps Wikipediaに位置ゲーの項目ができていたので、私の知っていることを補完していってるのですが、いろいろ調べていくうち、面白いことが判ってきました。 せっかくなので図にまとめてみました。 （なお、判らないままにまとめたところも多々あります。正確な情報を持っている方は、教えていただければ修正します。） ▲ 位置ゲーの歴史年表 ▲ 図の見方としては、矢印の始まりと終わりで、サービスの開始時期と終了時期を表し、色で対応しているキャリアを表しています。 黒色の矢印はマルチキャリア（対応キャリア数は問わない）を表しています。 複数のサービスの矢印が同じ高さに、時期をずらして
AppCleaner
AppCleaner, uninstall your apps properly.AppCleaner is a small application which allows you to thoroughly uninstall unwanted apps. Installing an application distributes many files throughout your System using space of your Hard Drive unnecessarily. AppCleaner finds all these small files and safely deletes them. Simply drop an application onto the AppCleaner window. It will find for the related fi
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
twhirl | the social software client
Cloudera
IIS7
「10〜30分で何となく分かるGo」という資料 - moriyoshiの日記
Q&Aなう - 知りたい答えが瞬時に