「Mobage」巨大サーバーを支えるDeNAのMySQL活用とは｜【Tech総研】
MobageなどのデータベースとしてMySQLを採用しているDeNAは、このほどMySQLコミュニティ最大のイベントで、「Corporate Contributor of the Year 2011」を受賞した。そこで示されたDeNAの世界に通用する技術力とは──。 オープンソース・データベースとして世界中で使われているMySQL。大規模なトランザクションを処理するサイト構築には不可欠の技術だが、株式会社ディー・エヌ・エー（DeNA）はMySQLを徹底して使い倒し、独自の拡張技術を開発することを通して、その可用性を高めてきた、日本を代表するユーザー企業の一つとして知られている。現在、Mobage（モバゲー）サービスを動かすために、約700台のMySQLサーバーが稼働しており、その数は世界的にも有数のものだ。 4月中旬に米サンタクララで開かれたMySQLコミュニティ最大のイベント、MySQL
大企業はソースコードの管理に何を使っている？
Facebookの元CTOだったダスティン・モスコヴィッツが立ち上げた質問サイト、Quoraにて大企業がどんなソースコード管理システムを使っているのか？という質問が挙っていました。Quoraは回答の質が高いという触れ込みでスタートしているサービスなのでこれらの情報は多分正しいのでしょう。 Facebook svn (一部の人はgitも使っている) Amazon perforce Zynga svn Netapp Perforce Google git(Android), Perforce Quora git SAP Perforce ebay Clear Case git(実験中) VMware Perforce この内容の限りだとオープンソースではgit、商用ではPerforceという流れがあるようですね。 via:http://www.quora.com/What-version-co
ファイル記述子をUnixドメインソケット経由で渡す - bkブログ
ファイル記述子をUnixドメインソケット経由で渡す Unix 系の多くの OSには、ファイル記述子を別のプロセスに Unix ドメインソケット経由で渡す機能があります。一見、何のために使うのかよくわからない機能ですが、 glibc の nscd はこれをうまく使っています。 nscd (name service caching daemon) は glibc 内で行われる名前関連の問い合わせをキャッシュするサーバです。NIS や LDAP などを用いてネットワークベースでユーザ管理を行っている場合、 getpwuid() などの関数はユーザ名の取得にネットワークアクセスを必要としますが、 nscd を立ち上げておけば、二度目からの同じ問い合わせはキャッシュから得られます。 nscd を立ち上げている GNU/Linux システムでは、キャッシュファイルが /var/db/nscd 以下に作
say no to system perl - システム標準Perlを使わないススメ - D-6 [相変わらず根無し]
say no to system perl - システム標準Perlを使わないススメ 2011年4月30日 10:06 D | ブログ記事のURL | コメント(0) | トラックバック(0) LinuxやMac OS Xを使っていれば、大抵の場合/usr/bin/perl などの位置にPerlが入っていますが・・・これらを使うのはやめたほうがいい、というのが段々定説になりつつあります。 厳密に言うと、別に簡単なスクリプトを書くのにシステム標準Perlを使うのは問題ないのだけれども、CPANからモジュールをインストールするつもりならシステム標準Perlを使わないほうがいいでしょう、という事ですね。 自分としてはシステムPerlを使わない理由はふたつある。 ひとつはシステムPerlはそれに依存するものがあるため、それに変更を加えると何かが壊れることがあること。例えばついうっかりモジュールのバ
dotcloud で Amon2 をつかう! - tokuhirom's blog
Perl5 の PSGI アプリケーションが死ぬほど簡単につかえる dotcloud の beta 版がリリースされ、一部の Perl monger に invitation がばらまかれているとともに、id:miyagawa さんがdotcloud に join したというニュースもあり、ゴールデンウィークまっただなかの日本の Perl Mongers のあいだでは空前のコンフィブームとなっています。 というわけで、DotCloud で hello world をやる方法。 sudo easy_install dotcloud dotcloud create tokuhirom dotcloud deploy --type perl tokuhirom.hello mkdir hello cd hello echo "sub {[ 200, [ 'Content-Type' => 'te
daemontools の代替として Supervisor がよさげ
node.js なサーバデーモンの管理をしようと思い、何を使おうか検討していたのですが、この手のデファクトスタンダードである daemontools は、特定のディレクトリ構造に従わないといけなかったり、run スクリプトや log/run スクリプトを置いたりしきゃいけなかったりで、余計な作業が多くてお手軽じゃない、ってことで runit を見てみたんですが、ぱっと見 daemontools との違いがよくわからなくて、daemontools とそれほど煩雑さは変わらないように見えたので、もっとお手軽なものがないかと探していたところ見つけたのが Supervisor 。（といっても自分が知らなかっただけで以前からあるみたいですが。） Python 製で easy_install 一発でインストールできる。 $ sudo easy_install supervisor デフォルトの設定フ
DBIx::InspectorでTengのSchemaを生成する - Takuji->find;
久々に書いてみる 開発中のアプリでTeng使ってみようと考えたので簡単にSchema生成スクリプト書いてみた _atがある前提だったり主キーは必ず1つだったり制約多い書き方だけどまぁ普通に使えるんじゃないかと思ってる #! /usr/bin/env perl use strict; use warnings; use DBIx::Inspector; use lib './lib'; use Wagayatei::DB; use Data::Section::Simple; use Text::Xslate; use Teng::Schema; use Path::Class qw(dir); my $dbi = Wagayatei::DB->get_dbi; my $inspector = DBIx::Inspector->new( dbh => $dbi ); my $tables =
Perlでシグナル処理（DBIを黙らせる編） - D-6 [相変わらず根無し]
Perlでシグナル処理（DBIを黙らせる編） 2011年4月27日 01:42 D | ブログ記事のURL | コメント(0) | トラックバック(0) なんかふと気づいたら最近以前書いたPerlでシグナル処理の記事にブクマがついていたので続き的な感じで書いてみた。 例えば 以下のように、ワーカーとかでずーーーーっとDBにクエリを投げてその結果を使って処理をする、というような処理を書くとする while ( $loop ) { my $sth = $dbh->prepare( .... ); $sth->execute(); while ( $sth->fetchrow_arrayref ) { .... } } 以前書いた%SIGを用いたPerlの普通のシグナル処理では、もしexecute()でブロックしていた場合など（例：Q4Mでqueue_waitしてる）ではいくらSIGINTとかを
Yokohama.pm #7 を開催します - Yokohama Perl Mongers
少し間が空いてしまいましたが、Yokohama.pm #7 を開催します。 なんだかんだで久々の地元横浜での開催になります。 すでにスピーカー募集は開始していますが今回も面白そうな内容になりそうです！ 是非楽しみにしていてください！ スピーカー登録はメイン(20分)が1名とLT(5分)が1名余っておりますので もしこの機会にという方はぜひ登録の程お願い致します。 (※先着順で決まりますのでご了承ください) おかげさまで全てのトーク枠が埋まりました。ありがとうございます。 日時: 2011-05-13 18:00 開場 18:30 開始 開場: AP横浜駅西口 E会議室 定員: 60名 事前登録: 参加登録/スピーカー登録 Ust: http://ustre.am/dAsn(予定) 現在までに決まっているタイムテーブルは以下のようになっています。 (内容は随時更新していきます) 1800 開
SIGNALを考慮してないTheSchwartz Job workerをなるべく安全に停止する - 酒日記 はてな支店
TheSchwartz の worker はシグナルに対してデフォルトでは何もしないので、再起動させようと SIGHUP を送信したりすると job 処理の途中で割り込まれて死ぬ可能性があります。 自前でトラップして安全に再起動する方法は過去に TheSchwartz の worker を安全に停止する で書きました。3年前の記事ですが。 今回は、シグナルへの対処がなされていない古いスクリプトを修正したものの、既に動いている worker を安全に止めないと入れ替えられないのでどうするか、というお話。 安全な停止法を twitter で緩募したところ、以下のようなアドバイスを頂きました。しかし別の queue DB 使うのは確実そうだけどちょっと面倒ですよね…… 緩募: signal trapしてないTheSchwartzのjob workerを安全に止める方法 2011-04-25 11
MySQueue
またか！って感じなんですが、MySQL前提で動作するJobQueueをかるく実装してみました。 https://github.com/nekokak/MySQueue よくあるJobQueueは1つのjobをdequeueして処理しますが、 今回作ったMySQueueは自分の指定したボリュームのjobをまとめて取得して処理する感じです。 workerをタンマリ用意してマシンガンのようにバシバシjobを処理するというよりも 大砲のようにどかーんどかーんとjobを処理する感じです。 なのであんまり並列性はいらないかんじ。（当然ある程度はいるけど） わかりやすい説明ですね。 Schema: CREATE TABLE job ( id BIGINT UNSIGNED PRIMARY KEY AUTO_INCREMENT, arg MEDIUMBLOB, status VARCHAR(10) DE
tmuxに入門してみた
昔からscreenをずっと使ってて、osx上でもiTermのタブ+screenという使い方をしてるんですが 最近tmuxが人気なのでtmuxを試してみました。 osxではbrew install tmuxだけではいります。 tmuxのキーバインドを覚えるのがめんどくさいので、 tmuxに同梱されているscreenキーバインド設定ファイルを~/tmux.confにコピーします。 tmuxを起動してstatusバーの部分が明らかに見難かったのでscreen風にして使ってみたりしています。 デフォルトで縦分割できるし、縦分割したwindowをさらに横分割とかもさくっとできるのでなかなかヨサゲです。 screen使いの人も一度ためしてみるといいんじゃないでしょうかね。 以下設定ファイル # Set the prefix to ^A. unbind C-b set -g prefix ^T b
MySQL 5.5をわずか30秒足らずでコンパイルするためのテクニック
べっ・・・別にソースコードなんて自分でコンパイルしないんだからねッ！！などと言わずにまず聞いていただきたい。30秒でMySQLのコンパイルが出来るというこの事実を。最近、細々とビルド時間の短縮に取り組んでいたのだが、正直ここまで爆速になるとは思わなかった。今日はビルド時間短縮のためのテクニックを紹介するので、是非皆さんも参考にして、快適ビルド生活を送って頂きたい！！ 自己ベストは26.262秒マシンの状態や負荷の状況によって多少ビルドにかかる時間は前後してしまうのだが、これまでの自己ベストはなんと26.262秒。平均すると30秒ぐらい。以前は1分を切ることがなかったのだが、今ではなんとその半分でビルドが出来てしまう。これは純粋にmakeをするのにかかった時間であり、cmake（MySQL 5.5以降）やconfigure（MySQL 5.1以前）にかかる時間は除いてある。だがそれでも速い。
ssh経由でリモートホストで実行してるプロセスにSIGINT送りたい時 - As a Futurist...
perl で色々管理スクリプト書いてるんですが、そのなかでこんなコードを書きました。 system("ssh remote 'rsync ...'"); で、rsyncが走ってる途中でやっぱやめたと思ってCtrl+C=SIGINTを送ったんですが、もちろん perl のプロセスは死ぬんですけど、remoteで動いてるrsyncはそのままゾンビになって残ってしまいました。 はて、いろんなところに原因が考えられるなぁということで調べてみました。 host1> ssh host2 'some-command' host2> strace -p 20279 # some-command's pid Process 20279 attached - interrupt to quit read(0, # then "Ctrl+C" on host1 (host2) "", 4096) = 0 wri
PerlでOAuth 2.0を使ってみた - hide-k.net#blog
携帯の緊急地震速報の音が怖いので、「会いたかった」に変えるHackを募集しています。 こんばんは。 OAuth 2.0は仕組も特徴も理解していたのですが、実際に実装の必要が出てきたので今更ながら初めて使ってみました。 仕様は現在draft15というステータスで公開されています。(The OAuth 2.0 Authorization Protocol) OAuth 2.0の特徴としてはHTTPSを使って通信経路を暗号化することによりトークンを直接やりとりすることが可能となっています。そのため署名が必要なくなり、あの悪夢のような署名検証をしなくて済むようになったのが大きなメリットです。 とはいえ、読んでもよくわかんないのでコードにしてみます。Authorization ServerとResource Serverとして使ってみるのはFacebook。クライアントサイドフローとサーバーサイドフ
2011年4月12日 あるGNOMEコントリビュータの小さなパッチがOSSユーザに残した大きなおくりもの | gihyo.jp
先日お伝えしたとおり、多くの紆余曲折があったものの、GNOME 3が正式リリースされた。旧バージョンからのUIの大きな変更にとまどうユーザも少なくないようだが、すでにネット上ではGNOME 3を便利に使うためのtips集などが多く公開されており、Linuxデスクトップ環境のデフォルトとしての地位を固めるのもそれほど遠くない日なのかもしれない。 今さら言うまでもないことだが、GNOMEを含むOSSには世界中の開発者がコントリビュータとして関わっている。その数は膨大すぎて、プロジェクトのトップメンバーや有名ハッカーでもない限り、たとえばバグフィクスやマニュアルの翻訳を担当するコントリビュータが多くの人の記憶に残ることはほとんどない。とりわけ、GNOMEのような巨大プロジェクトの場合はなおさらだ。だが、今回紹介するAdrian Hands氏の場合、彼の最後の仕事の反響が大きすぎて、世界中のGNO
DisplayLink Support
Synaptics provides this support portal to try and answer common questions you might have about DisplayLink technology. However we cannot provide product specific support. Synaptics is a chip and technology company and we do not sell any product directly to end users, therefore we only have a small end user support team. Members of the Synaptics team are active on the DisplayLink Forum, where your
Perl CPANモジュールガイド献本頂きました。
@tomitaさん本当にお疲れさまでした。 執筆されている時に興味本位でどんなモジュール取り上げるのかを教えてもらって ヒトコトだけこんなモジュール紹介してみたらどうですか？と言ったからかどうかわかりませんが、 謝辞にidが記載されており超びびりました。 私がPerlを使い始めた頃には PERLクイックリファレンス (クイックリファレンスシリーズ)posted with amazlet at 11.04.13エレン シーバー ネイザン パトワーダン ステファン スペインアワー オライリー・ジャパン 売り上げランキング: 639986 Amazon.co.jp で詳細を見る こんな本がオライリーから出版されており、ここに紹介されているモジュールを書籍を参考に使ったりしたものです。 しかしこの本は現在amazonでも売っておらず、オライリーのページにも見当たらないので絶版になったのかな？ しか
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
http://atnd.org/events/15202
http://frepan.org/perldoc?DBIx::TransactionManager