開発メモ: スレーブエージェントによるKTからMySQL等へのレプリケーション
Kyoto TycoonからRDBMS等の他製品に対してレプリケーションを行う方法について述べる。 カスタマイズ機能群の最後のパーツ 以下のイラストのように、Kyoto Tycoonには、カスタマイズ性を高めるための様々な機能が実装されている。 HTTPの既存プロトコル上で任意のデータベース操作処理を実現するための「スクリプト言語拡張」。ユーザ定義の任意のプロトコルで任意のデータベース操作処理を実現するための「プラガブルサーバ」。既存のデータベース操作指示に対して任意の処理を行うための「プラガブルデータベース」。これら3つの機能を使えば、KTのほぼ全ての機能の振る舞いをユーザ定義のものに差し替えることができる。かなり究極的なカスタマイズ性を既に備えていると言える。 今回加わったのは、KTの外部の別システムとKTを連携させるための機能である。KTで更新ログを有効にすると、KTのデータベースに
Google App Engine入門：実行効率を犠牲にせずに開発効率だけを上げるテクニック
一つ前の富豪プログラミングのエントリーともつながる話だが、Google App Engineは「ちゃんとスケーラビリティを考慮してアプリケーションを作るには何に気をつけなければならないか」を勉強するには絶好の環境だ。そこで今回は、その「ケチな大富豪的なプログラミング」の実践編。 Google App Engine上のアプリをいくつか書いているうちに、必要に迫られて自然発生的にできてきたのが、gdispatchという数十行のコードからなる小さなモジュール（ソースコードはgithubに置いてある）。これをGoogle App Engineに標準で付いて来るwebappと組み合わせてフレームワークとして使っている。 gdispatchを設計する上で重視したのは、 （１）Google App Engine上でのアプリの開発を効率化する上で「明らかにこれがあると開発効率が格段に向上する」というもの以
WebKit Page Cache I – The Basics
This is the first of two posts that will center around a modern browser engine feature that doesn’t usually get a lot of press: The Page Cache. Today I’ll talk a bit about what this feature is, why it often doesn’t work, and what plans we have to improve it. Page Cache Overview Some of you might be more familiar with what other browsers call their Page Cache. Firefox calls theirs the “Back-Forward
nginxとdjangoのコラボレーティブキャッシング - karasuyamatenguの日記
djangoのようなフレームワークは開発者の生産性を劇的に向上させてくれる。しかしそのためにパフォーマンスは犠牲にされる。djangoのORMなんか非常に便利だが、そのまま使っていると非効率なことがRDB層で起きる羽目になる。でもこれは殆んどのアプリケーション開発において賢いトレードオフだと思う。だって、作って公開してみなければそのアプリが最適化するに値するものかどうかは別らないでしょ。 という具合でとりあえず作ってみたサイトがめでたくトラクションを得るとパフォーマンスが問題になってくる。今作っているサイトは日2万ページビューぐらいでピーク時にアップアップ状態。同じページを作るのに毎回SQLからオブジェクトを作ってレンダリングしているんだから無理ない。ホスティングは月20ドルのVPS。趣味のサイトなので、これ以上の予算はない。そこでキャシュの出番だ。 サーバ構成はnginxの後ろにfast
EhcacheがTerracottaに加わる
原文(投稿日：2009/08/18)へのリンク TerracottaによるEhcacheの買収によって、Javaのキャッシング・ソリューションとして、もっとも有名なオープンソースの2つが手を組むことになった。JVMレベルでのPOJOクラスタリングを提供するTerracottaは、単一のJVMで動作するマルチスレッド・アプリケーションをコードの変更なしで、複数のJVMをまたいで実行させることができる。Ehcacheは何十万といった単位でデプロイされて、あちこちで使われている。Ehcacheは、Oracle Coherenceと同様の標準的なHashMapスタイルのインターフェースを提供する。この2つの製品を合わせると、おそらくJavaのキャッシング製品のなかで、もっとも導入実績の多い製品となるだろう。InfoQは、TerracottaのCEOであるAmit Pandey氏とEhcacheの創
オンラインディスクドライブ ZumoDrive – cyano
ストレージサービスというとDropBoxやMemopalなどが有名ですが、どれもローカルにサーバーにアップロードしているもの完全なコピーを置いておかないといけないので、HDDが小さなネットブックなどでは使うのが少し大変です。 そこで、基本的にはすべてサーバー側に置いておいて、ファイルが必要なときに自動的にローカルに持ってくるというZumoDriveというサービスが出てきました。 使い方はDropBoxなどと同じ。ソフトを起動すると仮想のディスクドライブが1つ作成されます。そこにファイルを入れると自動的にZumoDriveのサーバーにアップロードされます。後は普通のオンラインストレージと使い勝手は変わりません。 特記事項は、やはりローカルに置いておくキャッシュ容量を調整できる点でしょうか。キャッシュを3GB程度に制限し、3GBから溢れたファイルはサーバーから適宜取ってくるという設定にしておく
MySQL on SSD に二の足を踏んでいる理由 - kazuhoのメモ置き場
やってもいいかなとは思っているんだけど、複数の SSD で冗長構成を組んだとして、故障までの期間がポアソン分布するとされる HDD と異なり、ほぼ同時に書込回数制限を突破してエラーになりそうで怖いんだよなー。memcached みたいな使い方なら、隣接するアクセスパターンの異なるノードに failover することになるから、同時故障は気にしなくていいんだろうけど。 追記: 結局はメモリセルの不良だから同時になることはないんじゃないかと言われた。なるほど。あとは SSD 内部のエラー訂正レートが S.M.A.R.T. 等で観測できれば、なんとかなるのかなぁ。(なんて言ってたら、手渡された日経エレクトロニクスの特集にちゃんと書いてあったww) Support for Intel® SSD X25-E Series Intel のサーバ向け SSD だと、S.M.A.R.T. に加えて「add
ロングテールな画像配信 その2 - 3,000万の画像を配信するシステム - mixi engineer blog
Squidを検索する度に最初に表示される画像検索の結果に吹き出しそうになる開発部・システム運用グループの長野です。前回のロングテールな画像配信のその2ということで、実際の画像配信システムについて書かせて頂きます。 ■プロフィール画像の配信について 前回紹介しましたが、mixiにおいてプロフィール写真を設定を設定しているユーザ数は全体の約70%、1,000万人の方が設定をされています。現在配信をしているプロフィール画像のサイズは180x180、76x76、40x40と３サイズあり、合計3,000万以上のファイル数になっています。また、もっともよく使われる76x76のサイズ1,000万件において、1日にアクセスされる画像の数は800万ファイル以上、うち97%が30回以下と非常に広範囲に渡ってアクセスされています。そのため大量の画像を配信できる仕組みが必要になります。 ■配信システムの全体像 プ
ConsistentHashing - コンシステント・ハッシュ法
ConsistentHashing - コンシステント・ハッシュ法 目次 この文書について コンシステント・ハッシュ法 実例 実装 用途 コンシステント・ハッシュ法 この文書について "Tom White's Blog: Consistent Hashing" の日本語訳です. http://weblogs.java.net/blog/tomwhite/archive/2007/11/consistent_hash.html 推敲歓迎: 誤訳, タイポ, 訳語の不統一, そのほか... 原文のライセンス: http://creativecommons.org/licenses/by-nc-sa/2.0/ 私は今までに何度かコンシステント・ハッシュ法にとりくんだことがある。 このアイデアをあらわした論文 ( David Karger らによる Consistent Hashing and R
mod_cache＋memcached＝mod_memcached_cache - Do You PHP はてブロ
先日PHPで作られたmemcacheを使ったキャッシュプロキシをさっくり試していたんですが、 mod_proxyとmod_cacheを併せたようなヤツだったか。分からんでもないが、素直にmod_proxy＋mod_cacheでええじゃんじゃね？ と思えてきました。PHPでやってパフォーマンス的にも微妙だったので。。。 で、「そういや、mod_cacheのストレージでmemcached使うのはないのかな？」とふと思ったのでググってみたところ、そのままの名前の物がありました。 This module allows your Apache 2.2.x installation to serve cached data quickly from one or more memcached server instances rather than from your file system. バージ
http://code.sixapart.com/svn/memcached/trunk/server/doc/protocol.txt
Protocol -------- Clients of memcached communicate with server through TCP connections. (A UDP interface is also available; details are below under "UDP protocol.") A given running memcached server listens on some (configurable) port; clients connect to that port, send commands to the server, read responses, and eventually close the connection. There is no need to send any command to end the sessi
Oracle.com Outage
This site is experiencing technical difficulty. We are aware of the issue and are working as quick as possible to correct the issue. We apologize for any inconvenience this may have caused. To speak with an Oracle sales representative: 1.800.ORACLE1. To contact Oracle Corporate Headquarters from anywhere in the world: 1.650.506.7000. To get technical support in the United States: 1.800.633.0738.
mixi Engineers’ Blog » スマートな分散で快適キャッシュライフ
今日は以前のエントリーで書くと述べたConsistent Hashingに関して語らせて頂こうかと思います。ただしConsistent Hashingはセミナーやカンファレンスなどでかなり語られていると思いますので、コンセプトに関しては深入りせず、実用性に着目したいと思います。 問題定義 分散されたキャッシュ環境において、典型的なレコードを適切なノードに格納するソリューションはkeyのハッシュ値に対しmodulo演算を行い、その結果を基にノードを選出する事です。ただし、このソリューションはいうまでもなく、ノード数が変わるとキャッシュミスの嵐が生じます。つまり実世界のソリューションとしては力不足です。 ウェブサイトのキャッシュシステムの基本はキャッシュがヒットしなかったらデータベースにリクエストを発行し、レコードが存在したらキャッシュしてクライエントに返すという流れです。ここで問題なのが一瞬
memcached: a distributed memory object caching system
What is Memcached? Free & open source, high-performance, distributed memory object caching system, generic in nature, but intended for use in speeding up dynamic web applications by alleviating database load. Memcached is an in-memory key-value store for small chunks of arbitrary data (strings, objects) from results of database calls, API calls, or page rendering. Memcached is simple yet powerful.
PHP＋memcache＋Repcachedを試してみた 再び - Do You PHP はてブロ
先日のエントリにid:yasui0906さんからコメント頂きました。ありがとうございます:-) オブジェクトをserializeしないでsetすると、スレーブでgetしたら文字列になってしまう問題があることに、つい最近気が付きまして、その修正をしたrepcached-1.2をリリースしたばかりだったりします(^^; http://dsas.blog.klab.org/archives/51198643.html あれ。1.2が出たからやろうと思っていた。。。あれ？あれ？前のエントリは1.0でやっちゃってるorz ということで、今度こそRepcached1.2.0で試してみました。環境やインストール手順、起動方法、試したスクリプトも同じです。念のため、PHPスクリプトだけ再掲。 <?php $ttl = 60; $servers = array(array('ip' => '192.168.
Repcached
repcachedについて repcachedとは、memcachedにデータのレプリケーション機能を追加実装したものです。 memcachedは、以下のようなところによく使われると思います。 一時的なデータの保存場所として キャッシュを保存する場所として RDBMSのデータのキャッシュ 生成したページデータのキャッシュ いずれの場合も消えていいデータなので、万が一memcachedがダウンしても問題はないはずです。 しかし、影響が全くないわけではありません。 例えば、MySQLのデータをmemcachedでキャッシュしている場合、memcachedがダウンしている間は直接MySQLにアクセスがいくことになりDBサーバの負荷が上がります。また、memcachedを再起動してキャッシュが失われた場合は、再びキャッシュが溜まるまではDBサーバに負荷がかかることになってしまいます。 このように
Linux、負荷まわりの話 - goungoun技術系雑記帳
外部記憶装置のデータをページ単位でメモリ上に保存するしくみ。 空きメモリは積極的にページキャッシュとして使用される。（空きメモリが少ないからといって、メモリが足りないとは言い切れない） バッファキャッシュを含む。 read ページキャッシュから読み込む。 ページキャッシュ上に存在しないとき、外部記憶装置から読み込む。 write ページキャッシュ上に書き込む。 書き込まれたページはDirtyなページ（＝外部記憶と同期していないページ）となる。 Dirtyなページは後でまとめて外部記憶に書き込む。 ページキャッシュ経由でデータがやり取りされる。 +------------------------------------------+ | ファイルシステム、mmap、スワップ処理など | +------------------------------------------+ read↑ ↓w
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
New in Labs: Offline Gmail
Technologies for UI
【レポート】COOL Chips XI - メニーコアではメモリバンド幅が性能を制約する | エンタープライズ | マイコミジャーナル