恐怖の JVM 大量メモリ消費！メモリリークの謎を追え！！ - Cybozu Inside Out | サイボウズエンジニアのブログ
こんにちは、ミドルウェア開発チームの青木(@a_o_k_i_n_g)です。将来の夢は川口浩探検隊に入ることです。 先日、弊社のアプリケーションサーバーで大量にメモリを消費するという現象に遭遇しました。アクセス頻度の低いサーバーがメモリを大量消費するという謎深いものでした。 発生当初の状況はこんな感じです。 アプリケーションサーバーでは Jetty が稼働 現象が発生した JVM は 5GB 程度のメモリを消費しており、明らかに通常ではない量のメモリを消費している 複数台のサーバーで発生していたが、全てで発生したわけではない。 また、発生したサーバーはいずれもアクセス頻度が少ないサーバーだった。 ヒープ、パーマネント、スタック ひとまず、JVM でトラブルが発生した時は何はともあれヒープダンプとスレッドダンプを見るに限ります。各種情報の取得をインフラ部隊へ依頼し、得られたヒープを解析すると、
Kazuho@Cybozu Labs: Mycached: memcached protocol support for MySQL
It is a well-known fact that the bottlenecks of MySQL does not exist in its storage engines, but rather in the core, for example, its parser and execution planner. Last weekend I started to wonder how fast MySQL could be if those bottlenecks were skipped. Not being able to stop my curiousity, I started adding memcached proctol support to MySQL as a UDF. And that is Mycached. From what I unders
Kazuho@Cybozu Labs: Pacific という名前の分散ストレージを作り始めた件
大規模なウェブアプリケーションのボトルネックがデータベースであるという点については、多くの同意が得られるところだと思います。解決策としては、同じ種類のデータを複数の RDBMS に保存する「sharding」 (別名：アプリケーションレベルパーティショニング／レベル２分散注1) が一般的ですが、最近では、分散キーバリューストア (分散 KVS) を使おうとする試みもみられるようになってきています。 分散 KVS が RDBMS sharding に対して優れている要素としては、事前の分割設計が不要で、動的なノード追加（とそれにともなう負荷の再分散）が容易、といった点が挙げられると思います。一方で、Kai や Kumofs のような最近の実装では eventually consistent でこそ無くなってきているものの、ハッシュベースの分散 KVS は、レンジクエリができなかったり (例:
ボットネット(botnet)の活動を可視化 | 秋元@サイボウズラボ・プログラマー・ブログ
ウィルス経由でパソコンにプログラムを仕込んで、DoS攻撃やスパムの一斉送信に使うために大量のコンピュータをインターネット越しに組織化したものをボットネットと呼びます。 実際に攻撃者が攻撃の開始を指示するために使うプロトコルは、IRCという昔からあるチャットの仕組みであることが多いといわれていますが、このbotnetが使うIRCのチャンネル群を監視して、ボットネットの活動の活発さを調べたデータがあるということで、それを世界地図上にプロットして可視化した動画がありました。 スクリプトはPython, ログの解析はPyQtライブラリ、IPアドレスから地図上の座標を知るジオコーディングを呼ぶのにMaxmindというパッケージを使って、NASAが配っている世界地図の上にプロットしたということ。地図上に活動をプロットしてアニメーションさせ、それをどうやって見やすく改善したか、というあたりも説明されてい
Amazon Mechanical Turkの回答者はどんな人達? | 秋元@サイボウズラボ・プログラマー・ブログ
ネットの向こう側に居るだれかに、少額の作業を発注するというアマゾンのサービス、メカニカルターク(AMT)を使った面白い調査があった。 この人がAMTへ投げた仕事の依頼は、 「自分の顔と、『なんで自分はタークしてる(AMTで回答してる)かを書いた紙を写真に収めてアップロードしてください」 というもの。最初5セント(5円)からはじめて、30人の写真を集めるには、最終的に50セント(50円)まで値を上げる必要があったそうだ。以下がその集まった写真。 白人が多くて、アジア系は少ない。紙に書かれた回答の動機は、「金のため」、が「暇潰し」の倍あったそうだ。 50円でこんなことするかなあ、と僕などは思うけど、ネットにはいろんな人がいるからね。日本語でこういうことができるサービスが、アマゾンがやっても他社がやってもいいから、できると面白そうだと思った。 via Waxy この記事は移転前の古いURLで公開
fav.or.it創業者による「もしtwitterを作り直すなら」 | 秋元@サイボウズラボ・プログラマー・ブログ
コメントつきソーシャルRSSリーダーfav.or.itの創業者Nick Halsteadさんが、自分がtwitterのスケーラビリティを直すならこうする、というエントリを書いている。 twitterは今日も「データベースがロストした」とかで落ちていて、不安定さに対する不満の声をそれこそ毎日のように見かけるようになっている。 技術的な興味から、訳しながら読んでみたのだけれど、ほんとうにこれですべてた解決するのか、については僕はわかっていない。わからないものを出すのもどうかと思い数日放置してたんだけど、もっと手の長い人に読んでもらうのも意味はあるかなと思い直し、以下に公開する。 「fav.or.itはこれよりもっと複雑だ」と言ってるけれどfav.or.itはtwitterほどユーザいないし(笑)。 前段では有名ブロガーのRobert Scobleさんが、技術的な理解無しにtwitterをMS
20行のJavascript+canvasでここまでできる | 秋元@サイボウズラボ・プログラマー・ブログ
# Internet Explorer不可 OZONE Asylumというフォーラムで出された今月のお題「20行のJavascriptでできるだけ多くのエフェクトを同じスクリーンに出す」に対して出てきたすごい答がこれ。 ソースを見ると、たしかに有効な行は20行しかない。 Opera9.5とFirefox3(どっちもまだベータ)で作者の意図どおり動くとのこと。Firefox2やOpera9でも動き自体は見えるが、Firefox2では光る効果が見えなかったり。 via del.icio.us/popular この記事は移転前の古いURLで公開された時のものですブックマークが新旧で分散している場合があります。移転前は現在とは文体が違い「である」調です。(参考)記事の内容が古くて役に立たなくなっている、という場合にはコメントやツイッターでご指摘いただければ幸いです。最新の状況を調べて新しい記事を書
Kameraflage カメラにだけ映る隠し画像 | 秋元@サイボウズラボ・プログラマー・ブログ
via reddit.com カメラフラージュという技術が、8月6日サンディエゴのSIGGRAPHで公開されるというニュース。 デジカメの撮影素子と人間の眼の特性の違いを利用して、デジカメのファインダーを通したときだけ見えるような文字や画像を描く、というものだそうだ。服の模様にこれを使うと次の写真のようになる。 この他に、映画にファイダーを通したときだけ見える字幕や追加情報を入れたり、絵画の説明を普段は隠しておいて見たい人だけ(自分の携帯電話のカメラを使うなどして)読む、といった応用例が紹介されている。 この記事は移転前の古いURLで公開された時のものですブックマークが新旧で分散している場合があります。移転前は現在とは文体が違い「である」調です。(参考)記事の内容が古くて役に立たなくなっている、という場合にはコメントやツイッターでご指摘いただければ幸いです。最新の状況を調べて新しい記事を書
IPv4アドレス空間での自分の位置をビジュアライズ
via digg MAP of the Internetでは、IPv4のアドレス空間を2次元の地図として表現している。 “Find me on the map!”ボタンを押せば、自分のリモートアドレスを元に、自分の位置を表示もしてくれる。 この地図自体、今のIPアドレスがどのような地域・国や事業者に、どれぐらいの分量割り当てられているのかというのが感覚的につかめて、面白い。アメリカの大企業なんかで、一社で広大な領域を確保してるところが多いというのもわかる。 草地になっているところは未割り当てのアドレスということだけど、これって有効利用されてないということなのかな? この記事は移転前の古いURLで公開された時のものですブックマークが新旧で分散している場合があります。移転前は現在とは文体が違い「である」調です。(参考)記事の内容が古くて役に立たなくなっている、という場合にはコメントやツイッター
秋元@サイボウズラボ・プログラマー・ブログ: JavascriptによるC系ソースコードのハイライトライブラリgoogle-code-prettify
via del.icio.us/popular google-code-prettifyは、Javascriptによるソースコードの色づけライブラリ。 HTMLの中に含まれた、C, Java, Python, Bash, SQL, HTML, XML, CSS, Javascript, Makefileなどのソースコードコメントや文字列、予約語を色つきでハイライトしてくれる。それ以外でも、Ruby, PHP, Awkや一部のPerlコードでも動くだろうということ。 使い方はこちら。jsとcssをインクルードして、bodyタグに onload=”prettyPrint()”を追加。コードはpreタグかcodeタグでclass属性”prettyprint”をつけるだけ。 テストコードを兼ねたサンプルがここにある。 ハイライトの色などは別途CSSで指定できるので、自分のこのみの表示形式にすること
飛行機の飛行データを可視化したムービー | 秋元@サイボウズラボ・プログラマー・ブログ
アメリカ上空を飛んでいる旅客機のデータをプロットしたムービー。 東海岸から順番に夜が明けて、どんどん飛行機の密度が高まり、それが西海岸、ハワイへと移動していく様子が見える。 リンク先には他にも表現形式ごとにいろいろなムービーがある。 Quicktimeが再生できなくて、画質落ちてもとりあえず見たい人はYouTubeをどうぞ。 この記事は移転前の古いURLで公開された時のものですブックマークが新旧で分散している場合があります。移転前は現在とは文体が違い「である」調です。(参考)記事の内容が古くて役に立たなくなっている、という場合にはコメントやツイッターでご指摘いただければ幸いです。最新の状況を調べて新しい記事を書くかもしれません
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
