恐怖の JVM 大量メモリ消費！メモリリークの謎を追え！！ - Cybozu Inside Out | サイボウズエンジニアのブログ
こんにちは、ミドルウェア開発チームの青木(@a_o_k_i_n_g)です。将来の夢は川口浩探検隊に入ることです。 先日、弊社のアプリケーションサーバーで大量にメモリを消費するという現象に遭遇しました。アクセス頻度の低いサーバーがメモリを大量消費するという謎深いものでした。 発生当初の状況はこんな感じです。 アプリケーションサーバーでは Jetty が稼働 現象が発生した JVM は 5GB 程度のメモリを消費しており、明らかに通常ではない量のメモリを消費している 複数台のサーバーで発生していたが、全てで発生したわけではない。 また、発生したサーバーはいずれもアクセス頻度が少ないサーバーだった。 ヒープ、パーマネント、スタック ひとまず、JVM でトラブルが発生した時は何はともあれヒープダンプとスレッドダンプを見るに限ります。各種情報の取得をインフラ部隊へ依頼し、得られたヒープを解析すると、
Cybozu Inside Out: Cybozu Advance - ドラッグ＆ドロップ可能なスケジュール
畑です。 久々に投稿します。 先日、サイボウズ Office 8 連携API が一般公開されました。そこで、このAPIをアクセスすることにより実現する、ドラッグ＆ドロップ可能なスケジューラ―（Cybozu Advance）を試しに作ってみました。この連携APIは サイボウズ ガルーン 3 連携API と共通であるため、ガルーン 3 に対しても動作します。 Google Code にてオープンソース（GPLv2）で公開しています。詳しくは Cybozu Advance のサイトをご覧頂ければと思います。以下、多少解説したいと思います。 API を利用 API をアクセスすることにより実現しています。よって、今回実装した部分は主にユーザーインタフェース部分になります。対応するAPIは以下の通りです。 サイボウズ Office 8 連携API サイボウズ ガルーン 3 連携API また、これらの
WebDB Forum 2010 サイボウズ企業賞 | TAKESAKO @ Yet another Cybozu Labs
2010年11月11日（木）～12日（金）に、早稲田大学 理工学術院（西早稲田キャンパス）で開催された 「Webとデータベースに関するフォーラム」(WebDB Forum 2010)にて、サイボウズ企業賞を授与させていただきました。 アカデミックな学術研究や論文査読とは違った視点で、産業界から見た将来有望な研究者・発表論文に対して企業賞を授与し、奨励するものです。 受賞者： 油井 誠, 小島 功(産業技術総合研究所) 発表題目： 「列指向データベースのためのタプル再分散不要の並列データベース構成法」 授賞理由： 本研究の提案手法Φハッシュ分割は、テーブルを水平垂直分割し、map問い合わせに分割属性を加味した選択演算が得意なMonetDBへの実装となっているが、Hive/Hadoopを陵駕する性能をTPC-Hで検証しており、それ以外の行指向DWHへの適用も考えられる有望な研究である。 副賞：
Kazuho@Cybozu Labs: パストラック(Pathtraq)、サービス終了のお知らせ
「サイボウズ・ラボ : パストラック (Pathtraq)、サービス終了のお知らせ」で告知させていただいておりますとおり、2010年10月29日をもちまして、パストラックのサービスを終了することになりました。 これに伴い、パストラックのツールバーは動作を停止いたしますので、インストールされていらっしゃいます方におかれましては、お手数ですがアンインストールをお願いいたします。また、ブログパーツ、Windows用ガジェット、開発者向けAPIも動作を停止します。 利用者の皆様、中でも、ツールバー（拡張機能）をインストールしてアクセス統計の収集にご協力いただいてきました方々、ブログパーツやガジェット等関連サービスをご利用いただいてきました方々にはおかれましては、これまでの御礼をこの場を借りて申し上げるとともに、お手数をおかけすることになる点も含めまことに申し訳ありませんが、ご理解のほどお願いしたい
Cybozu Open Source: Released ordered KVS Mio 0.0.1alpha
We have released Mio - a distributed Skip Graph based orderd KVS 0.0.1alpha.(mio-0.0.1-alpha.tar.gz) What is Mio? In short, Mio is memcached + "range search". Mio suports range search queries like "get 10 datum which key are between key1 and key2". N.B. At present, it is in alpha quality. Building and Installing Install a recent version of Erlang. make make install with Environment variables for c
友達10人をホラー映画の予告編に登場させられる Lost in Val Sinestra | 秋元@サイボウズラボ・プログラマー・ブログ
Lost In Val Sinestraは、Facebookのソーシャルグラフを使い、友人が登場するホラームービーを作ってくれるというサービスです。 利用にはFacebookアカウントと10人以上の友人が必要です。Facebookアカウントへのアクセスを許可すると、自分のソーシャルグラフの中からランダムに10人選んでくるので、良さそうな写真の友人に入れ替えます。映画に合わせる意味で「実写の顔写真」の友人がいいでしょう。配役の関係から女性を含めることも薦められています。 自分のアイコンは顔写真じゃないのですが、そこは仕方がないということで。 次に、「恐怖度」を三段階から選びます。今回は一番強めを選んでみました。 数分待つと、自分だけの予告編が出来上がります。オープニングにはキャスト名が お話は、車が壊れて往生した兄妹が、気のいい10人組の旅行者に拾われて、山奥の豪華なホテルVal Sinis
Cybozu Inside Out: SpiderMonkeyを使ってPHPでサーバーサイドJavaScript
はじめまして。2009年に新卒で入社しました天野祐介です。amachang を期待された方はゴメンナサイ！ 先日 SpiderMonkey を利用して PHP から JavaScript を実行する方法を調べる機会がありましたので、ご紹介します。 SpiderMonkey とは SpiderMonkey は C で実装された Mozilla の JavaScript エンジンです。 これを PHP から実行する拡張を利用すると、 PHP コード内で JavaScript が実行できます。 SpiderMonkey extension のインストール こちらhttp://devzone.zend.com/article/4704に記載されている方法で CentOS にインストールしてみました。 PHP 5.3.0 以上が必要です。 $ wget http://ftp.mozilla.org
PHP逆引きレシピ すぐに美味しいサンプル&テクニック261 | 秋元@サイボウズラボ・プログラマー・ブログ
鈴木 憲治, 安藤 建一, 山田 直明, 八木 照朗, 山本 義之, 河合 勝彦 定価 : ￥ 2,730 発売日 : 2009/06/30 出版社/メーカー : 翔泳社 おすすめ度 : (7 reviews) 最初に正直に言いますが、750ページあるこのティップス本、隅々まで読んではいません。この本はタイトルにレシピとあるように、PHPの利用時に何か新しいことをする必要がでた際に、そのやり方を調べるために使う本です。僕の場合PHPはそれなりに親しんでいるので、まだそれほど使う機会が無いのですが、いくつか見た感じでは、かなり丁寧に書かれています。 PHPだけの問題か、PHPでより目立っているだけかわかりませんが、PHPの本というのはたくさんある割に、PHPのインストールからとても簡単な初歩のスクリプトを動かすまでのものが多く、またそれらの書籍の中には実際に使うとエラー処理やセキュリティ対策
就活生向けIT業界セミナーで講演します | TAKESAKO @ Yet another Cybozu Labs
最近リクルートスーツに身を固めた学生さんと電車ですれ違うことが多くなった今日この頃、みなさんはいかがお過ごしでしょうか。 サイボウズでは今年も就活生向けの「IT業界セミナー」を開催するのですが、ひとくくりにIT業界と言うのではなく、いろんな会社があって、その中でも社員によっていろんなワークスタイルがあり、広く業界のことを知ってもらおうということで、DeNAさん、はてなさん、P&Aラボさんの3社さんと共催して、全国数ヶ所（東京×2回、大阪×1回、松山×1回）でセミナーを開くことになりました。 ■東京会場（共催：DeNA×サイボウズ、2回開催） 日時：11月29日（日） ※盛況のうちに終了いたしました 場所：DeNA本社 日時：12月20日（日） ※盛況のうちに終了いたしました 場所：サイボウズ本社 13:00 IT エンジニアの可能性 ～ サービスやビジネスを自ら生み出す力 能登 信晴（De
Kazuho@Cybozu Labs: パフォーマンスとスケーラビリティのためのデータベースアーキテクチャ (BPStudy#25発表資料)
先週金曜日、BPStudy#25で、「パフォーマンスとスケーラビリティのためのデータベースアーキテクチャ」という題目で話をさせていただきました。その際に使用した発表資料は以下のとおりです。 1. Happy Optimization 最初に、最適化の考え方として、上限値を予測し、それを元にリソース配分を考える、という手法を説明しました。
Kazuho@Cybozu Labs: Mycached: memcached protocol support for MySQL
It is a well-known fact that the bottlenecks of MySQL does not exist in its storage engines, but rather in the core, for example, its parser and execution planner. Last weekend I started to wonder how fast MySQL could be if those bottlenecks were skipped. Not being able to stop my curiousity, I started adding memcached proctol support to MySQL as a UDF. And that is Mycached. From what I unders
Kazuho@Cybozu Labs: 今更 C++ で JSON パーサ「picojson」を書いたわけ
既に mattn さんが、「Big Sky :: ヘッダファイルだけでC++から使えるJSONパーサ「picojson」が凄い！」で紹介してくださっています (mattn さん、アドバイス＆バグ情報ありがとうございます!) が、いまさら C++ で JSON パーサを作りました。それは、以下の３点を満たすものがなかったから。 ヘッダファイル only boost 等、他の重たいライブラリに依存しない array や object が STL にマッピングされる コードは、coderepos に置いてありますので、よろしければお使いください (picojson.h)。 なお、現時点での制限事項として、 \n や \r, \uXXXX といったエスケープの処理が未実装rev. 34232 で対応しました (含サロゲートペア) 空白文字の判断基準が RFC と異なるrev. 34277 で空白と
Kazuho@Cybozu Labs: Pacific という名前の分散ストレージを作り始めた件
大規模なウェブアプリケーションのボトルネックがデータベースであるという点については、多くの同意が得られるところだと思います。解決策としては、同じ種類のデータを複数の RDBMS に保存する「sharding」 (別名：アプリケーションレベルパーティショニング／レベル２分散注1) が一般的ですが、最近では、分散キーバリューストア (分散 KVS) を使おうとする試みもみられるようになってきています。 分散 KVS が RDBMS sharding に対して優れている要素としては、事前の分割設計が不要で、動的なノード追加（とそれにともなう負荷の再分散）が容易、といった点が挙げられると思います。一方で、Kai や Kumofs のような最近の実装では eventually consistent でこそ無くなってきているものの、ハッシュベースの分散 KVS は、レンジクエリができなかったり (例:
可哀想なエンジニアにハグを | 秋元@サイボウズラボ・プログラマー・ブログ
Hug a Developer Today(開発者を抱きしめてあげてください)という動画、フリーハグズ系のビデオのパロディなんだけれど、エンジニアの悲惨さを訴えていてソフトウェア開発者なら苦笑してしまうこと間違いない。 「5ヶ月のプロジェクトの4ヶ月目なのに、昨日要求仕様が確定したんだぜ!」とか「ボスが『プログラミング言語○○なら生産性2倍』みたいな雑誌を買ってきてくれて、おかげで工数が半分に縮められたよ」とか。泣ける。 「とあるコンサルが彼らなら次期バージョンは半分の価格・倍の早さでできますと言ったもんだから上司はそれを信じたんだ。でも今、彼らはその予算と時間を使い切ってしまった。そして…」 via Digg ちなみに、有名なフリーハグズ動画はこれ この記事は移転前の古いURLで公開された時のものですブックマークが新旧で分散している場合があります。移転前は現在とは文体が違い「である」調で
楽器を置くだけの音楽演奏flash | 秋元@サイボウズラボ・プログラマー・ブログ
こういうの好きだなあ KICK, BASS, SNARE, HIHAT, LEADの5つの要素を円の中に配置すると、それぞれの音が鳴る。中央の方に寄せるほど音が大きくなるようだ。 円のどの方向に置くかでサイクルが変わるのかと思ったけど、そんなたいへんなことはしてなくて、方角はただ見栄えが変わるだけみたい。 [関連] キャンバスに描く音楽 Pianolia – Flashによる新しい楽器 テーブルUIによるクールな新電子楽器rectable 音痴チェッカー この記事は移転前の古いURLで公開された時のものですブックマークが新旧で分散している場合があります。移転前は現在とは文体が違い「である」調です。(参考)記事の内容が古くて役に立たなくなっている、という場合にはコメントやツイッターでご指摘いただければ幸いです。最新の状況を調べて新しい記事を書くかもしれません
人命救助2.0 | 秋元@サイボウズラボ・プログラマー・ブログ
サンフランシスコ沖でボートと共に消息を絶って4日になる計算機科学者ジム・グレイ(Jim Gray)の捜索に関して、シリコンバレーを中心とした多数のIT企業の社員によるネット上の救助活動が行われている。 衛星から撮影した海上の画像をサーバ上に用意し、手分けしてボートの場所を見つけようというものだ。Google Mapsなどで表示される衛星画像は必ずしも最新のものではないため、NASAなどから行方不明後の最新衛星画像データを随時受け取っているらしい。 手分けの方法は、簡単な、しかしプログラムでは処理が難しい問題を人間にさせるAmazon Mechanical Turk(アマゾン・メカニカル・ターク)が利用されている。通常、数セントの報酬で写真の判定などをおこなわっせるMechanical Turkだが、今回の件は報酬0のボランティアで参加者を募っている。 僕もMechanical Turkに行
秋元@サイボウズラボ・プログラマー・ブログ: イノベーションを阻害する10の方法
via del.icio.us/popular ソフトウェア開発プロセスに関するブログTyner Blainの記事Top ten tips for preventing innovationより、どうやったら革新的な発明をさせないことができるか、というアンチパターン集。 イノベーターを面接でうっかり採用してしまう 部下が指示通り動かずイノベーションを起こしてしまう そこそこの表彰や報酬ではなく、イノベーションに対価を与えてしまう うっかりイノベーションのための機会を作ってしまい、社員をそこへ殺到させてしまう といった失敗が多い、悩みのある企業に効く処方箋だ。 生活の安定を得ることを目標にしている人を雇う 無能な人を雇う。無能な人が雇えないときでも、一分野に特化した専門性の高い人を雇う 給与レベルは市場の75%以下におさえる。給与を上げるとイノベーターをひきつけてしまう イノベーションの達人
秋元@サイボウズラボ・プログラマー・ブログ: FakeYourSpace クールなマイミク提供サービス
わはは。こりゃいいや。 # 「マイミク」は特定サービスの用語だけど、これが一番伝わるよなあ。「SNS友達」とか「コンタクト」とか言うべき? FakeYourSpaceは、MySpaceやFacebook(大学生向け大手SNS)で、友達リストにクール(カッコイイ・キレイ・その他)なニセの友達を用意してくれるという有料サービス。 ニセ友達は写真一覧から自由に選べて、ショッピングカートに追加するだけの簡単さ。クールな女友達はこちら。クールな男友達はこっち。 「さびしかった友達リストが賑やかになり、あなたもクールな友人がいっぱいいる人気者のように見えます。」というわけだ。 今なら、友達一人あたりなんとたった月1ドル。一週間に2個のコメントも書き込んでくれるという。特定のニセ友達とより仲が良いところを見せたければ、同じニセ友達を2回買えば週4個、3回買えば週6個のコメントをしてくれる。 また、単なる
ページ中の画像群で遊ぶJavascript | 秋元@サイボウズラボ・プログラマー・ブログ
via digg ロシアからのJavascriptネタ。 Google Imageの検索結果など、画像がたくさんあるページで、アドレスバーに以下のJavascriptをペーストして実行すると、おもしろい効果が出る。 javascript:R=0; x1=.1; y1=.05; x2=.25; y2=.24; x3=1.6; y3=.24; x4=300; y4=200; x5=300; y5=200; DI=document.images; DIL=DI.length; function A(){for(i=0; i<DIL; i++){DIS=DI[ i ].style; DIS.position='absolute'; DIS.left=Math.sin(R*x1+i*x2+x3)*x4+x5; DIS.top=Math.cos(R*y1+i*y2+y3)*y4+y5}R++}setI
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
OS Calculator – Windowsやマックの電卓を実機化 | 秋元@サイボウズラボ・プログラマー・ブログ
