SC08 参加記 ２週間ほど前になりますが、スーパーコンピューティング系で最高峰の学会であるSCに参加してきました。既にいくつか記事を挙げられている方々がいらっしゃいます。 SC08小柳レポート Cheer! High Performance Computing まず驚いたのは、SCは学会等いうよりはさしずめ展示会という雰囲気だったことです。幕張メッセみたいな会場をイメージして頂けると良いです。そこで各企業が色々な出展をしています。 またSCはTop500が発表される事でも有名です。今回はRoadRunnerというCellを積んだクラスターが１位でした。世界で初めて1ペタフロップスを達成したシステムです。展示フロアではラックが展示されていたので説明を聞いてきました。 RRはブレードサーバー群で構成されており、4ブレードで1ノードというシステムです (図)。合計約6000ノードです。4ブレー

Thrift: TThreadPoolServer Thrift (ver. 20080411p1)のTThreadPoolServerがバグっている件。 過負荷時に、処理が追い付いていないにも関わらずaccept(2)し続け、ファイルディスクリプタを食いつぶす。 対処するには、まず以下のようにthreadManagerを作る際にタスクキューサイズの上限を設定する。ここでは128。 shared_ptr<ThreadManager> threadManager(ThreadManager::newSimpleThreadManager(20, 128)); 次に以下のパッチを当てる。 パッチ これで安定稼働する模様。 thanks to id:tkng and id:nvaca ってか次のstableいつでるんだよー！

Googleのロギングライブラリgoogle-glogを使ってみる 2008-10-15 (Wed) 15:23 Google OSS “google glog”で探せないgoogle-glogを軽く使ってみました。Googleからオープンソースで公開されたC++向けのロギングライブラリです。以下のエントリが参考になります。 C++ のプログラムのデバッグを楽にする方法 google-gflags 1.0と、google-glog 0.1をダウンロードしてインストールします。今回はgoogle-gflagsを使用する場合についてのみ記述します。また、glogのマニュアルに一通り目を通してから読まれると良いかと思います。 まずはとにかく動かしてみます。 #include int main(int argc, char **argv) { google::InitGoogleLogging(a

kzk's bookshelf id:nobu-qが僕のblogの本リストのヘビーユーザーらしいので、リストを作ってみました。 kzk's bookshelf 全部買うべき！(本当だろうか。 最近は出来るだけ帰宅してから読書するように頑張ってます。ここ1～2年ぐらいコード偏重すぎだったので。。。しっかりした書籍で基礎的な知識を補強した上で、論文を読み、自分のアイデアや実装等を出していけたら、と思います。 次はhigeponさんの読んでいる"Working Effectively With Legacy Code"が気になってます。

Hadoop + Luceneで分散インデクシング 2008-08-27 (Wed) 1:07 Hadoop Hadoop (0.17系) + Lucene (2.3系) で検索用インデックスを分散インデクシングするコードを公開してみます。HDDに眠らせてるのはちょっともったいない。 いきなりソースコード。 package net.kzk9; import java.io.*; import java.util.*; import org.apache.hadoop.conf.*; import org.apache.hadoop.fs.*; import org.apache.hadoop.io.*; import org.apache.hadoop.mapred.*; import org.apache.hadoop.util.*; import org.apache.lucene.i

Hadoopの解析資料 PFIの方からHadoopの解析資料を公開しました。 - オープンソース分散システム「Hadoop」解析資料 Googleの論文に書かれている機能を列挙し、それがHadoopに実装されているかどうかを比較しています。それに加えてソースコード解析、簡単なベンチマークなどを記述しました。これでHadoopを実際のシステムに使ってみようという人が増えてくれると非常に嬉しいです。 この資料はNTTレゾナントの金田有二さんと共同で作成しました。いろいろと手伝って頂いて有難うございました > 金田さん

blogeyeの実装に学ぶ、Amazon EC2/S3でのHadoop活用術 - blogeyeの実装に学ぶ、Amazon EC2/S3でのHadoop活用術 大倉さんによるHadoop記事第4回が公開されました！Hadoopを使用したサービスの具体的な構成方法・Amazon EC2/S3上でHadoopを動かすための具体的な方法が解説された貴重な記事です。是非お楽しみ下さい！ 過去記事はこちらになります。 Hadoop、hBaseで構築する大規模分散データ処理システム Hadoopのインストールとサンプルプログラムの実行 複数マシンへHadoopをインストールする 次回は連載最終回で、BigTableのクローン「hBase」の紹介を行う予定です。

PLM勉強会 id:ichii386さんが主催されているPLM勉強会で岡野原先生に話して貰おうと盛り上がって、今日話して頂きました。 - 機械学習による自然言語処理チュートリアル なんだかCRFが分かった気になる貴重な3時間の講義でした。おかだいさんの説明/発表はいつ聞いても良いですね。物凄く分かった気になるｗ あとは色々知り合いの方がかけつけて下さり、飲み会も非常に楽しかったです。tabateeさんが幸せそうだったのが僕はとりわけ印象的でしたｗ また適当にやりましょうー > いちーさん

HDFSでアトミックな追記操作がサポート 2008-07-28 (Mon) 10:12 Hadoop 今週末、HDFS(Hadoop Distributed File System)についにアトミックな追記操作をサポートするパッチがコミットされたようです！ - HADOOP-1700 これが安定すれば、ログファイル等をどんどん追記して、半リアルタイムで解析するような基盤を簡単に作れるようになるでしょう。 そのほかにもHadoopは色々と開発が進んでいて、一部がTomWhiteさんのエントリにまとまっています。どんどん便利に、かつカスタマイズ可能になって行くので楽しいです。以下に簡単にまとめておきます。 JobSchedulerの改善(現在はFIFOしか無いが、Facebookから公平性を考慮したスケジューラーの実装が上がっている) HDFSのブロック配置アルゴリズムをプラッガブルに Ins

はてな合宿 ６月の週末にはてなさんの京都オフィスにお邪魔して３日間の合宿を行いました。その時にnaoya, oxy, kzkチームで作った「はてブ関連エントリー機能」が今日公開されました。 関連エントリー機能のリリースについて はてなブックマークの関連エントリー機能開発、PFI さんとの合宿 by naoya はてなブックマークの関連エントリー機能開発 by oxy はてブ関連エントリ 技術解説 by nvaca 僕は主にoxyの作ったエンジン(reflexaに使われている奴)をThriftのマルチスレッドサーバー上に載せる仕事をしました。マルチスレッド周りでエンジンに数箇所バグが有ったのでそれを取り、負荷生成ツールを作ってCPUを完全に使い切る所まで持っていくことができました。今までシングルスレッドで動かしてたんですよねー。 エンジン自体は行列を圧縮したり、上手く探索を枝狩りしてたりと、

カーネル読書会 ミラクルリナックス吉岡さんにお世話になって、第88回カーネル読書会で話させて頂く事になりました。 お題はHadooooooooop!です。 - 第88回カーネル読書会のおしらせ 是非お越しくださいませ :-)

複数マシンへHadoopをインストールする Hadoop記事の第３回が公開されました。 複数マシンへHadoopをインストールする 今回はついに複数マシンでHadoopを動作させる方法を解説しています。次回は大倉さんの記事になります。 第１回、第２回は以下になります。 Hadoop、hBaseで構築する大規模分散データ処理システム Hadoopのインストールとサンプルプログラムの実行

献本: Googleを支える技術 (株)技術評論社 土井様より、西田圭介さん著の「Googleを支える技術」を献本して頂きました。有難うございます。届いた１日目に全部読ませていただいたんですが、書くのが遅れました。 この本はGooglerが出している論文の中でも、特にインフラに関わる論文を平易な日本語で解説したものです。CSを学んでいる人にとってはGoogleの持つシステムの全体像を把握するのに最適な本ですし、初学者にとっても大量のマシンを使ってデータを処理するためにはどのような工夫がいるのかを学べる凄く良い本だと思います。プログラマとして世界中のデータを処理しているGoogleの技術を理解していることは必須ではないかと思います。 この本で興味を持った方は元論文、さらにはreferしている論文を読んで大規模分散システムについて色々と調べると面白いんじゃないんでしょうか。僕は一応全部読んだん

Thriftを利用したログからの復旧機能の実装 2008-02-13 (Wed) 23:16 Thrift さてさて卒論発表終わりましたよ。寝まくり＆飲んだくれ＆焼肉。暇な人遊んで。 最近、多言語RPC機構が欲しくなる機会が多く、Thriftを使ってみたりしています。 公式ページ 公式White Paper フレームワーク 「 Thrift 」 調査報告 まずは3つ目のサイボウズ開発本部アルバイトの山本さんの記事を読むと、thriftがどういうものなのかが分かると思います。簡単に言いますと、RPCのAPIを独自記法で定義したファイルを用意し、それをthriftコンパイラに入力として与えると、各言語用にＲＰＣ用のコードを自動生成してくれるというものです。 クライアント・サーバーコードを各言語で書けるのは当然として、マルチスレッド型・イベント型などサーバーの種類を選べる等々、色々気が利いていて

blogeye blogeye: ブログを通して社会をのぞく ohkura先輩による「何でも早期発見システム」 kizasi.jpへのリンクも張っておこう。クロール量はkizasiより多いみたい。流行ってるワードの精度は僕は世間から乖離してるので不明。 ACミランの男性比が高かったり、忘年会の１０代比が低かったりするのは面白い。さすが。 # しかしブログ検索よりは面白いけど、へーと納得して終わってしまう・・・。 # 何か面白い見せ方出来ないかなぁこれ。

Android Review 2007-11-14 (Wed) 5:55 Uncategorized - Android - An Open Handset Alliance Project - Google’s Android OS early look SDK now available - グーグルが広げる携帯電話の可能性–Andoroidファーストルック HelloWorldを書くのは既にんぱか大先生にやられてしまったので、もうちょっと先を追ってみよう。iアプリからプログラミングを始めた人間としてクラス一覧を眺めていて気になったのは次のような機能。 バックグラウンドプロセス (Service, Intent, Intent Receiver) Android IDLを使ったInterProcessCommunicationの仕組み データベース (SQLiteDatabase)

ACM/ICPC アジア地区予選東京大会 ACM/ICPC アジア地区予選東京大会に参加してきました。 - 問題 - NHKニュース - Unknown id:nyaasanのレポート - echizen.bat oxyさんのレポート - TalesOfCoders ymatsuさんのレポート - __________ id:kiwi_xpさんのレポート チームUnknownとして、id:nyaasan, id:ushioda、コーチchunさんと共に出場、結果は２位でした。 １位はoxyさん率いる京都大学echizen.batでした。終了1分前にひっくり返されました。それまでは時間でダントツで勝っていただけに悔しい。最後の最後でechizenの底力に負けました。優勝おめでとうございます。 3位は北京大学。3位は東京大学Makegumi。4位は北京大学A New Startでし

近況 研究室に席を貰った。地下より空気が良い。研究テーマも一応決まった? 某所でクラスタセットアップ。HP Proliantクラスタ家に欲しい。 伊東温泉で開発合宿。これの山喜旅館に会社のお金で二泊。部屋、会議室共に無線LANが快適に繋がって大満足。最近はコードレビュー、保守、bug fixばかりだったので新しいコードをごりごり書く事が出来てよかった。寿司旨すぎ。 Solarisと格闘。32 thread / chip。近いうちにdtraceをマスターしたい。Twitterもdtraceでボトルネックを潰しているらしい。レイヤー毎に解析出来るのが素晴らしすぎる。これも参考に。20台位かなと予想してたんだが、8台。Sun X4100。 日光東照宮に行ってきた。山はいいなぁ。 東京芸大の人とジンギスカン。違う分野の人と飲むのは楽しい。 あ、あと水野さんの動画面白かった！僕はこういうのすっ飛ばし