インターン6週間経過 / BlueGenePツアー 2009-07-11 (Sat) 23:22 ANL Intern 2009 ついにBlueGene/P見て来ました。写真撮っても良いという事なので、遠慮なく撮りまくり。まずは全体像です。 ノードカード。4 core, 2G Memのノードになります。 ハーフラックボード。ノードカードが32枚ささります。合計128core。コモディティを使った場合との集積度の差はやはり凄いです(はてな1Uハーフサーバー)。お値段の問題が有りますけどねw ラック。ハーフラックボードが32枚刺さります。合計4096core。 nVidiaのGPUクラスタ。4ラック有りました。最近GPU流行ってるからなあ。 ストレージ。DataDirect Network社のものです。ラックに600個のドライブ(1Tのディスクを使えば600T)。6GB/s?(あやふや)ぐらい

Key-Value Store 勉強会を開催しました。 2009-02-26 (Thu) 3:08 勉強会 もう先週の金曜日になりますが、Key-Value Store勉強会というのを開きました。 既に素晴らしいまとめエントリが有りますので、詳細はこちらをご覧下さい。 Key-Value Store勉強会に行ってきました by katsumaさん Key-Value Store勉強会 by shudoさん はてなブックマーク「kvs」タグ UStream録画動画 by ichiiさん 日経BP社 中田さまには、草の根的勉強会にも関わらず、記事にして頂きました。有難うございます。 「キー・バリュー型データストア」開発者が大集合した夜 また、講師の方々に発表資料等をアップロードして頂いております。 末永さん: 全文検索エンジンgroongaをテストリリースしました 山田さん: About L

第16回オープンソーステクノロジー勉強会 2008-11-26 (Wed) 23:43 Hadoop | 勉強会 第16回GREE OSSテクノロジー勉強会でHadoopのお話をさせて頂きました。 第16回 オープンソーステクノロジー勉強会 第16回 オープンソーステクノロジー勉強会トラックバック一覧 前半は僕の方からMapReduceの簡単な紹介と実装。話を聞きに来られる方々の層が分かってなかったのですが、懇親会で話した方の様子を見てると、もうちょい進んだ内容でも良かったなと思いました・・・。 予め参加者のプロファイル(差し支えない範囲での所属や肩書き, ブログURL, などなど)を渡してもらえると発表者としては嬉しいかなとか思いました　＞　いちーさん、ふじもとさん 後半はohkura先生によるblogeyeの構築事例の紹介。個人でMax 80台まで使ってデータ処理をするという衝撃的な

Hadoop + Luceneで分散インデクシング 2008-08-27 (Wed) 1:07 Hadoop Hadoop (0.17系) + Lucene (2.3系) で検索用インデックスを分散インデクシングするコードを公開してみます。HDDに眠らせてるのはちょっともったいない。 いきなりソースコード。 package net.kzk9; import java.io.*; import java.util.*; import org.apache.hadoop.conf.*; import org.apache.hadoop.fs.*; import org.apache.hadoop.io.*; import org.apache.hadoop.mapred.*; import org.apache.hadoop.util.*; import org.apache.lucene.i

Hadoopの解析資料 PFIの方からHadoopの解析資料を公開しました。 - オープンソース分散システム「Hadoop」解析資料 Googleの論文に書かれている機能を列挙し、それがHadoopに実装されているかどうかを比較しています。それに加えてソースコード解析、簡単なベンチマークなどを記述しました。これでHadoopを実際のシステムに使ってみようという人が増えてくれると非常に嬉しいです。 この資料はNTTレゾナントの金田有二さんと共同で作成しました。いろいろと手伝って頂いて有難うございました > 金田さん

PLM勉強会 id:ichii386さんが主催されているPLM勉強会で岡野原先生に話して貰おうと盛り上がって、今日話して頂きました。 - 機械学習による自然言語処理チュートリアル なんだかCRFが分かった気になる貴重な3時間の講義でした。おかだいさんの説明/発表はいつ聞いても良いですね。物凄く分かった気になるｗ あとは色々知り合いの方がかけつけて下さり、飲み会も非常に楽しかったです。tabateeさんが幸せそうだったのが僕はとりわけ印象的でしたｗ また適当にやりましょうー > いちーさん

HDFSでアトミックな追記操作がサポート 2008-07-28 (Mon) 10:12 Hadoop 今週末、HDFS(Hadoop Distributed File System)についにアトミックな追記操作をサポートするパッチがコミットされたようです！ - HADOOP-1700 これが安定すれば、ログファイル等をどんどん追記して、半リアルタイムで解析するような基盤を簡単に作れるようになるでしょう。 そのほかにもHadoopは色々と開発が進んでいて、一部がTomWhiteさんのエントリにまとまっています。どんどん便利に、かつカスタマイズ可能になって行くので楽しいです。以下に簡単にまとめておきます。 JobSchedulerの改善(現在はFIFOしか無いが、Facebookから公平性を考慮したスケジューラーの実装が上がっている) HDFSのブロック配置アルゴリズムをプラッガブルに Ins

はてな合宿 ６月の週末にはてなさんの京都オフィスにお邪魔して３日間の合宿を行いました。その時にnaoya, oxy, kzkチームで作った「はてブ関連エントリー機能」が今日公開されました。 関連エントリー機能のリリースについて はてなブックマークの関連エントリー機能開発、PFI さんとの合宿 by naoya はてなブックマークの関連エントリー機能開発 by oxy はてブ関連エントリ 技術解説 by nvaca 僕は主にoxyの作ったエンジン(reflexaに使われている奴)をThriftのマルチスレッドサーバー上に載せる仕事をしました。マルチスレッド周りでエンジンに数箇所バグが有ったのでそれを取り、負荷生成ツールを作ってCPUを完全に使い切る所まで持っていくことができました。今までシングルスレッドで動かしてたんですよねー。 エンジン自体は行列を圧縮したり、上手く探索を枝狩りしてたりと、

カーネル読書会 ミラクルリナックス吉岡さんにお世話になって、第88回カーネル読書会で話させて頂く事になりました。 お題はHadooooooooop!です。 - 第88回カーネル読書会のおしらせ 是非お越しくださいませ :-)

Erlang勉強会 Erlang勉強会 行ってきました。初mixiオフィス。 Dynamoのアルゴリズムに関しては知ってる話だったので、僕としてはErlangの実装の所が色々と楽しかったです。プログラミング言語Erlangを４月に読んで、結局実際に書かずじまいになってるので良くないなあ。 あとTokyoTyrantではepoll(2)で読み込み可能なfdをゲットしてそれをqueueに入れて、スレッドプール(8 thread)で同期的にread(2)して処理しているらしい。 それだとまだ届いてないパケットが有る時にread(2)がブロックして最大性能が出ない気がするのですが、mixiで実際に運用してる所をみるとあんまり関係無いのかしら。 僕はいつもepoll(2)ループでプロトコルの終端までread(2)してから、その内容と共にqueueに突っ込んでたので、あれ？と思ってしまった。 打ち上げ

献本: Googleを支える技術 (株)技術評論社 土井様より、西田圭介さん著の「Googleを支える技術」を献本して頂きました。有難うございます。届いた１日目に全部読ませていただいたんですが、書くのが遅れました。 この本はGooglerが出している論文の中でも、特にインフラに関わる論文を平易な日本語で解説したものです。CSを学んでいる人にとってはGoogleの持つシステムの全体像を把握するのに最適な本ですし、初学者にとっても大量のマシンを使ってデータを処理するためにはどのような工夫がいるのかを学べる凄く良い本だと思います。プログラマとして世界中のデータを処理しているGoogleの技術を理解していることは必須ではないかと思います。 この本で興味を持った方は元論文、さらにはreferしている論文を読んで大規模分散システムについて色々と調べると面白いんじゃないんでしょうか。僕は一応全部読んだん

ACM/ICPC アジア地区予選東京大会 ACM/ICPC アジア地区予選東京大会に参加してきました。 - 問題 - NHKニュース - Unknown id:nyaasanのレポート - echizen.bat oxyさんのレポート - TalesOfCoders ymatsuさんのレポート - __________ id:kiwi_xpさんのレポート チームUnknownとして、id:nyaasan, id:ushioda、コーチchunさんと共に出場、結果は２位でした。 １位はoxyさん率いる京都大学echizen.batでした。終了1分前にひっくり返されました。それまでは時間でダントツで勝っていただけに悔しい。最後の最後でechizenの底力に負けました。優勝おめでとうございます。 3位は北京大学。3位は東京大学Makegumi。4位は北京大学A New Startでし