In this entry, I try to introduce how to use FFI (Foreign Function Interface) of Go. I choosed to write the wrapper for TokyoCabinet, a database library. To call C and C++ code from go, you need to use cgo command. And the simple example is contained in go distribution ($GOROOT/misc/cgo/stdio and $GOROOT/misc/cgo/gmp). cgo commands converts *.go files into *.c and *.go files. Then compiles them an

Hadoop World NYC 参加記 2009-10-07 (Wed) 10:03 Hadoop と言う訳でHadoop World NYC, 2009の参加記を書きます。 1日目はSystem Administrator用のトレーニングコースを受け、2日目がカンファレンス本番でした。トレーニングコースはDeveloper向け(3日間)とManager向けのビジネス寄りのコースが有り、合計で100人ぐらいは参加していたと思います。カンファレンスの本番自体は400～500人の参加でした。 まずSystem Adminコースですが、大体以下のような内容でした。 MapReduceの基本概念 ハードウェア/ネットワーク機器の選定ポイント OSやJavaなど、ソフトウェアでの注意点 Hadoop(Cloudera Distribution)のインストール方法 パラメーター/パフォーマンスチュー

Hadoop World 2009 @ NYC 2009-10-04 (Sun) 17:13 Hadoop Hadoop World 2009に参加するために、NewYorkに来ています。参加者は全体で500人ぐらい。日本からは6～7人ぐらい参加していました。 Cloudera (Hadoopの商用サポートを行っている企業) のMike Olson CEO。BerkeleyDBを作っていたSleepyCatの元CEO。 同じくClouderaのChristophe Bisciglia。 名刺交換してると、色々なIndustryの人がいて面白かったです。かなり盛り上がりを感じました。Clouderaの方に聞いた所、小さいウェブスタートアップから、大きいキャリアまで、色々適用範囲が広がっているようです。まだまだ20人ぐらいの会社なのに、プレセンスが大きくて凄いなーと思いました。 個人的には、S

インターン6週間経過 / BlueGenePツアー 2009-07-11 (Sat) 23:22 ANL Intern 2009 ついにBlueGene/P見て来ました。写真撮っても良いという事なので、遠慮なく撮りまくり。まずは全体像です。 ノードカード。4 core, 2G Memのノードになります。 ハーフラックボード。ノードカードが32枚ささります。合計128core。コモディティを使った場合との集積度の差はやはり凄いです(はてな1Uハーフサーバー)。お値段の問題が有りますけどねw ラック。ハーフラックボードが32枚刺さります。合計4096core。 nVidiaのGPUクラスタ。4ラック有りました。最近GPU流行ってるからなあ。 ストレージ。DataDirect Network社のものです。ラックに600個のドライブ(1Tのディスクを使えば600T)。6GB/s?(あやふや)ぐらい

インターン１か月経過 2009-06-29 (Mon) 19:45 ANL Intern 2009 | 研究 早いもので、4週が経過しました。 1～2週目で、「こやつは好きにやらせても大丈夫だフラグ」を立てることに成功したので、がんがんコミットしてます。gitを大体覚えた(WEB+DB Press持ってきて良かった!)。残り1カ月でアイデアの実装/負荷テストまでは一通り終われそうな感じです。実アプリ/ベンチマークでの検証作業は、日本帰ってからかな～という感じ。 3週目にはshi3zさんがLog Angelesから大陸鉄道Amtrakで40時間かけて来てくれて、シカゴ市内を色々と一緒に観光しました。相当楽しくて、良い息抜きになりました。今回の観光で、台北101/エンパイアステートビルに続いてシアーズタワーの模型をゲットしました。いつかブルジュ・ドバイにも行きたいです。 Facebookの写真

BlueGeneのアーキテクチャ超適当まとめ 2009-06-13 (Sat) 13:28 ANL Intern 2009 私的メモエントリです。IBM製のスパコン、BlueGeneの特徴をまとめてみます。 以下参考URL。 IBM Research | Blue Gene An Overview of the BlueGene/L Supercomputer, SC2002 Toward Message Passing for a Million Processes: Characterizing MPI on a Massive Scale Blue Gene/P, ISC2009 Wikipedia: BlueGene 以下、特徴を箇条書き。 PowerPCベースのプロセッサ。BG/Lは700MHz, BG/Pは850MHz。各コアに1個ずつ、DoubleFPUが付属。BG/Pからは

インターン: 一週間が経過 2009-06-07 (Sun) 12:12 ANL Intern 2009 | 研究 シカゴに来て、早くも一週間が過ぎました。 人とプロジェクトの把握をする/どういう作業をするか決める/仕事の進め方を把握する、のに数日かかりましたが、週の後半にはいくつかパッチも作って、コミットされそうで良かったです。 ANLにはHPC分野で有名なソフトウェアの主要開発者が同じ階にそろっていて、廊下を歩くだけでワクワクします(NetCDF, MPICH2, ROMIO, IOFWD, BMI, PVFS)。無理やり例えるならRoR・Rubyインタプリタ・mod_ruby・Apache・MySQLの作者が全員同じ廊下に同居してるみたいな感じでしょうか。 下位レイヤ/上位レイヤで分からないことが有ったらすぐに聞けるのは、ソフトウェアの研究を進める上でもの凄く大きなアドバンテージだと

サマーインターン @ Argonne National Laboratory 2009-05-26 (Tue) 4:09 ANL Intern 2009 | 研究 2009/6月～2009/7月に、Argonne National Laboratory, Mathematical and Computer Science Divisionでサマーインターン(修士生受け入れプログラム)をしてきます。僕の指導教官の石川大先生のツテです。 アルゴンヌ国立研究所は、現在Top500で第5位のBlueGene/P(163,840 Processors)が設置されているアメリカの研究機関です。 Argonne National Laboratory Argonne National Laboratory, Mathematical and Computer Science Division HPC環境

Debug Hacks, C++テンプレートテクニック購入 2009-04-30 (Thu) 3:12 本 久々にAmazonで和書を購入しました。Debug Hacks, C++テンプレートテクニックスの2冊です。 参考URLです。 Debug Hacks by id:hyoshiokさん 『C++テンプレートテクニック』もうすぐ発売です。 by id:faith_and_braveさん WordPressのAmazon ISBN Anchorプラグインの練習も兼ねたエントリです。はてなのはまぞうみたいに、著者名とかも勝手に出て欲しいなあ。 何か良いPlugin無いですかしら…。 Similar Posts: Pythonのテンプレートエンジン AzaraC Binary Hacksの広告 Older: PCI Express経由のSSDドライブが色々登場 Comments:0 Com

WordPress高速化のためにAPCを導入 @ Ubuntu Hardy 2009-04-14 (Tue) 4:03 WordPress まだブログ(Word Press)が重い!といわれて悔しいので、APCを導入してみました。PHPの中間表現を最適化したり、コンパイル済みバイトコードをshmemにキャッシュしてくれるらしいです。 Wikipedia: PHP accelerator APCは以下の手順で5分程度で導入完了しました。環境はUbuntu Hardyです。ApacheのMultithread Workerは何かと怖いので、Preforkを使います。 $ apt-get update $ apt-get install php5-dev $ apt-get install php-pear $ apt-get install apache2-prefork-dev $ pecl

BOOK: WEB+DB Press TITLE: 常駐型サーバーのデバッグ手法(ドラフト版) AUTHOR: (株)プリファードインフラストラクチャー 太田一樹 ＊注: この文章はWEB+DB PRESS Vol.48に掲載された記事のドラフト版です はじめに 今回はデバッグ関連特集ということで、常駐型サーバープログラムを作成する際のハマりどころやそれに対する解析方法・解析ツール・対策を、実際の経験を交えながら紹介したいと思います。 筆者は(株)プリファードインフラストラクチャーでインメモリ分散検索エンジン「Sedue (セデュー)」を開発しています。モバイル向け検索エンジン「エフルート」や、2008/11/6にリニューアルされました「はてなブックマーク2」などの検索バックエンドとして使われております。 この検索エンジンはいくつかの常駐型サーバープログラムから構成されており

Amazon Elastic MapReduceを使ってみた 2009-04-03 (Fri) 3:06 Amazon EC2 連日のEC2ネタです。本日、AmazonからElastic MapReduceというサービスがリリースされました。大規模データ処理技術が一気に民間の手に下りてくる、まさに革命的なサービスだと思います。 Amazon Elastic MapReduce Amazon ElasticMapReduce 紹介ビデオ With Hadoop, Amazon Adds A Web-Scale Data Processing Engine To Its Cloud Computer by techcrunch.com Elastic MapReduceは、Googleの基盤技術の一つであるMapReduceを時間単位課金で実行できるサービスです。MapReduceについては以

Amazon EC2 Reserved Instance購入 2009-03-28 (Sat) 14:35 Amazon EC2 EC2 Reserved Instanceを1つ(1year, small, us-east-1b)購入し、kzk9.netをその上で稼働させ始めました。 これによって、年間コストが $876 から $325 になりました。 移行には以下のエントリが参考になりました。有難うございます。 Amazon EC2のReserved Instancesを使ってみる EC2 Reserved Instanceを使う 稼働中のインスタンスをReserved Instanceには出来ないようだったので、AMIを作成して丸ごとコピーを取りってから、それを使用して新しいインスタンスを立ち上げました。 Elastic IPを新しいインスタンスに結びつけるための数秒のダウンタイムで移

本日、kzk9.netをAmazon EC2上(1 Small Instance)に移行しました。 合わせて、今までブログツールとしてMovabileTypeを使用していたのを、WordPressに移行しました。以下のエントリが非常に参考になりました、ありがとうございます。 固定リンクを変えずにスムーズにMovableTypeからWordPressに移行するまでの作業ログ また、以下のテーマ・プラグインを使用させて頂いています。 wp.Vicuna Ext Vicuna Adapter - はてな系 FeedLocations - FeedURLの変更 まだ色々と調整中ですが、完全移行に向けて、ちまちまと作業して行きたいと思います。レスポンスの方ですが、少し気になりはしますが、E-Mobileで日常的に過ごしている自分としてはあまり気にならないレベルじゃないかと。 元々kzk9.netはM

Key-Value Store 勉強会を開催しました。 2009-02-26 (Thu) 3:08 勉強会 もう先週の金曜日になりますが、Key-Value Store勉強会というのを開きました。 既に素晴らしいまとめエントリが有りますので、詳細はこちらをご覧下さい。 Key-Value Store勉強会に行ってきました by katsumaさん Key-Value Store勉強会 by shudoさん はてなブックマーク「kvs」タグ UStream録画動画 by ichiiさん 日経BP社 中田さまには、草の根的勉強会にも関わらず、記事にして頂きました。有難うございます。 「キー・バリュー型データストア」開発者が大集合した夜 また、講師の方々に発表資料等をアップロードして頂いております。 末永さん: 全文検索エンジンgroongaをテストリリースしました 山田さん: About L

HDFS Reliability Document by Cloudera. Inc. 2009-01-14 (Wed) 23:57 Hadoop HDFS Reliability Clouderaという会社から、HDFSの耐障害性の解説と、運用する点でのポイントが書かれたドキュメントが出ているみたいです。 Cloudera このClouderaという会社はSleepycat(BDB作ってた会社、Oracleが買収)の元CEOが立ち上げた会社で、Hadoopの商用サポート・トレーニングをしてるみたいですね。 メンバーを見ると、層々たる面々。ChristophさんはGOOGにいる時に取り上げられてたりしてましたね。 Hadoop周りの人(そんな人いるのか？)は要注目の会社だと思います。 Similar Posts: HDFSでアトミックな追記操作がサポート Hadoopのインストールとサンプ

2008年まとめ 年末は時間が取れないので、もうまとめてしまいます。 今年は色々とアウトプット出来た年だったかなと。 まずコーディング。コミット数は目標としてた1000を突破して、合計1100ぐらいでした。去年は783です。意識的にコーディング時間を増やしていたので、増えるとは思っていたけど思ったより増えた。このペースを維持して行きたいですね。解析の結果、3月・6月・9月にバーストする事が判明しました。気候に左右されすぎ。 今年もあのsscmの時の経験が色々と生きたなあと本当に思った。YamaKenさんとjun0さん元気かなあ。 ネットワークの設定はPFIでDC借りたので、それに乗じてかなり色々覚えれた。L3 switchで色々遊んでみた。思えば去年はvlanとか名前しか知らん状態だったからなあ...。ひどい。LVSとかもついでに覚えた。今年はVMを覚えないと。 次は論文。卒論で英語論文を