Hadoop + Luceneで分散インデクシング - moratorium
Hadoop + Luceneで分散インデクシング 2008-08-27 (Wed) 1:07 Hadoop Hadoop (0.17系) + Lucene (2.3系) で検索用インデックスを分散インデクシングするコードを公開してみます。HDDに眠らせてるのはちょっともったいない。 いきなりソースコード。 package net.kzk9; import java.io.*; import java.util.*; import org.apache.hadoop.conf.*; import org.apache.hadoop.fs.*; import org.apache.hadoop.io.*; import org.apache.hadoop.mapred.*; import org.apache.hadoop.util.*; import org.apache.lucene.i
BlueGeneのアーキテクチャ超適当まとめ - moratorium
BlueGeneのアーキテクチャ超適当まとめ 2009-06-13 (Sat) 13:28 ANL Intern 2009 私的メモエントリです。IBM製のスパコン、BlueGeneの特徴をまとめてみます。 以下参考URL。 IBM Research | Blue Gene An Overview of the BlueGene/L Supercomputer, SC2002 Toward Message Passing for a Million Processes: Characterizing MPI on a Massive Scale Blue Gene/P, ISC2009 Wikipedia: BlueGene 以下、特徴を箇条書き。 PowerPCベースのプロセッサ。BG/Lは700MHz, BG/Pは850MHz。各コアに1個ずつ、DoubleFPUが付属。BG/Pからは
常駐型サーバープログラムのデバッグ手法
BOOK: WEB+DB Press TITLE: 常駐型サーバーのデバッグ手法(ドラフト版) AUTHOR: (株)プリファードインフラストラクチャー 太田一樹 ＊注: この文章はWEB+DB PRESS Vol.48に掲載された記事のドラフト版です はじめに 今回はデバッグ関連特集ということで、常駐型サーバープログラムを作成する際のハマりどころやそれに対する解析方法・解析ツール・対策を、実際の経験を交えながら紹介したいと思います。 筆者は(株)プリファードインフラストラクチャーでインメモリ分散検索エンジン「Sedue (セデュー)」を開発しています。モバイル向け検索エンジン「エフルート」や、2008/11/6にリニューアルされました「はてなブックマーク2」などの検索バックエンドとして使われております。 この検索エンジンはいくつかの常駐型サーバープログラムから構成されており
Amazon Elastic MapReduceを使ってみた - moratorium
Amazon Elastic MapReduceを使ってみた 2009-04-03 (Fri) 3:06 Amazon EC2 連日のEC2ネタです。本日、AmazonからElastic MapReduceというサービスがリリースされました。大規模データ処理技術が一気に民間の手に下りてくる、まさに革命的なサービスだと思います。 Amazon Elastic MapReduce Amazon ElasticMapReduce 紹介ビデオ With Hadoop, Amazon Adds A Web-Scale Data Processing Engine To Its Cloud Computer by techcrunch.com Elastic MapReduceは、Googleの基盤技術の一つであるMapReduceを時間単位課金で実行できるサービスです。MapReduceについては以
Googleのロギングライブラリgoogle-glogを使ってみる - moratorium
Googleのロギングライブラリgoogle-glogを使ってみる 2008-10-15 (Wed) 15:23 Google OSS “google glog”で探せないgoogle-glogを軽く使ってみました。Googleからオープンソースで公開されたC++向けのロギングライブラリです。以下のエントリが参考になります。 C++ のプログラムのデバッグを楽にする方法 google-gflags 1.0と、google-glog 0.1をダウンロードしてインストールします。今回はgoogle-gflagsを使用する場合についてのみ記述します。また、glogのマニュアルに一通り目を通してから読まれると良いかと思います。 まずはとにかく動かしてみます。 #include int main(int argc, char **argv) { google::InitGoogleLogging(a
moratorium | SC08 参加記
SC08 参加記 ２週間ほど前になりますが、スーパーコンピューティング系で最高峰の学会であるSCに参加してきました。既にいくつか記事を挙げられている方々がいらっしゃいます。 SC08小柳レポート Cheer! High Performance Computing まず驚いたのは、SCは学会等いうよりはさしずめ展示会という雰囲気だったことです。幕張メッセみたいな会場をイメージして頂けると良いです。そこで各企業が色々な出展をしています。 またSCはTop500が発表される事でも有名です。今回はRoadRunnerというCellを積んだクラスターが１位でした。世界で初めて1ペタフロップスを達成したシステムです。展示フロアではラックが展示されていたので説明を聞いてきました。 RRはブレードサーバー群で構成されており、4ブレードで1ノードというシステムです (図)。合計約6000ノードです。4ブレー
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
