jitsu102のブックマーク - はてなブックマーク

Cloudera Distribution for Hadoopのインストール方法 - moratorium

Cloudera Distribution for Hadoopのインストール方法 2009-11-03 (Tue) 1:08 Hadoop 昔色々と記事を書きましたが、１年半経って、もはや内容が古くなって来ました。 Hadoopのインストールは、最近はCloudera Distribution for Hadoopを使用するのが一般的なようなので、こちらでのインストール方法を紹介します。まずはEC2で２インスタンス立ち上げます。一つがNameNode/JobTracker用、もう一つがDataNode/TaskTracker用です。仮に、ホスト名をmaster, slaveとしておきます。OSはCentOSが推奨されています。次にCloudera Configuratorにアクセスし、使用するクラスタの構成などを入力します。それらの情報(例：ノードのコア数・メモリ容量・台数など)から

jitsu102 2009/11/05

hadoop

リンク

Hadoop World NYC 参加記 - moratorium

Hadoop World NYC 参加記 2009-10-07 (Wed) 10:03 Hadoop と言う訳でHadoop World NYC, 2009の参加記を書きます。 1日目はSystem Administrator用のトレーニングコースを受け、2日目がカンファレンス本番でした。トレーニングコースはDeveloper向け(3日間)とManager向けのビジネス寄りのコースが有り、合計で100人ぐらいは参加していたと思います。カンファレンスの本番自体は400～500人の参加でした。まずSystem Adminコースですが、大体以下のような内容でした。 MapReduceの基本概念ハードウェア/ネットワーク機器の選定ポイント OSやJavaなど、ソフトウェアでの注意点 Hadoop(Cloudera Distribution)のインストール方法パラメーター/パフォーマンスチュー

jitsu102 2009/10/08

hadoop

リンク

常駐型サーバープログラムのデバッグ手法

BOOK: WEB+DB Press TITLE: 常駐型サーバーのデバッグ手法(ドラフト版) AUTHOR: (株)プリファードインフラストラクチャー太田一樹＊注: この文章はWEB+DB PRESS Vol.48に掲載された記事のドラフト版ですはじめに今回はデバッグ関連特集ということで、常駐型サーバープログラムを作成する際のハマりどころやそれに対する解析方法・解析ツール・対策を、実際の経験を交えながら紹介したいと思います。筆者は(株)プリファードインフラストラクチャーでインメモリ分散検索エンジン「Sedue (セデュー)」を開発しています。モバイル向け検索エンジン「エフルート」や、2008/11/6にリニューアルされました「はてなブックマーク2」などの検索バックエンドとして使われております。この検索エンジンはいくつかの常駐型サーバープログラムから構成されており

jitsu102 2009/04/07

debug

リンク

Amazon Elastic MapReduceを使ってみた - moratorium

Amazon Elastic MapReduceを使ってみた 2009-04-03 (Fri) 3:06 Amazon EC2 連日のEC2ネタです。本日、AmazonからElastic MapReduceというサービスがリリースされました。大規模データ処理技術が一気に民間の手に下りてくる、まさに革命的なサービスだと思います。 Amazon Elastic MapReduce Amazon ElasticMapReduce 紹介ビデオ With Hadoop, Amazon Adds A Web-Scale Data Processing Engine To Its Cloud Computer by techcrunch.com Elastic MapReduceは、Googleの基盤技術の一つであるMapReduceを時間単位課金で実行できるサービスです。MapReduceについては以

jitsu102 2009/04/04

リンク

Key-Value Store 勉強会を開催しました。 - moratorium

Key-Value Store 勉強会を開催しました。 2009-02-26 (Thu) 3:08 勉強会もう先週の金曜日になりますが、Key-Value Store勉強会というのを開きました。既に素晴らしいまとめエントリが有りますので、詳細はこちらをご覧下さい。 Key-Value Store勉強会に行ってきました by katsumaさん Key-Value Store勉強会 by shudoさんはてなブックマーク「kvs」タグ UStream録画動画 by ichiiさん日経BP社中田さまには、草の根的勉強会にも関わらず、記事にして頂きました。有難うございます。「キー・バリュー型データストア」開発者が大集合した夜また、講師の方々に発表資料等をアップロードして頂いております。末永さん: 全文検索エンジンgroongaをテストリリースしました山田さん: About L

jitsu102 2009/03/06