Treasure Dataプラットフォームの管理画面を作る - mikedaの日記
前置きです。 IT界隈の人とHadoopの話をするとこういうギャップを感じます。 Hadoop使ってみたいところ >>> 実際に使っているところ みんな どう使って、どう収益に結びつけるか 設計、サーバ購入、構築、運用などなどの技術的コスト とか考え始めて止まっちゃいます。たぶん考えるよりTreasureData使ってみたほうが早いです。 そんなの使ってみないとよくわからんからです。 Hadoopガッツリ使ってました！なんて人そうそういないのです。 というわけで問答無用で構築して（そのあたりは前記事）、簡単な管理画面を作ってサービスチームに公開しています。 無料のトライアル版でもけっこう使えますし、気合入れればきっと数日で構築出来ます。 以下はその管理画面についてです。 ポイントはとにかく、『テキトウに作ってさっさと使ってみる』です。 （ちゃんとしたものはそのうちだれかが作ってくれるでしょ
GoogleのMapReduceは僕たちに必要か？ - きしだのはてな
ということで、Google MapReduceの実装であるHadoopを使ったMapReduceと、JMSを使ったMapReduceをやってみました。 メッセージキューを使って分散MapReduceを実装する HadoopでのMapReduceを気軽に試すサンプル これ何のためにやったかというと、そこらにあるような数十台規模のサーバーを前提としたときに、Hadoopの有効性、ひいてはその元になってるGoogle MapReduceの有効性について疑問に思ったからです。そこで、ちょっと試してみた、と。 ここで、メッセージキューを使った場合に1秒でできてた処理が、Hadoopを使うとスタンドアロンモードでも40秒近くかかりました。擬似分散モードだと4分近くです。 いくらHadoopの実装がひどいとしても、これはあんまりです。 Googleでの実装はもっと効率的なものになっていると思いますが、そ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
English (US)
