エントリーの編集
エントリーの編集は全ユーザーに共通の機能です。
必ずガイドラインを一読の上ご利用ください。
スタンドアローンモードではなく、複数台のサーバーで動かす - yasuhisa's blog
記事へのコメント0件
- 注目コメント
- 新着コメント
このエントリーにコメントしてみましょう。
注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています
- バナー広告なし
- ミュート機能あり
- ダークモード搭載
関連記事
スタンドアローンモードではなく、複数台のサーバーで動かす - yasuhisa's blog
一台ではえらく簡単だったんだけど 複数台では結構つまづいた できたけどうまく理解できていない できた... 一台ではえらく簡単だったんだけど 複数台では結構つまづいた できたけどうまく理解できていない できたけど、もっと効率よくできるんじゃないか などなどあったので記録を取っておく。 複数台のサーバーで(mapとかreduceを)動かすための鍵になるコマンドがあって、それはhadoop dfs。一台で動かしていると(たぶん)使わないコマンド。map&reduceするためのRuby(orその他のスクリプト)をhadoopで動かしたいサーバーに浸透させないといけない。scpなどのコマンドを使って、全てのサーバーにコピー...とかをやるわけではなく(同期とかを考えるとめんどくさそう...)、hadoopがその付近をやってくれるらしい。ついでに言うと、普通のファイルシステム上にコピーとかをしているわけではなく、hadoop上のファイルシステム上にコピーをするようです。そういうわけで「ファイルちゃんと置い