java 初心者が hadoop 開発できるようになるまで何を勉強したらいいですか？ - Qiita
質問 java 初心者が hadoop を開発できるレベルになるまで何を勉強したらいいでしょうか? おすすめの書籍、サイト、勉強法等あれば教えてください。 回答 java 初心者ということで, java に話題を絞って回答します. まずは「独習 java」でも Web 上の教材でも何でも良いので, java について構文とか基本的なところを押さえましょう. javadoc, jar については知っている必要があります. ant, maven まで概要を押さえられれば尚良いです. 次に hadoop プロジェクトが使用しているライブラリを把握しましょう. これは pom.xml という xml ファイルの dependencies 要素の中に列挙してあります. それぞれのライブラリがどのような目的のものかを把握するくらいで最低限良いでしょう. ライブラリの javadoc を読むのも良いです
HadoopのMapReduceのシャッフル - wyukawa's diary
象本2版の6.4 シャッフルとソートを読んでMapReduceのシャッフルって面白いし興味深いなーと思い、ついでに軽くHadoop 0.20系のソースもあわせて読んでみたのでメモっておく。 シャッフルっていうとまずソートのイメージだよね。ていうか僕自身はそうだった。 ワードカウントの例でいうとこんな感じ。キーでソートしてるね。 まあソートもメインな処理なんだろうけど他にもいろいろやってます。 map関数の出力からreduce関数の入力までの一連の処理をすべてシャッフルと呼ぶと思うんだけど、以下のようなことをやってます。 まずmapタスク側の処理を見て行きましょう。HadoopのソースはMapTaskが該当します。 mapタスクでは出力が書き込まれる循環メモリバッファがあります。これがMapOutputBufferに相当します。 このバッファの大きさがデフォルト100Mで80%書き込まれると
ノードの追加・削除 - kikumotoのメモ帳
ノードの追加・削除といった Hadoop の運用面について少し調べてみたのでメモ。 ノードの追加 ノードを追加するにはだいたい以下のような手順となる。 Hadoop のソフトウェアをインストールする。 このとき、hadoop-env.sh や conf/*.xml も設定しておく。 NameNode、JobTracker ノードからパスワードなしで ssh ログインできるようにしておく。 NameNode, JobTracker の conf/slaves に追加したノードを追記する。 最後に、追加したノードで以下のコマンドを実行する。 $ cd $HADOOP_HOME $ ./bin/hadoop-daemon.sh start datanode $ ./bin/hadoop-daemon.sh start tasktracker これで、Hadoop クラスタにノードが追加され、HD
trunk の hadoop の git log を効率よく追いかける方法 - Qiita
質問 git log でヒストリを追いかけようとすると、どうも過去にディレクトリツリーを大幅に変更したらしく、追いかけるのが大変です。 なんとかならないでしょうか。 回答 以下の3つのコミットハッシュをチェックアウトして、それぞれブランチを切っておけば多少は追いかけるのが楽になります。 pre-HADOOP-7560 コミットハッシュ eda88e7e1d1653643c959d547f672c9ad98f9dfb 最後のディレクトリ大改造。trunk だと git log 使ってもここまでしか追えないので超絶めんどくさい。そしてディレクトリ編成はこれだけではない。 pre-HADOOP-6671 コミットハッシュ 58ab6d673734f2ee9f514ac10a6d31655a1d1861 HADOOP-6671 でもかなり改造されてる。 pre-directory-name-cha
Hadoopはどのように動くのか ─並列・分散システム技術から読み解くHadoop処理系の設計と実装 記事一覧 | gihyo.jp
第21回Sparkの設計と実装［2］～Sparkにおけるデータ共有の仕組みと耐障害性の実現方法 猿田浩輔，山田浩之 2016-06-08
Hadoopソースコードリーディング 第17回に参加してきました | DevelopersIO
Hadoopソースコードリーディング 第17回に参加してきました。今回のテーマは7月にApacheのTop-Level Project入りしたばかりのApache Tezについてでした。なお、全体的にApache Sparkと比較する形での説明が多かったので、Sparkについてご存じない方は前回のHadoopソースコードリーディング 第16回に参加してきましたをご参照下さい。 NTTデータ濱野さんの冒頭の挨拶 今日は別のイベントも多いためいつもの半分ぐらいの参加者だが、その分Deepにやれれば いつもの会場だと途中からピザとお酒だが、今回の会場は飲食禁止なので最後までシラフで Tezに関する勉強会は初回なのにいきなりタイトルがInternalsとかになってますねｗ Tez Internals （@oza_x86 さん） @oza_x86 さんからはTez Internalsということで、S
overlasting.net
overlasting.net 2019 Copyright. All Rights Reserved. The Sponsored Listings displayed above are served automatically by a third party. Neither the service provider nor the domain owner maintain any relationship with the advertisers. In case of trademark issues please contact the domain owner directly (contact information can be found in whois). Privacy Policy
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
