Hadoop0.23 YARNメモ(Hishidama's Hadoop0.23 YARN Memo)
概要 YARNは、Hadoop0.23におけるジョブ実行フレームワークの名前。 0.23より前のHadoopはMapReduceというアルゴリズム（に基づくフレームワーク）だったので、次世代MapReduceという意味でMapReduce2.0（MRv2）とも呼ばれているが、実際はもうMapReduceではないので、別の名前が付けられたのだろう。 YARNでは、以下のような手順でアプリケーションを実行する。 （ResourceManager（RM）とかApplicationMaster（App Mstr・AM）とかの関係については、YARN Architectureを参照） ClientがResourceManagerに対してプログラム（ApplicationMaster）の実行を依頼（submit）する。 ResourceManagerは、どこかのノードでApplicationMaste
Hadoop CDH3メモ(Hishidama's Hadoop0.20 CDH3 Memo)
HADOOP_HOME/bin/hadoop-config.shを修正する。（HADOOP_HOMEの設定を追加する）# the root of the Hadoop installation if [ -z "$HADOOP_HOME" ]; then export HADOOP_HOME=`dirname "$this"`/.. else export HADOOP_HOME=$(cygpath -u "$HADOOP_HOME") fi HADOOP_HOME/conf/hadoop-env.shを修正する。（JAVA_HOMEの設定を追加する）# export JAVA_HOME=/usr/lib/j2sdk1.6-sun export JAVA_HOME=/usr/local/jdk1.6 試しにhadoopコマンドを実行してみる。$ hadoop $ hadoop classp
バッチメモ(Hishidama's bat-file Memo)
実行方法 引数の注意点 [2013-03-05] 定石 書き方 @echo off 別バッチの実行方法 [2007-03-07] タイトル変更方法 [2009-11-14] バッチの場所取得 [2009-11-14] 変数 バッチの戻り値 注意点 [/2007-06-15] 標準入力 [2007-10-26] 実行方法 バッチファイルの拡張子をbatにしておく。 このファイルがある場所を環境変数PATHに追加しておくか、ファイルのある場所まで移動して、 コマンドラインからファイル名を入力するか、拡張子を除いた部分を入力することによって バッチを実行する。 またはフルパスでファイル名を入力する。 ディレクトリやファイル名にスペースが入っている場合は、全体をダブルクォーテーションでくくらないと、スペースの所で区切られてしまう。（コマンド用のファイル名にスペースを入れることはあまり無いだろうが…
Java総称型メモ(Hishidama's Java Generics Memo)
メソッドの総称型 メソッドのみに総称型を適用した定義を行うことも出来る。[2007-06-12] 戻り値の型の直前に「<仮型引数, 仮型引数…>」を置くだけ。後はクラスの場合と同様。 public static <T> T notNull(T arg1, T arg2) { T ret; if (arg1 != null) { ret = arg1; } else { ret = arg2; } return ret; } このメソッドを呼び出す側は、クラスの場合とは異なり、明示的に型引数を指定する必要は無い。 指定した引数の値に応じて、自動的に型が判断される。 String s = notNull("abc", "def"); //型引数はString Long l = notNull(new Long(1), new Long(2)); //型引数はLong int i = notNu
Java正規表現メモ(Hishidama's Java Regular Expression Memo)
asPredicate() パターンにマッチするものが1つでもあるかどうかを判定する関数を返す。（JDK1.8）[2014-04-15] Pattern pattern = Pattern.compile("123"); Predicate<String> predicate = pattern.asPredicate(); System.out.println(predicate.test("abc123def")); ↓実行結果 true これは、以下の関数（ラムダ式）と同じ。 Pattern pattern = Pattern.compile("123"); Predicate<String> predicate = s -> pattern.matcher(s).find(); asMatchPredicate() パターンに（完全に）マッチするかどうかを判定する関数を返す。（Ja
ウィンドウズのDOSコマンド
往年のMS-DOSやWindowsのコマンドプロンプト（DOSプロンプト…どの呼び方が正しいかについてはノーコメント）から入力して実行するコマンド。 コマンドプロンプトを起動してコマンドを入力するか、もしくはコマンドプロンプトを起動せず、「スタート」→「ファイル名を指定して実行(R)」から直接コマンドを入力してもたいていは大丈夫。 Windows7では、管理者として実行しないと権限エラーになるコマンドがある（管理者権限のあるユーザーというだけでは駄目）。[2011-09-23] その場合、コマンドプロンプトを管理者として起動する。 →常に管理者として実行するよう設定する方法 終了関連（exit,logoff,shutdown） [/2006-11-07] 端末関連（cls, prompt, title等） [/2006-07-24] ファイル操作関連（dir, tree等） [/2011-
ひしだまのコンピューター関連技術メモ
S-JIS[1998-01-11/2024-03-10] 変更履歴 ひしだま's 技術メモページ 自作ソフトを作った時などに気付いた事などをメモにしています。（自分のノート代わり） Access [/2005-03-15] Ant [/2015-12-28] Apache [/2007-09-28] AsakusaFW [/2021-12-21] awk [/2014-05-01] AWS [/2021-07-13] C言語 [/2016-04-09] Cassandra [/2010-10-21] CMake [/2016-04-27] CVS [/2007-10-04] Cygwin [/2016-11-26] DigDag [/2021-10-30] Docker [2023-10-07] DOS [/2016-12-10] Eclipse [/2018-09-22] Embulk
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
