package.json やロックファイルによるパッケージの依存関係の管理 - 30歳からのプログラミング
この記事では、npm installやnpm ciを実行したときにどのようにパッケージがインストールされるのか、依存パッケージにバージョンのコンフリクトが発生した際にどのように処理されるのか、などを見ていく。必要に応じて Yarn での挙動にも触れる。 動作確認に使った npm のバージョンは6.14.5。Yarn は1.22.4。 特に npm はバージョンによって動作が大きく異なるので、注意する。 package-lock.json によるバージョンの固定 package.jsonだけではインストールするパッケージのバージョンを固定できず、package-lock.json（Yarn の場合はyarn.lock）によってバージョンを固定する。 多くの人が知っている話ではあるが、重要な機能なので改めて触れておく。 package.jsonのdependenciesやdevDependen
Hadoop0.23 YARNの最小限サンプルを書いてみた - ひしだまの変更履歴
ひしだまＨＰの更新履歴。 主にＴＲＰＧリプレイの元ネタ集、プログラミング技術メモと自作ソフト、好きなゲームや音楽です。 Hadoop0.23.0が出たので、噂のMapReduce2.0であるYARNの最小限サンプルを書いてみた。 いやー、しかしYARNを甘く見てた＾＾； YARNはもうMapReduceとは（直接は）関係ないので、MapReduce2.0とは呼ばない方がいいね。 従来のHadoopなら、「MapReduceのプログラムを書くよ」と言ったら、MapperやReducerを実装するのをイメージすると思う。 そして、JobTrackerやTaskTrackerが自動的にタスク分割して実行してくれる。障害が発生したら別ノードで再実行してくれるし。 しかし「YARNのプログラムを書くよ」というのは、JobTrackerやTaskTrackerや障害対応をコーディングする事に相当する！
Hadoop0.23 YARNメモ(Hishidama's Hadoop0.23 YARN Memo)
概要 YARNは、Hadoop0.23におけるジョブ実行フレームワークの名前。 0.23より前のHadoopはMapReduceというアルゴリズム（に基づくフレームワーク）だったので、次世代MapReduceという意味でMapReduce2.0（MRv2）とも呼ばれているが、実際はもうMapReduceではないので、別の名前が付けられたのだろう。 YARNでは、以下のような手順でアプリケーションを実行する。 （ResourceManager（RM）とかApplicationMaster（App Mstr・AM）とかの関係については、YARN Architectureを参照） ClientがResourceManagerに対してプログラム（ApplicationMaster）の実行を依頼（submit）する。 ResourceManagerは、どこかのノードでApplicationMaste
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Hadoop2.2
