はてなブックマーク

先日、Spark 1.4.0 がリリースされ、多数のアップデートがある SparkR 運用モニタリングとDAGのビジュアライゼーション REST API DataFrame API この中でも、SparkR という、統計言語 R から Sparkを利用できる拡張を今回は試したい。他のHadoop関連記事では、無視されやすい Windows も取り扱う。 R には、以前から、SparkR-pkg(https://github.com/amplab-extras/SparkR-pkg/) というプロジェクトが Github上にあり、今回、これが本家に統合された形のようだ。 ビルド済みパッケージの入手 まずビルドからはじめるが、ビルドが面倒ならば、Windows にも対応したビルド済みパッケージを以下から入手できる。 Spark 1.4.0 のビルド 以前のこの記事シリーズと同じく、まずは、ビル

ログ収集してデータ化するツールとして、fluentd という有名なツールがあるが、今回は、ほぼ同じ事ができて、Windows でのインストールや設定が、より簡単な logstash を動かす。 インストールと利用方法、特に、正規表現とRubyスクリプトによる入力文字列のパースとフィールド追加、Windowsでのバックグラウンド起動について扱う。 logstash も動作のエンジンには、Ruby スクリプトを利用しているが、JRubyが同梱されているので、Javaさえインストールされていれば、Ruby をインストールしていなくても、パッケージをダウンロードし展開したら、すぐに利用できる。 fluentd と比べると、プラグインが若干少ないが、必要十分なプラグインは揃っているし、比較的簡単なRubyスクリプトを書けば、入力も出力も拡張できる。 logstash のダウンロードと動作テスト lo

Linux で動かせばいいようなものだが、なかには、会社の制約で Windows しか利用できない人が、Hadoop や関連技術を勉強したいこともあるだろうということで。Windows 8.1 でビルドしているが、Windows 7 でも同様にビルドできる。ただし、x64版のみ。少し調整すれば x86 でもビルドできるはずだが、Hadoop はメモリ食いなので、どのみち x86 では使い物にならないので。 ちなみに、Hadoop 2.6.0 は、2.4.1の頃には、パッチが必要だった OSXでもすんなりビルドできる。 ビルドするより、すぐに動かしたい場合、以下から、Hadoop 2.6.0やそれに対応したHive、Sparkなども含め、ビルド済みバイナリを入手できる。 (http://sourceforge.jp/projects/win-hadoop/releases/62852) 必要

Linux だと ps, top, vmstat, iostat 等々、有名かつ簡単なコマンドが、みんなに共有されていて、「Linuxだと、調べるのも簡単」のようなことがある。 Windows が好きだったり、利用を余儀なくされる方が、Linux の ps にある種の嫉妬を感じることがある。Linux ではあんなに簡単な事が、Windows では、やり方すらわからない。もちろん、Ctrl+Shift+ESC でタスクマネージャーを表示すれば、同じことはできるのだが、なんでもかんでも自動化が叫ばれる昨今において、タスクマネージャーを表示させるぐらいでは、どうにもならない。 この記事では、WMICコマンドでプロセスの調査(WMIC PROCESS, WMIC PATH Win32_PerfFormattedData_PerfProc_Process)、RubyでWMIC同等のことする方法を扱う

気軽に、HiveやSparkで遊ぶのにいいかと思って、MSYS/MinGW で HiveとSparkを動かした。Cygwinを使わずにMSYS (とJDK)だけで動作する。 ここでは、クラスターを作ることは意図せず、シングルノードモードだけで確認しているので、実用性はあまりないかもしれないが、hadoopのバージョンを 2.6.0にすればクラスターも作れる(＊)。 Hive 最新バージョンではないが、GREEさんのhive-ruby-scriptingも動作する 0.12.0 を動かす。Spark は、比較的最新の 1.2.0を動かす(＊＊)。 ローカルで手軽に使えるよう、ベースとなる hadoop は簡単にビルドできる古いバージョンで 0.23.11を使う。ギリギリ hadoop2 だが APIが古くて、YARNには期待が持てない。が、ローカルモードは実に簡単に動作して軽快に利用できる。