はてなブックマーク

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

先日、「xgboost (python) on EC2スポットインスタンスの環境を、AWS Lambdaで用意する」という記事を書きましたが、そのChainer版を作ってみました。 ボタン一発 or cli一発で環境構築が済むと素敵だな、ということで、要するに以前書いた以下の記事の内容を、Lambdaで自動化したという話になります。 AWS EC2のg2.2xlargeをスポットインスタンスで立てて、chainerを動かしてみる http://qiita.com/pyr_revs/items/e1545e6f464b712517ed 何をやってるか Chainerのインストール処理をするshファイルを作り、S3に保存 EC2のスポットインスタンスをリクエスト。UserDataにNVIDIAドライバ、CUDA、その他各種依存関係のインストール処理をしこんでおく インスタンスが起動されると、U

「スポットインスタンスを作成 -> 環境構築 -> 長い処理を実行する」なんてことを、「マネージメントコンソールからUIをポチポチ、SSHでコマンド流し込んで」と手作業でやってたんですが。 毎度同じことをやるのは面倒、ということで、Lambdaで自動化してみました。 Code for Spot Instance creation 長い処理を行うために別途書いたシェルスクリプトを、s3://mybucket/sh/run.shに予め置いてあるという前提で。 console.log('Loading function'); var s3Bucket = 'mybucket'; var shellScriptS3Key = 'sh/run.sh'; var shellScriptS3Path = 's3://' + s3Bucket + '/' + shellScriptS3Key; var r

追記 (2015/10/06) Amazon Linux 2015.09で、NVIDIAドライバのセットアップに失敗するようになってしまいました。詳細は以下をご覧ください。 Chainer on EC2スポットインスタンスの環境を、AWS Lambdaで用意する http://qiita.com/pyr_revs/items/bf483b96cca6b01a9110 はじめに Chainer。触ってみるに当たって、どうせならGPU使ってみたいと思いまして。 EC2のg2.2xlargeでの環境構築について調査していたところ、AWS Marketplaceにある、NVIDIAの提供しているイメージを使えば、ドライバとCUDAのインストールはせずに済むよって情報を得たので、それを使ってスポットインスタンスを立てようと思ったのですが、 なんかDisableされてますね。スポットインスタンスでは使

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

前回、Apache SparkのMLlibを使って、RandomForestをローカル環境で試してみました。今回はそれをjarにして、AWS EMRのクラスタ上でバッチとして動かしてみます。 当方開発環境がWindowsでして、AWS Cliは入れておりません。ということで、出来るだけWebのAWS Management Consoleからやっていく方針で。 Steps RandomForestを呼び出すコードをScalaで作る 前回と異なるのは、以下3点: SparkContextでMasterを設定しない => spark-submitでの実行時に投げるので、ここではいらない。 入力ファイルの場所をs3n://として、S3のロケーションを指定する。 printlnでの出力は止めて、SparkContext.saveAsTextFileでS3に結果を出力する => 引き続きリダイレクトで

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

H2Oが出しているApache Sparkの拡張、Sparkling Water。 残念ながら、Spark組み込みの機械学習ライブラリMLlibには、Deep Learningは実装されていないわけですが、ちょうどそれを補完するように、Sparkiling Waterの方には実装がありますね。 Sparkling Water - 0xdata h2oai/sparkling-water - github で、Exampleを試してたのですが、イマイチしっくり来ず。 いろいろ眺めていたところ「Kaggle Digit Recognizer」のデータに対する分類が試しやすそうだったので、これをSparkling Waterでやるとどうなるか、試した結果を書いてみたいと思います。今回は、Windowsのローカル環境でのお話です。 環境構築 OS Windows 8 64bit (無印版, not

import org.apache.spark.SparkContext import org.apache.spark.mllib.tree.RandomForest import org.apache.spark.mllib.util.MLUtils object HelloRf { val sc = new SparkContext("local", "HelloRf") // Load and parse the data file. // libsvm style iris Data - http://www.csie.ntu.edu.tw/~cjlin/libsvmtools/datasets/multiclass/iris.scale val data = MLUtils.loadLibSVMFile(sc, "iris.scale") // Split the data i