はてなブックマーク

import scala.collection.mutable.HashMap import org.apache.spark._ import org.apache.spark.sql.SQLContext import org.apache.spark.sql.functions._ import org.apache.spark.sql.hive.HiveContext val options = new HashMap[String, String] options.put("spark.hadoop.mapred.output.compress", "true") options.put("spark.hadoop.mapred.output.compression.codec", "true") options.put("spark.hadoop.mapred.output.c

#はじめに この記事はApache Spark Advent Calendar 2015の24日目の記事です。 Spark mllibのSVM, Logistic Regressionの学習に使われている mini batch SGD実装について調べた結果などを書きます。 SGDの実装は簡単で応用も広く有用な最適化手法なのでSparkの分散処理の枠組みの中でどう実装されているか興味を持っていました。 また、SGDの学習率を自動に最適化する手法, AdaGrad, Adam etc.をSpark mllibでどう実装できるかにも興味を持っていてその観点で調べてみました。 次の順番に軽く書いてみたいと思います。 GradientDescent.scalaのソースコードリーディング SGD実装に関係するSpark JIRAチケット AdaGradのプロトタイピング GradientDescent

はじめに Apache Sparkの機械学習ライブラリーmllibを弊社のサービス、分析業務に使えるかを検討するために各種ベンチマークを実施する予定でいます。 その第一弾として、spark mllibの教師あり分類アルゴリズムの精度評価を実施したので、その結果を共有します。 spark mllib 教師あり分類アルゴリズム Spark mllibの教師あり分類アルゴリズムには Naive Bayes (NB) SVM (SVM) Logistic Regresssion (LR) Decision Tree (DT) Random Forest (RF) Gradient Boosted Tree (GBT) があります。 詳細な特徴などは、参考リンクを参考していただくとして、我々は、今回、次の観点からこれらのアルゴリズムの精度評価を実施しました。 線形分類器と非線形分類が可能な分類器との