Sparkとかいうのがありまして - Qiita
この記事はScala Advent Calendarの9日目です。 遅刻しました。すんません（´・ω・｀） Apache Sparkとかいうのがあるぽよです。 よくわかんないけど面白そうなので足突っ込んでみました。 そもそもSpark is 何？ 大規模ストリーム処理フレームワークだそうな。 RDD(Reslient Distributed Datasets)と呼ばれるキャッシュ機能によってデータセットを 繰り返し扱うような処理（機械学習、データマイニング）が他と比べて数倍から数十倍早く行える。 主な用途として、機械学習やデータマイニング、ログ解析など。 Streaming配信を行うサービスで使われたりも。 そして何より…..Scalaで実装されてる！ 今回の目標 とりあえず「チュートリアル」やってみます。 まずは導入から ローカル環境で遊んでみる分には、Spark本体のみで大丈夫です。
Scala SparkでTwitterのストリーミング処理テスト on Vagrant Ubuntu 14.04 - Qiita
# -*- mode: ruby -*- # vi: set ft=ruby : # Vagrantfile API/syntax version. Don't touch unless you know what you're doing! VAGRANTFILE_API_VERSION = "2" Vagrant.configure(VAGRANTFILE_API_VERSION) do |config| config.vm.box = "opscode-ubuntu1410" config.vm.box_url = "http://opscode-vm-bento.s3.amazonaws.com/vagrant/virtualbox/opscode_ubuntu-14.10_chef-provisionerless.box" config.vm.provider :virtualb
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
