You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
この記事はScala Advent Calendarの9日目です。 遅刻しました。すんません(´・ω・`) Apache Sparkとかいうのがあるぽよです。 よくわかんないけど面白そうなので足突っ込んでみました。 そもそもSpark is 何? 大規模ストリーム処理フレームワークだそうな。 RDD(Reslient Distributed Datasets)と呼ばれるキャッシュ機能によってデータセットを 繰り返し扱うような処理(機械学習、データマイニング)が他と比べて数倍から数十倍早く行える。 主な用途として、機械学習やデータマイニング、ログ解析など。 Streaming配信を行うサービスで使われたりも。 そして何より…..Scalaで実装されてる! 今回の目標 とりあえず「チュートリアル」やってみます。 まずは導入から ローカル環境で遊んでみる分には、Spark本体のみで大丈夫です。
やること Vagrant up Twitterアプリケーション作成準備 Install Scala (and sbt) Sparkの外部ライブラリのダウンロードなど 実装 Apache Sparkで始めるお手軽リアルタイムウインドウ集計 そのメモ 概要 基本的に(1)のサイトに沿って実装していきますが,ハマった部分の解説を足していこうと思います. 元々やりたかったことは # -*- mode: ruby -*- # vi: set ft=ruby : # Vagrantfile API/syntax version. Don't touch unless you know what you're doing! VAGRANTFILE_API_VERSION = "2" Vagrant.configure(VAGRANTFILE_API_VERSION) do |config| config
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く