Spark Streaming の基本とスケールする時系列データ処理 - Spark Meetup December 2015/12/09
4. ® © 2015 MapR Technologies 4 時系列列データとは? • タイムスタンプ付きのデータ – センサーデータ – ログファイル – 電話 ® © 2015 MapR Technologies What is time series data? • Stuff with timestamps – Sensor data – log files – Phones.. Credit Card Transactions Web user behaviour Social media Log files Geodata Sensors ® © 2015 MapR Technologies 4 What is time series data? • Stuff with timestamps – Sensor data – log files – P
Big datauniversity
1. © 2016 IBM Corporation データサイエンティストのための Spark 入門 Tanaka Y.P 2016-05-14 3. © 2016 IBM Corporation3 自己紹介 田中裕一（yuichi tanaka） 主にアーキテクチャとサーバーサイドプログラムを担当 することが多い。Hadoop/Spark周りをよく触ります。 Node.js、Python、最近はSpark周りの仕事でScalaを書く ことが多い気がします。 休日はOSS周りで遊んだり。 詳解 Apache Spark 4. © 2016 IBM Corporation4 アジェンダ Sparkの概要 Sparkのテクノロジースタック データサイエンスにおけるSparkの意義 分析のおさらい なぜSparkが重要なのか DataScientistWorkBenchで
第20回 Sparkの設計と実装［1］～登場の背景とデータ処理の特徴 | gihyo.jp
はじめに 今回から2回に渡って、並列データ処理系のひとつであるSparkについて解説します。まずはじめに、Sparkの開発が始められた経緯を紹介し、次にSparkの特徴を説明します。 Sparkが登場した背景 Sparkは、Hadoop MapReduceと同様に、複数の計算機を用いてデータ処理を行う並列データ処理系です。2009年に、カリフォルニア大学バークレー校のAMPLabにて、Matei Zaharia氏を中心として開発が始まりました。Sparkの開発が始まった当時、世の中にはすでにHadoopが存在しており、高い耐障害性を有しかつスケーラブルな並列データ処理を、コモディティな計算機を用いて行うことは一般的になりつつありました。しかし、Hadoop MapReduceは必ずしも個々の計算機のメモリを効率的に活用する設計ではありませんでした。 Hadoop MapReduceは、ジョ
JVM and OS Tuning for accelerating Spark application
1. © 2015 IBM Corporation JVM, OSレベルのチューニングによる Spark アプリケーションの最適化 Feb. 8, 2016 Tatsuhiro Chiba (chiba@jp.ibm.com) IBM Research - Tokyo 2. © 2016 IBM CorporationHadoop / Spark Conference Japan 2016 Performance Innovation Laboratory, IBM Research - Tokyo Who am I ? Tatsuhiro Chiba (千葉 立寛) Staff Researcher at IBM Research – Tokyo Research Interests – Parallel Distributed System and Middleware –
(LT)Spark and Cassandra
1. ©2015 DataStax Confidential. Do not distribute without consent. 1 DataStax 原沢滋 Apache Sparkがリアルタイム分析で NOSQLのApache Cassandraに出会った。(ウルルン風) Hadoop / Spark Conference Japan 2016 3. x Apache Cassandraとは 分散オペレーショナル・データベース Apache Cassandra とは Amazon Dynamo の分散ハッシュ テーブル（DHT）と、Google BigTable のKVSの２つの特徴を併せ持つビッ グデータ用分散データベース • Amazon DynamoとGoogle Bigtableの良い点を持つ • 高速パフォーマンスとリニアな拡張 • SPOF（Single Point
Sparkを用いたビッグデータ解析 〜 前編 〜
9. MapReduceでWord Count 9 Lorem ipsum dolor sit amet, consectetur adipisicing elit, sed do eiusmod tempor incididunt ut labore et dolore magna aliqua Ut enim ad minim veniam, quis nostrud exercitation ullamco lorem 2 lorem 1 ipsum 1 dolor 1 lorem 1 lorem 1 sit 1 amet 1 consect.. 1 do 1 eiusmod 1 tempor 1 adipisic.. 1 elit 1 sed 1 ipsum 1 ipsum 1 ipsum 1 dolor 1 ipsum 3 sit 1 sit 1 sit 1 dolor 1 si
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Sparkによる GISデータを題材とした時系列データ処理 （Hadoop / Spark Conference Japan 2016 講演資料）
Apache Spark超入門 （Hadoop / Spark Conference Japan 2016 講演資料）
Cloudera Standard のご案内 ~ 無償版 大幅機能強化のお知らせ | Cloudera Japan