[B! spark] epy0nのブックマーク

Kubernetes Bootcamp: Deliver and Manage Fast Data Services | D2iQ | D2iQ

We’ve evaluated D2iQ against other platforms, so you can choose the best Kubernetes solution to meet your enterprise requirements.

epy0n 2017/06/20

spark

リンク

GraphX - Spark 3.5.1 Documentation

GraphX Programming Guide Overview Getting Started The Property Graph Example Property Graph Graph Operators Summary List of Operators Property Operators Structural Operators Join Operators Neighborhood Aggregation Aggregate Messages (aggregateMessages) Map Reduce Triplets Transition Guide (Legacy) Computing Degree Information Collecting Neighbors Caching and Uncaching Pregel API Graph Builders Ver

epy0n 2016/07/27

graphx
spark

リンク

Introducing Apache Spark 2.0

Unified governance for all data, analytics and AI assets

epy0n 2016/07/27

spark

リンク

SparkアプリケーションのためのJavaガベージコレクションのチューニングについて - TEPPEI STUDIO

この記事は、インテルの SSG STOビッグデータテクノロジーグループのメンバーからDataBricksに寄稿されたブログを翻訳したものです。誤訳がありましたら、@teppei_tosaに御連絡ください。 Sparkは、その優れた性能、シンプルなインターフェイス、および分析や計算のための豊富なライブラリによって、幅広い業界で採用されてきています。ビッグデータエコシステムにおける多くのプロジェクトと同様に、Sparkは、Java仮想マシン（JVM）上で実行されます。Sparkはメモリに大量のデータを格納することにおいて、Javaのメモリ管理とガベージコレクション（GC）に大きく頼っています。また、プロジェクトTungstenなどの新たな取り組みは、将来のバージョンで、メモリ管理のさらなる簡素化と最適化を目指しています。しかし、今日時点でも、JavaのGCオプションとパラメータを理解しているユ

epy0n 2016/07/27

リンク

GraphX Advent Calendar 2014 - Adventar

GraphX Advent Calendar - Day 02 - GraphX はじめの一歩 - TEPPEI STUDIO

epy0n 2016/07/27

graphx
spark

リンク

Graph Analytics With GraphX

GraphX is the new (alpha) Spark API for graphs (e.g., Web-Graphs and Social Networks) and graph-parallel computation (e.g., PageRank and Collaborative Filtering). At a high-level, GraphX extends the Spark RDD abstraction by introducing the Resilient Distributed Property Graph: a directed multigraph with properties attached to each vertex and edge. To support graph computation, GraphX exposes a set

epy0n 2016/07/26

graphx
spark

リンク

Spark Streaming and GraphX at Netflix - Apache Spark Meetup, May 19, 2015

epy0n 2016/07/26

リンク

Cloudera | ハイブリッドデータカンパニー

データを信頼し、AI を信頼する信頼できるデータ、信頼できるモデル、信頼できる AI を実現するために、これほど多くのクラウドのさまざまなデータタイプを管理でき、オープンデータのイノベーションと大規模展開に対応できるプラットフォームは他にありません。

epy0n 2016/07/26

spark
graphx

リンク

NetflixにおけるPresto/Spark活用事例

2017/9/7 db tech showcase Tokyo 2017(JPOUG in 15 minutes)にて発表した内容です。 SQL大量発行に伴う処理遅延は、ミッションクリティカルシステムでありがちな性能問題のひとつです。 SQLをまとめて発行したり、処理の多重度を上げることができれば高速化可能です。ですが・・・ AP設計に起因する性能問題のため、開発工程の終盤においては対処が難しいことが多々あります。そのような状況において、どのような改善手段があるのか、Oracleを例に解説します。

epy0n 2016/02/09

リンク

Apache Sparkがスループットとレイテンシを両立させた仕組みと最新動向を、SparkコミッタとなったNTTデータ猿田氏に聞いた（前編）

Apache Sparkがスループットとレイテンシを両立させた仕組みと最新動向を、SparkコミッタとなったNTTデータ猿田氏に聞いた（前編）最近ビッグデータ処理基盤として急速に注目を集めているのが「Apache Spark」です。 Sparkは、Hadoopと比較されることも多く、Hadoopよりも高速かつ高機能な分散処理基盤だと言われています。Sparkとはいったい、どのようなソフトウェアなのでしょうか？今年6月にSparkのコミッタに就任したNTTデータの猿田浩輔氏に聞きました。以下は猿田氏から伺ったSparkの紹介をまとめたものです。また、後編では猿田氏がコミッタになった経緯などもインタビューしました。 Hadoopでは複雑な処理に時間がかかる Sparkとはなにかの前に、まずはHadoopの話から始めさせてください。 Hadoopとは、ざっくり言うと分散処理フレームワーク「

epy0n 2015/08/06

Spark
Apache

リンク

https://www.kennybastani.com/2015/03/spark-neo4j-tutorial-docker.html

epy0n 2015/03/11

リンク

Sparkがソートパフォーマンスの新記録を達成

Spring BootによるAPIバックエンド構築実践ガイド第2版何千人もの開発者が、InfoQのミニブック「Practical Guide to Building an API Back End with Spring Boot」から、Spring Bootを使ったREST API構築の基礎を学んだ。この本では、出版時に新しくリリースされたバージョンである Spring Boot 2 を使用している。しかし、Spring Boot3が最近リリースされ、重要な変...