SparkとMarkLogic - オペレーショナルデータハブを構築
すでにSparkを使っていて、さらにオペレーショナルデータハブを構築したいとします。これにはトランザクショナルなデータベースが必要です。ここでMarkLogicの出番となります。Apache Sparkは、今日最も人気のあるオープンソースのクラスタコンピューティングフレームワークです。 これは導入が容易で、大量データの分析を極めてパワフルかつ高速なインメモリデータ処理で行えるアーキテクチャです。 Sparkのコアアーキテクチャでは、データ処理のコンセプトやメカニズムがうまく抽象化されていて、洗練された分析技術を開発において数多く利用できます。具体的には、リレーショナルデータベース（Oracleなど）、分散ファイルシステム（Hadoop HDFSなど）、エンタープライズNoSQLデータベース（MarkLogicなど）に格納された多様なデータセットに対してSQL、機械学習、ストリーミング分析が
Migrating Apache Spark workloads from AWS EMR to Kubernetes
IntroductionESG research found that 43% of respondents considering cloud as their primary deployment for Apache Spark. And it makes a lot of sense because the cloud provides scalability, reliability, availability, and massive economies of scale. Another strong selling point of cloud deployment is a low barrier of entry in the form of managed services. Each one of the ‘Big Three’ cloud providers co
Apache Sparkコミッターが教える、Spark SQLの詳しい仕組みとパフォーマンスチューニング Part1
2019年3月19日、Data Engineering Meetupが主催するイベント「Data Engineering Meetup #1」が開催されました。データの収集や管理、処理、可視化など、データエンジニアリングに関する技術の情報を共有する本イベント。データエンジニアリングの最前線で活躍するエンジニアたちが集い、自身の知見を共有します。プレゼンテーション「Deep Dive into Spark SQL with Advanced Performance Tuning」に登壇したのは、Databricks Inc.の上新卓也氏。講演資料はこちら Spark SQLの仕組みとパフォーマンスチューニング 上新卓也氏：それでは発表を始めます。『Deep Dive into Spark SQL with Advanced Performance Tuning』ということで、Spark SQ
Databricks社がOSS化したSpark用ストレージレイヤ「Delta Lake」について - たけぞう瀕死ブログ
先日開催されたSpark + AI Summit 2019にあわせてDatabricks社からSpark用のストレージレイヤ「Delta Lake」のOSS化が発表されました。 databricks.com GitHubリポジトリはこちら。 github.com Delta LakeはSparkのライブラリとして実装されており、分散ストレージ上で以下のような機能を提供します。 ACIDトランザクション（テーブル単位） タイムトラベル（任意の時点の過去データを参照可能） スキーマバリデーション（スキーマ変更も可能） 実際に動かしてみる Delta Lakeの動作にはSpark 2.4.2以降が必要です。ローカルファイルシステムでも動作するのでspark-shellで動きを確認してみました。 $ bin/spark-shell --packages io.delta:delta-core_2.
BlazingSQL — The GPU SQL Engine now runs over 20X Faster than Apache Spark!
BlazingSQL — The GPU SQL Engine now runs over 20X Faster than Apache Spark! A few weeks ago we were very excited to show our first benchmark on an end to end workload. TL,DR you can check out the full article here. The key takeaways from the previous article were the following: We ran an end to end analytics workload: Data Lake → ETL/Feature Engineering → XGBoost TrainingWe built two price equival
Apache IgniteとApache Sparkの統合による大規模データ処理における機能拡張や処理能力の向上
Apache Igniteは、Apache Sparkと同様にインメモリ技術を活用した高耐障害性分散データ処理プラットフォームです。 しかし、Apache Sparkは非トランザクション(バッチ)的な分析を処理の対象をしている一方、Apache Igniteはリアルタイム処理に優れ、非トランザクションとACIDトランザクション的な処理を両方サポートします。 この2つのプラットフォームを組み合わせて使うことには大きなメリットがあり、2つの統合のための機能がApache Igniteには早期開発段階から導入されました。 本稿では、Apache Ignite + Apache Sparkの統合はどういう風に実現されたか、既にSparkを使ってデータ処理を行うシステムへIgnite導入のメリットについて説明します。 はじめに Apache Ignite（以下、Ignite）は、メモリを中心に据えた
SparkMonitor | An extension to monitor Apache Spark from Jupyter Notebook
Final Report | Installation | How it Works | Use Cases | Code | License Google Summer of Code 2017 Final Report Big Data Tools for Physics Analysis Introduction Jupyter Notebook is an interactive computing environment that is used to create notebooks which contain code, output, plots, widgets and theory. Jupyter notebook offers a convenient platform for interactive data analysis, scientific comput
SQL Server 2019の新機能 Hadoop、Sparkを内包して企業の「データポータル」に？：Azure Cosmos DBもバージョンアップ - TechTargetジャパン システム開発
関連キーワード SQL | SQL Server | Hadoop | Microsoft（マイクロソフト） | ビッグデータ | データベース Microsoftは2018年9月「SQL Server」がリレーショナルデータ以外のさまざまなデータモデルも扱えるようになると発表した。 同社は、データ分析フレームワークの「Apache Spark」（以下、Spark）と、分散処理フレームワーク「Apache Hadoop」（以下、Hadoop）用の「Hadoop分散ファイルシステム」（HDFS）が利用可能な「SQL Server 2019」プレビュー版を、さまざまな機械学習パッケージとともにリリースした。これにより、SQL Serverを導入している多くの店舗で、SQL Serverを大規模なデータ分析のテスト環境として利用できるようになる。 SQL Server 2019プレビュー版のデー
ML Pipelines - Spark 2.2.0 Documentation
ML Pipelines \[ \newcommand{\R}{\mathbb{R}} \newcommand{\E}{\mathbb{E}} \newcommand{\x}{\mathbf{x}} \newcommand{\y}{\mathbf{y}} \newcommand{\wv}{\mathbf{w}} \newcommand{\av}{\mathbf{\alpha}} \newcommand{\bv}{\mathbf{b}} \newcommand{\N}{\mathbb{N}} \newcommand{\id}{\mathbf{I}} \newcommand{\ind}{\mathbf{1}} \newcommand{\0}{\mathbf{0}} \newcommand{\unit}{\mathbf{e}} \newcommand{\one}{\mathbf{1}} \new
機械学習パイプラインとは - Azure Machine Learning
Azure Machine Learning パイプラインは、独立して実行できる完全な機械学習タスクのワークフローです。 Azure Machine Learning パイプラインは、機械学習モデルを生成する上でのベスト プラクティスを標準化するのに役立ち、チームが規模に応じて実行できるようにし、モデル構築の効率を向上させます。 Azure Machine Learning パイプラインが必要な理由 機械学習パイプラインの中核となるのは、完全な機械学習タスクを複数のステップから成るワークフローに分割することです。 各ステップは管理可能なコンポーネントであり、個別に開発、最適化、構成、自動化できます。 ステップは、適切に定義されたインターフェイスを使用して接続されます。 Azure Machine Learning パイプライン サービスにより、パイプラインのステップ間のすべての依存関係が自
［速報］Microsoft SQL Server 2019発表。SparkとHDFSを製品に統合、データ仮想化を搭載。Microsoft Ignite 2018
マイクロソフトは米フロリダで開催中のイベント「Microsoft Iginte 2018」で、同社のリレーショナルデータベースの次期バージョン「Microsoft SQL Server 2019」を正式に発表しました。 SQL Server 2019ではビッグデータの処理や機械学習への対応などが重視され、Apache SparkとHDFS（Hadoop Distributed File System）が製品に統合されます。 それぞれのノードにはSparkとHDFS、SQL Serverのエンジンが含まれており、ユーザーは使いやすいT-SQLを用いてビッグデータ処理を記述可能。 コンテナ環境への対応も強化され、上記の図のSparkとHDFS、SQL Serverが統合された複数のノードからなるビッグデータクラスタはKubernetes環境へのデプロイが可能になります。 Oracle Data
Apache Toree
Apache Toree Toree is an Scala kernel for the Jupyter Notebook platform providing interactive access to Apache Spark. Get Toree 0.4.0-incubating Apache Toree Apache Toree is a kernel for the Jupyter Notebook platform providing interactive access to Apache Spark. It has been developed using the IPython messaging protocol and 0MQ, and despite the protocol’s name, Apache Toree currently exposes the S
Flare - An Accelerator for Apache Spark
Flare Scale up Apache Spark with Native Compilation and set your Data on Fire! We're now accepting applications for our private beta program. Set your Data on Fire Flare is a drop-in accelerator for Apache Spark that achieves order of magnitude speedups on DataFrame and SQL workloads. From Spark to Flink July 18, 2019 On Stack Replacement: A Quick Start with Tiered Execution January 23, 2019 Publi
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Advanced Spark Tuning, Optimization, and Performance Techniques
Making Apache Spark Effortless for All of Uber
Spark+AI Summit 2019Apache Spark 2.4からNested Columnsの10x性能改善
Hooking up Spark and Scylla: Part 4 - ScyllaDB
HDF/HDP Twitter Sentiment Analysis End-to-End Solution
Apache Spark Drivers for ODBC and JDBC - Simba Tech.
Apache Spark,Impala,Presto..etc NextGen DistributedComputing systemのカレンダー | Advent Calendar 2015 - Qiita
