[B! Spark] komlowのブックマーク

PySparkはじめました - 分散処理デビューする前にやったこと - JX通信社エンジニアブログ

「JX通信社Advent Calendar 2019」10日目の記事です. 昨日は, @rychhrさんの「Pure WebSocketsをサポートしたAWS AppSyncでWebとiOS間のリアルタイムチャットを作ってみた(1)」でした. 改めまして, こんにちは. JX通信社でシニア・エンジニア&データ基盤エンジニアをしています, @shinyorke（しんよーく）と申します. JX通信社では, データ駆動での意思決定および施策実施をより円滑に進めるため, データ基盤の構築・運用を進めながらトライアル的に様々なFrameworkやツールの検証を行っています.*1 このエントリーでは, 私がシュッとPySparkで分散処理をする...前に, 手元で試したときの感想とその知見のお話を残していきたいと思います. なお, 分散処理そのものの知見・ノウハウではなく, する前にPySparkに

komlow 2019/12/11

spark

リンク

Apache Sparkコミッターが教える、Spark SQLの詳しい仕組みとパフォーマンスチューニング Part1

2019年3月19日、Data Engineering Meetupが主催するイベント「Data Engineering Meetup #1」が開催されました。データの収集や管理、処理、可視化など、データエンジニアリングに関する技術の情報を共有する本イベント。データエンジニアリングの最前線で活躍するエンジニアたちが集い、自身の知見を共有します。プレゼンテーション「Deep Dive into Spark SQL with Advanced Performance Tuning」に登壇したのは、Databricks Inc.の上新卓也氏。講演資料はこちら Spark SQLの仕組みとパフォーマンスチューニング上新卓也氏：それでは発表を始めます。『Deep Dive into Spark SQL with Advanced Performance Tuning』ということで、Spark SQ

komlow 2019/07/03

“上新卓也”

spark

リンク

そろそろ決着つけようぜ？ Amazon EMR vs Google Cloud Dataproc (2016年Ver) - Qiita

そろそろ決着つけようぜ？ Amazon EMR vs Google Cloud Dataproc (2016年Ver)AWShadoopSparkEMRGoogleCloud 0.はじめに Distributed computing (Apache Hadoop, Spark, ...) Advent Calendar 2016の14日目です。(投稿が過ぎてしまって本当にすいませんでした。。。) タイトルは若干煽り目ですが、今年はAmazon EMRとGoogle Dataprocを使う機会が多かったので、実際に利用しての現時点における機能比較と使ってみての所感についてまとめてみようかと思います。補足や誤り等あればぜひお願いいたします。先に結論現時点においては適材適所なのでどちらが絶対的優勢とは言えないのですが、以下が現時点におけるベターな使いかたかなと思います。あくまで所感です。

komlow 2019/06/07

spark
EMR

リンク

GitHub - delta-io/delta: An open-source storage framework that enables building a Lakehouse architecture with compute engines including Spark, PrestoDB, Flink, Trino, and Hive and APIs

Delta Lake is an open-source storage framework that enables building a Lakehouse architecture with compute engines including Spark, PrestoDB, Flink, Trino, and Hive and APIs for Scala, Java, Rust, Ruby, and Python. See the Delta Lake Documentation for details. See the Quick Start Guide to get started with Scala, Java and Python. Note, this repo is one of many Delta Lake repositories in the delta.i

komlow 2019/05/20

spark

リンク

Apache Sparkってどんなものか見てみる（その１ - 夢とガラクタの集積場

こんにちは。 Kafkaを試している最中で微妙ですが、最近使えるのかなぁ、と情報を集めているのが「Apache Spark」です。 MapReduceと同じく分散並行処理を行う基盤なのですが、MapReduceよりも数十倍速いとかの情報があります。・・・んな阿呆な、とも思ったのですが、内部で保持しているRDDという仕組みが面白いこともあり、とりあえず資料や論文を読んでみることにしました。まず見てみた資料は「Overview of Spark」（http://spark.incubator.apache.org/talks/overview.pdf）です。というわけで、読んだ結果をまとめてみます。 Sparkとは？高速でインタラクティブな言語統合クラスタコンピューティング基盤 Sparkプロジェクトのゴールは？以下の2つの解析ユースケースにより適合するようMapReduceを拡張

komlow 2019/03/01

spark

リンク

spark-notes

komlow 2019/02/14

spark

リンク

Spark Streaming と Kryo シリアライザーの話 - MicroAd Developers Blog

マイクロアドでアプリケーションエンジニアをしている「G」です。日々、バッチを作ったり WEB アプリケーションを作ったりしています。今回はライトに Spark Streaming でカスタム Kryo （クライオ）シリアライザーが必要になってしまったお話を書いていきたいと思います。 Spark Streaming とは Spark Streaming とは Apache Spark という分散コンピューティング基盤上でストリーム処理を行うためのソフトウェアです。マイクロアドでは秒間数万件以上発生するユーザーのアクセスログの処理のために Spark Streaming を利用しています。詳細は以下の記事をご確認ください。 developers.microad.co.jp ブロードキャスト変数とシリアライズの罠 Apache Spark では、メインプログラムが実行されるドライバーと呼ば

komlow 2019/02/09

Spark

リンク

[Spark道場]メモリとCPU数の設定を最適化する

皆さんこんにちは、GMOアドマーケティングのS.Rです。大規模分散処理フレームワークである�Sparkですが、皆さんはSparkの設定を最適化したことはありますか？ Sparkは設定次第でPerformanceが10倍以上改良する可能性があります。今回はSparkの重要な設定の一部である、executorメモリ、Core数の設定の最適化例を紹介します。 1. Yarnのモード Sparkが主に使っているResource ManagerはYarnなので、今回はYarnで管理する場合の設定を紹介します。 YarnはClient（図1）や Cluster（図2）の2つのモードがあります。 ClusterモードはSparkのApplication ManagerはMaster Nodeで動作し、ClientモードではApplication ManagerはWorker Nodeで動作します