Real-time Recommendations using Spark Comcast LabsJOIN THE GLOBAL DATA COMMUNITY FOR 500+ SESSIONS AND EXPLORE HOW DATA INTELLIGENCE ENABLES EVERY ORGANIZATION TO HARNESS THE POWER OF GENAI ON THEIR OWN DATA.
Tuning - Spark 3.5.0 Documentation
Tuning Spark Data Serialization Memory Tuning Memory Management Overview Determining Memory Consumption Tuning Data Structures Serialized RDD Storage Garbage Collection Tuning Other Considerations Level of Parallelism Parallel Listing on Input Paths Memory Usage of Reduce Tasks Broadcasting Large Variables Data Locality Summary Because of the in-memory nature of most Spark computations, Spark prog
Apache Sparkに手を出してヤケドしないための基本 ～「Apache Spark入門より」～ （デブサミ 2016 講演資料）
Apache Sparkに手を出してヤケドしないための基本 ～「Apache Spark入門より」～ （デブサミ 2016 講演資料）
Hive on Spark を活用した高速データ分析 - Hadoop / Spark Conference Japan 2016
現在、DMM.comでは、1日あたり1億レコード以上の行動ログを中心に、各サービスのコンテンツ情報や、地域情報のようなオープンデータを収集し、データドリブンマーケティングやマーケティングオートメーションに活用しています。しかし、データの規模が増大し、その用途が多様化するにともなって、データ処理のレイテンシが課題となってきました。本発表では、既存のデータ処理に用いられていたHiveの処理をHive on Sparkに置き換えることで、1日あたりのバッチ処理の時間を3分の1まで削減することができた事例を紹介し、Hive on Sparkの導入方法やメリットを具体的に解説します。 Hadoop / Spark Conference Japan 2016 http://www.eventbrite.com/e/hadoop-spark-conference-japan-2016-tickets-2
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Everyday I'm Shuffling - Tips for Writing Better Spark Programs, Strata San Jose 2015
Spark best practices
