Hadoop / Spark Conference Japan 2019（3月14日、東京）講演・LTのプログラムと講演資料 | 日本Hadoopユーザー会
日本Hadoopユーザー会主催イベント『Hadoop / Spark Conference Japan 2019 』 を3月14日に東京・品川区内で開催しました。 盛況のうちに終了しました。多くの皆様にご来場頂き、ありがとうございました。 イベントWebサイト： https://hcj2019.eventbrite.com/ ▲懇親会での集合写真 イベントの様子は下記でも取りあげていただいています Hadoopは終わらない ―3年ぶり開催「Hadoop / Spark Conference Japan 2019」で日本人開発者が語ったこと (gihyo.jp) 今回は、Apache Hadoopの主要開発者であるArpit Agarwal氏(Cloudera)とApache Sparkの主要開発者である Xiao Li 氏（Databricks）をお招きして、それぞれHadoopの新機能の
Apache Sparkの3つのAPI: RDD, DataFrameからDatasetへ - yubessy.hatenablog.com
はじめに Sparkの基本的な仕組み データコレクションの操作のためのAPI 1. RDD - ネイティブなオブジェクトのコレクション 2. DataFrame - 基本的な型の値からなるテーブル RDD v.s. DataFrame 3. Dataset - RDDとDataFrameの長所を併せ持つコレクション RDD, DataFrameからDatasetへの書き換え DataFrameからDatasetへ RDDからDatasetへ おわりに はじめに Livesense Advent Calendar 2016の11日目の記事です。 昨今ではAmazon Elastic Mapreduce (EMR)などのマネージドサービスの登場により、分散データ処理基盤を構築・運用するハードルは劇的に下がっています。 ソフトウェアの選択肢も広がり、特にApache Sparkはオンメモリ処理を
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
spark/log4j-defaults.properties at master · apache/spark
https://mail-archives.apache.org/mod_mbox/spark-user/201705.mbox/%3CCA+AHuKn+vSEWkJD=bSSt6G5bDZDaS6wmN+fwmn4jTm1X1nDAPA@mail.gmail.com%3E
Spark Streamingで全世界の 混雑状況を20分ごとに集計 / All over the world with Spark Streaming Congested situation every 20 minutes
How to Shutdown a Spark Streaming Job Gracefully