Processing JSON data with Spark SQL - Thoughts Resampled
Spark SQL provides built-in support for variety of data formats, including JSON. Each new release of Spark contains enhancements that make use of DataFrames API with JSON data more convenient. Same time, there are a number of tricky aspects that might lead to unexpected results. In this post I’ll show how to use Spark SQL to deal with JSON. Examples below show functionality for Spark 1.6 which is
素早くデータマイニングしたくなったらSparkを始めよう - FLINTERS Engineer's Blog
こんにちは。菅野です。 Scalaを使って集計バッチなどを書くと、ふつうは以下のようにコレクションのメソッドを駆使してデータをこねくり回しますよね？ val 何かのデータ: Seq[String] = ??? 何かのデータ .groupBy(identity) .mapValues(_.size) .toSeq .sortBy(_._2) .foreach(println) Scalaのコレクションは強力で使いやすいので、とりあえずこんな感じで日々のデータを処理すると思います。 しかし実行時間はデータ量に比例するように長くなり、そのうちOutOfMemoryErrorと叫びながらプロセスが爆散するようなります。 でも、もっと速く、もっと大量のデータを処理したいという要求が出た場合にはどうするのでしょうか？ ものすごい廃スペックマシンを用意すれば力技で解決できそうではあります。 それはそれで
Dataproc | Google Cloud
Dataproc is a fully managed and highly scalable service for running Apache Hadoop, Apache Spark, Apache Flink, Presto, and 30+ open source tools and frameworks. Use Dataproc for data lake modernization, ETL, and secure data science, at scale, integrated with Google Cloud, at a fraction of the cost. Flexible: Use serverless, or manage clusters on Google Compute and Kubernetes. Deploy a Google-recom
Elasticsearch in Apache Spark with Python
Sloan Ahrens is a co-founder of Qbox and is currently a freelance data consultant. In this series of guest posts, Sloan will be demonstrating how to set up a large scale machine learning infrastructure using Apache Spark and Elasticsearch. This is part 2 of that series. Part 1: Building an Elasticsearch Index with Python on an Ubuntu is here. -Mark Brandon In this post we're going to continue se
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Generate a Spark StructType / Schema from a case class
Partition output by key in Spark using Datasets API
sbt runでprovidedな依存ライブラリをクラスパスに含める - Qiita
spark-submitにjarを渡すためにsbt assemblyするためのbuild.sbt - Qiita
Secondary Sorting in Spark - Random Thoughts on Coding
Running Spark Python Applications | 5.5.x | Cloudera Documentation