Apache Sparkとは何か - Qiita
使い始めて3年くらい経ちますが、改めて振り返ってみます。 こちらの記事を書いたりしていますが復習も大事なわけで。 2024/4/12に翔泳社よりApache Spark徹底入門を出版します！ その他のDatabricksコアコンポーネントの記事はこちらです。 Apache Sparkプロジェクトの歴史 SparkはDatabricksの創始者たちがUC Berkeleyにいるときに誕生しました。Sparkプロジェクトは2009年にスタートし、2010年にオープンソース化され、2013年にApacheにコードが寄贈されApache Sparkになりました。Apache Sparkのコードの75%以上がDatabricksの従業員の手によって書かれており、他の企業に比べて10倍以上の貢献をし続けています。Apache Sparkは、多数のマシンにまたがって並列でコードを実行するための、洗練され
大規模データ処理の定番OSS Hadoop / Spark 最新動向 - 2021秋 -（db tech showcase 2021 / ONLINE 発表資料）
4. 4 © 2021 NTT DATA Corporation Hadoopとは? • 大規模データ処理基盤 • 以下をセットで提供 • 分散ファイルシステム(HDFS) • 計算リソース管理機構(YARN) • 分散処理フレームワーク(MapReduce) • 汎用的な(Linux)サーバを多数(〜10000台)使ってクラスタを構成 • 大量のデータを格納し、並列分散処理 • Googleが論文の形で紹介した技術を参考にして作られたオープンソース実装 • ASF(Apache Software Foundation)配下のプロジェクト 5. 5 © 2021 NTT DATA Corporation リリース履歴 2006/04 0.1.0 2009/09 0.20.1 : JIRAが(HADOOP, HDFS, MAPREDUCEに)分割 2011/12 1.0.0 : SVNからG
更新できるデータレイクを作る 〜Apache Hudiを用いたユーザデータ基盤の刷新〜 - Gunosy Tech Blog
広告技術部のUT@mocyutoです。 こちらの記事はGunosy Advent Calendar 2021の4日目の記事です。 昨日は内田さんの その設定、pyproject.tomlに全部書けます - Gunosyデータ分析ブログ でした 今回はApache Hudiを用いたユーザデータ基盤の刷新を紹介します。 背景 仕組み 課題 対応策 データの持ち方を変える Apache Hudiとは 構成 Glue + PySpark Athenaによる抽出 移行し終えて 背景 Gunosyの広告システムではユーザに対して最適な広告を届けるために、接触済みのユーザに対して何度も同じ広告を出さないようにする仕組みを提供しています。 例えば、すでにある広告Aをクリックしたユーザには広告Aは再度配信しないのような設定です。 仕組み この仕組みを実現するためには以下のようなアーキテクチャになっていました
Introducing Apache Spark on Docker on top of Apache YARN with CDP DataCenter release - Cloudera Blog
Spark on k8s を EKS 上で動かす - Gunosyデータ分析ブログ
はじめに DRE Team の hyamamoto です． 皆さん，Spark は利用されていますか？ Gunosy では Digdag + Athena によるデータ整形が増えてきており，徐々に Spark の利用は減ってきています． 思い返すと，昨年入社後の OJT も Spark から Digdag + Athena への書き換えタスクでした． 一方で，決して多くはないものの，この構成ではカバーし切れない処理もあり，そういったものに関しては Spark を用いています． 話は少し飛びますが，DRE Team では Digdag や派生するバッチ処理を実行するための Kubernetes Cluster を EKS 上に構成しています． また，一部のタスクは Kubernetes の Job として Digdag から投げることで，リソースをスケールさせつつ様々な処理が可能となっていま
Apache SparkをLivy経由でZeppelinから使ってみる - たけぞう瀕死ブログ
SparkにREST API経由でアクセスできるようにするApache Livyは以前から知っていたのですが、アドホックなジョブを投げるにはやっぱり画面がないと辛いなぁと思っていたところ、ZeppelinにもLivy用のインタプリタがあるっぽいのでこれを使えばZeppelinのノートブックからLivy経由で簡単にSparkにジョブを投げつけることができるのではと思い試してみました。 github.com github.com Livy側の設定 LivyはデフォルトではSparkをローカルモードで実行します。Sparkクラスタに接続するには conf/livy.conf にSparkのmasterのアドレスを設定しておきます。Livyによってセッションが動的に生成されるためYARNモードでの実行が推奨されていますが、スタンドアロンクラスタでも動作はします。 # What spark mast
Kubernetes で Spark パフォーマンスを最適化する | Amazon Web Services
Amazon Web Services ブログ Kubernetes で Spark パフォーマンスを最適化する Apache Spark はオープンソースプロジェクトで、分析分野で幅広い人気を博しています。有名なビッグデータや、ストリーミングといったの機械学習ワークロード、幅広いデータセットの処理、ETL などで使用されています。 Kubernetes は、人気のあるオープンソースのコンテナ管理システムで、アプリケーションのデプロイ、メンテナンス、スケーリングのための基本的なメカニズムを提供します。Amazon EKS は、高可用性コントロールプレーンを提供するマネージド Kubernetes サービスで、AWS で本番環境レベルのワークロードを実行します。お客様は、EKS でマイクロサービス、バッチ、機械学習などのさまざまなワークロードを実行できます。 このブログは、Kubernete
S3 整合性モデルと Hadoop/Spark の話
Middleware Deep Talks (2019.5.23) @AWSLoft で発表したスライドです。Read less
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Introducing the Apache Iceberg Catalog Migration Tool | Dremio
Datadog on Data Engineering Pipelines: Apache Spark at Scale
Exploring Apache Iceberg with Spark
How to Profile PySpark
Apache Spark on Kubernetes入門（Open Source Conference 2021 Online Hiroshima 発表資料）
Apache Sparkの基本と最新バージョン3.2のアップデート 2021-11-20 B-6
Spark Memory Management
Implementing Apache Zeppelin in Kubernetes
SparkSQL のクエリをユニットテストしたい - tokuhirom's blog
Apache Hive Warehouse Connector Use-Cases - Cloudera Blog
Spark+AI Summit 2019 セッションハイライト (Spark Meetup Tokyo #1 - Spark+AI Summit 2019)
GitHub - linkedin/dr-elephant: Dr. Elephant is a job and flow-level performance monitoring and tuning tool for Apache Hadoop and Apache Spark
