Databricks社がOSS化したSpark用ストレージレイヤ「Delta Lake」について - たけぞう瀕死ブログ
先日開催されたSpark + AI Summit 2019にあわせてDatabricks社からSpark用のストレージレイヤ「Delta Lake」のOSS化が発表されました。 databricks.com GitHubリポジトリはこちら。 github.com Delta LakeはSparkのライブラリとして実装されており、分散ストレージ上で以下のような機能を提供します。 ACIDトランザクション（テーブル単位） タイムトラベル（任意の時点の過去データを参照可能） スキーマバリデーション（スキーマ変更も可能） 実際に動かしてみる Delta Lakeの動作にはSpark 2.4.2以降が必要です。ローカルファイルシステムでも動作するのでspark-shellで動きを確認してみました。 $ bin/spark-shell --packages io.delta:delta-core_2.
Spark 並列化チューニングの一例
このエントリーは、GMOアドマーケティング Advent Calendar 2018 の 12/3の記事です。 GMOアドマーケティングとしては初のAdvent Calendar参戦です。 こんにちは、GMOアドマーケティングのS.Rです。 私がSparkのProgramを開発するときに常にあった問題は並列化のチューニングです。 良いチューニングをすればProgramのPerformance を10倍以上の改良できるかもしれません。 今回はSpark に並列化をチューニングするの方法の一つDataFrameのチューニングを皆さんに共有します。 今回のブログを理解いただくためにはSpark UIを利用する知識が必要になりますのでSpark UIに詳しくない方は 前に書いたSpark UIのブログを参考してください。 １ 並列化チューニングの二つの目的 並列化のチューニングには二つの目的があり
Spark の RDD、DataFrame、DAG と Glue の DynamicFrame などについて - ablog
Sparkとは ビッグデータを支える技術―刻々とデータが脈打つ自動化の世界 (WEB+DB PRESS plus) 作者: 西田圭介出版社/メーカー: 技術評論社発売日: 2017/09/22メディア: 単行本（ソフトカバー）この商品を含むブログ (3件) を見るP.100 「Apache Spark」も、MapReduce より効率の良いデータ処理を実現するプロジェクトとして開発が進められています。Hadoop の延長線上にある Tez とは異なり、Spark は Hadoop とは別の独立したプロジェクトです。Spark の特徴は大量のメモリを活用して高速化を実現することです。（中略）コンピュータが異常停止すると途中まで処理した中間データは消えてしまいますが、そのときには処理をやり直して、失われた中間データをま作れば良いというのが Spark の考え方です（図 3.8）。 （中略） S
O'Reilly High Performance Spark 備忘録 - Qiita
github → https://github.com/yutapok/-memorandum/blob/master/HighPerformanceSpark.md 翻訳→気になった点のピックアップをしているため、不自然な日本語の箇所があります。 間違いがあればご指摘ください。 まだ途中なので後続の章も都度更新する予定 他の書籍や情報では語られていないことを中心に備忘録として (参考) ← 私の付け足し 書籍 情報 2017出版 Spark version 2.0.1以降〜 OReilly High Perfomance Spark 特徴 比較的新しめの情報 Pure RDDを中心にSparkの内部の動きの理解を深めていく流れ。 読者層は中級者以上を想定しているみたいだが、初級者の方がむしろ読んだ方が良い内容かも。 パフォーマンスのボトルネックとなる要素に絞って要点を説明。 DataFr
「アプリケーションエンジニアのためのApache Spark入門」読んでみた - なからなLife
先にまとめておく ApacheSpark2.2.0ベースでの記述で、サンプルソースはSaclaではなくPython（pyspark）。（個人的にはPython歓迎！だが、scalaベースで学びたい人には残念かもね。） Sparkの話だけではなく、fluentd＋Kafkaで常時データが生成される環境を作る、具体的なシナリオベースでの解説。これはありがたい！ 4章以降、順番に消化していかないとソースとしては動かない構成。 共著で章別に担当したらしく、イマイチ連携取れてないと感じるところがある。共著って、一人あたりの執筆負荷は減るけど、こういうところが難しいよね。 サンプルソースがダウンロードできるが、本文にソースのファイル名が記載されていないことがある。 サンプルとしてシンプルなものを扱いつつ、実運用に向けて考慮すべき話も各章で言及されているあたり、テクニカルライターというより現場の技術者で
順序保証型分散ストリーム処理 - MicroAd Developers Blog
はじめまして．マイクロアドの新卒3年目のサーバサイドエンジニアの松宮です． 主にMicroAd BLADEという広告配信プラットフォームの開発をしています． サーバサイドの開発言語はJava/Scalaが中心で，最近はScalaの利用シーンが増えてきました． ということで本日はScalaが活躍するお話です． タイトルの通り，順序保証型分散ストリーム処理 についてお話します． 上記用語は分散ストリーム処理に順序保証型という単語をくっつけた造語で，分散ストリーム処理において時系列を保持して処理を実行する方法です． 「大量のデータを順番に処理したい！」という方がいらっしゃれば是非ともご一読頂ければ幸いです． 順序保証型分散ストリーム処理とは そもそもストリーム処理とは，無尽蔵に生成されるデータを半永久的に処理し続けることを指し，アクセスログやセンサーから得られるログデータなどの時々刻々と生成され
PySpark のスクリプトファイルで引数を扱う - CUBE SUGAR CONTAINER
今回は Apache Spark の Python インターフェースである PySpark について。 PySpark では定型的な作業についてはスクリプトファイル (*.py) にまとめて spark-submit コマンドで実行することになる。 その際に、動作に必要な引数をさばく方法について。 結論から先に書いてしまうと spark-submit コマンドでスクリプトファイルの後ろにアプリケーション用の引数を渡せば良いだけ。 使った環境は次の通り。 Apache Spark は YARN を使って分散環境を構築してある。 $ cat /etc/redhat-release CentOS Linux release 7.4.1708 (Core) $ uname -r 3.10.0-693.17.1.el7.x86_64 $ pyspark --version Welcome to __
Pythonで大量データ処理！�PySparkを用いたデータ処理と分析のきほん
PyConJP2017の資料 Python Spark PySpark PyConJP 2017 Apache Spark
Amazon EMRでSparkをやってみて - のんびりSEの議事録
8月中はSparkを利用したレコメンドシステムの構築を主にやっていたので、今回はそのことについて記載していきます。 Sparkとは BigDataを高速に分散処理を行うフレームワークで、以下のパッケージで構成されている。 Spark Core Spark SQL Spark Streaming MLib(Machine Learning Library) GraphX サポートしている言語 Python Java Scala R 1.6以降からデータフレームの機能が追加され、以降アップデートの際、RDDで提供されている機能が徐々に移植されている。 2.0以降はMLibでRDDはメンテナンスモードに入り、新規機能の追加はRDDでは行われなくなる模様。 EMR on Spark EMRとは Amazon EMR は、AWS でビッグデータフレームワーク (Apache Hadoop や Apa
Apache Spark でクラスタリングすると動かなくなるプログラムについて - CUBE SUGAR CONTAINER
今回は Apache Spark をスタンドアロンで使っていると上手くいくのに、クラスタリングした途端に上手くいかなくなる状況がある、ということについて。 スタンドアロンなら上手くいく場合 まずは Apache Spark のコマンドラインシェルを起動する。 この場合はシングルノードのスタンドアロンで動かしている。 $ $SPARK_HOME/bin/spark-shell 複数の値が格納された RDD を作る。 scala> val rdd = sc.parallelize(Array(1, 2, 3)) rdd: org.apache.spark.rdd.RDD[Int] = ParallelCollectionRDD[0] at parallelize at <console>:24 そして、それらに対して foreach() メソッドで println() 関数を適用してみる。 s
Spark3分クッキング HBaseで作る100万通りの文書分類器 - astamuse Lab
こんにちは。最近GINZA SIXで本当のスタバ*1を知ってしまった福田です。 私たちの身の周りは、様々なデータで溢れています。 ある２つの異なるデータ集合を互いに紐付けたいこともよくあります。 どのように紐付けられるでしょうか。 一方のデータ集合から分類器をつくることができれば、分類結果を媒介として他のデータ集合とのマッチングができるかもしれません。 では、どうやって分類できるでしょう。 ここではSparkとHBaseを使って実装がシンプルで、文書分類でよく使われるナイーブベイズの分類器を実装してみます。 材料と調理器具 材料 特許の要約と分類のデータ 簡単のため以下のように正規化されたテーブル構造のデータがあるとします。 特許出願（appln）を親として、要約テキスト（appln_abstr）と、分類コード（appln_ipc）がぶら下がっています。今回使うのは右側の2つのデータのみで
データクレンジングとかクォリティチェックとかの話 - astamuse Lab
いつもご覧いただき誠にありがとうございます。 ご存知のとおり？弊社は世界最大級のイノベーションデータベースを保有しており、中にはクラウドファンディング、科研費データ、特許データなど様々なデータが含まれてます。 普段仕事上データを入手してから弊社DBに入れるまでのプロセス（所謂Data Preparation的な？）を担当するので、今日はその辺で役たちそうなネタにしようかと思います。 データの種類が多い分、それぞれ元データの入手ルートによってはノイズが含まれていることもございます。 例えば科研データはクォリティが高いのですが、クラウドファンディングはデータの性質（個人もプロジェクトを起こすことが出来る）上どうしてもノイズが含まれたりする場合があります。 そのようなデータを弊社データベースに入れる前にデータの品質管理をきちんと行い、ノイズを排除する必要があります。 その為のツールとしてデータク
Spark2.0をEMRで試す - Qiita
概要 一週間前くらいにSpark2.0が出ました。そして、今日確認したらEMR5.0が既にSpark2.0対応されていました。さすがAWSさんです！ ということで、Spark2.0でイマドキのSpark実行を簡単にメモしておきます。 ゴール Spark2.0が動く Scala2.11ビルドしたjarが動く Java8で動く YARN分散環境上で動く EMR設定 Software Configurationにて以下のように設定 emr-5.0.0 hadoop2.7.2 Spark2.0.0 configurationに以下のjsonを追加 Java8の設定と、sparkに最適化する設定を行っています。 [ { "classification": "spark", "properties": { "maximizeResourceAllocation": "true" } }, { "Cla
株式会社ALBERT（レコメンドエンジン）
データ分析から導き出されたインサイト無しにAI（人工知能）の活用は始まりません。私たちは、各業界知識とデータ・アナリティクス技術を駆使しデータドリブン経営を強力に支援します。 データ、アナリティクス、AIは企業にとって競合他社との差別化を図るかつてないほど大きな要因になっています。今日の経営幹部が効率を向上しながら新たな収益源を開拓し、新しいビジネスモデルをタイムリーに構築する方法を模索する中、価値を生み出し成長を続ける企業には「データ活用」という共通項があります。私たちは、無数のデータから企業にとって本当に必要なデータを活用するための方法を知っています。 将来を見据えたオペレーション体制を備えている企業の半数以上（52％）は、すでにデータとアナリティクスを大規模に活用しています。データとAIに関する取り組みをビジネス戦略に沿って実施することで投資利益率を迅速に最大化し、最終的にはAIをビ
【参考訳】HashiCorp Nomad で Apache Spark を動かす · Pocketstudio Technology Log
Apache Spark 版 Nomad のリリース発表 HashiCorp の blog で Spark のクラスタマネージャ・スケジューラとして Nomad がネイティブに対応したという 記事 がでていました。こちらも参考程度にどうぞ。 HashiCorp Nomad 上で Apache Spark を動かす Apache Spark は人気のデータ処理エンジン／フレームワークであり、第三者によるスケジューラを使えるような設計がされています。スケジューラは利用可能ではありましたが、複雑さのレベルが高かったため、Spark ユーザの多くにとって不快だったでしょう。この溝を埋めるため、私たちは HashiCorp Nomad エコシステムを発表します。ここに含まれる Apache Spark バージョン（a version of Apache Spark） は、Spark クラスタのマネー
PySpark Cheat Sheet: Spark DataFrames in Python
This PySpark SQL cheat sheet is your handy companion to Apache Spark DataFrames in Python and includes code samples. You'll probably already know about Apache Spark, the fast, general and open-source engine for big data processing; It has built-in modules for streaming, SQL, machine learning and graph processing. Spark allows you to speed analytic applications up to 100 times faster compared to ot
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GitHub - miyamotok0105/spark-py-notebooks: Apache Spark & Python (pySpark) tutorials for Big Data Analysis and Machine Learning as IPython / Jupyter notebooks
Amazon EMRで構築するApache Spark超入門
PySparkの勘所（20170630 sapporo db analytics showcase）
HPE Ezmeral: Uncut Blog | HPE Blogs, Discussions and Forums Community