[B! zeppelin] kimutanskのブックマーク

Moon soo Lee – Data Science Lifecycle with Apache Flink and Apache Zeppelin

kimutansk 2015/12/07

Z-Managerによる個別Zeppelin管理も可能と。ただ、FlinkはあらかじめFlink側のプロセスを起動しておかないと設定項目的に動作しない？　ちとそのあたりは厄介ですか。

リンク

How to stop a StreamingContext in Apache Spark on Zeppelin

kimutansk 2015/12/06

SparkStreamingは常時動作になるのでZeppelinから明示的に止める必要がありますが、止め方は普通にStreamingContext#stopメソッドでOKと。

リンク

チュートリアル:Spark 機械学習アプリを構築する - Azure HDInsight

このチュートリアルでは、Jupyter Notebook を使用して、Azure HDInsight 用の Apache Spark 機械学習アプリケーションを作成する方法について説明します。 MLlib は、一般的な学習アルゴリズムとユーティリティで構成される Spark の適応性のある機械学習ライブラリです。 (分類、回帰、クラスタリング、協調フィルタリング、次元削減。さらに、基になっている最適化プリミティブ)。このチュートリアルでは、以下の内容を学習します。前提条件 HDInsight での Apache Spark クラスター。 Apache Spark クラスターの作成に関するページを参照してください。 HDInsight の Spark での Jupyter Notebook の使用方法を熟知していること。詳細については、HDInsight の Apache Spark

kimutansk 2015/12/06

SparkStreaming > DataFrameでtempTableに追加しておいて、それを後からSparkSQLで読めばその最新の値がSQLをうてば常に確認できる感じでしょうかね。

リンク

https://mail-archives.apache.org/mod_mbox/zeppelin-users/201509.mbox/%3CCALf24saa=TW_uapCKju4Z=j+C=ey6NnvrSHvjdHsY+Fgzto8pg@mail.gmail.com%3E

kimutansk 2015/12/06

spark.filesプロパティに追加Jarファイルを置くとありますが、ドキュメントにはspark.filesの子要素の設定値しかないんですよね・・・

リンク

Building a Recommendation Engine with Spark ML on Amazon EMR using Zeppelin | AWS Big Data Blog

AWS Big Data Blog Building a Recommendation Engine with Spark ML on Amazon EMR using Zeppelin Guy Ernest is a Solutions Architect with AWS Many developers want to implement the famous Amazon model that was used to power the “People who bought this also bought these it ems” feature on Amazon.com. This model is based on a method called Collaborative Filtering. It takes it ems such as movies, books, an

kimutansk 2015/12/04

Zeppelin上から処理性能的に効率悪いベーシックなALS使うとはなかなか無謀な・・・　とはいえ、きちんと実行しているサンプルとしては貴重ですね。

リンク

R Interpreter for Zeppelin by elbamos · Pull Request #208 · apache/zeppelin

kimutansk 2015/12/01

ZeppelinのRインタプリタのPR、２週間前くらいで止まってしまっていますが・・Travisこけてますし、動きがない限りしまりませんか。

リンク

Interactive Data Science with R in Apache Zeppelin Notebook | R-bloggers

[This article was first published on SparkIQ Labs Blog » R, and kindly contributed to R-bloggers]. (You can report issue about the content on this page here) Want to share your content on R-bloggers? click here if you have a blog, or here if you don't. Introduction The objective of this blog post is to help you get started with Apache Zeppelin notebook for your R data science requirements. Zeppeli

kimutansk 2015/12/01

普通にSparkR対応型のZeppelinのビルド手順がRブログに書かれていますね。で、データ型次第ではMapも作れるということですか。

リンク

SparkR + Zeppelin

This document discusses Apache Zeppelin, an open-source web-based notebook that allows for interactive data analytics. It can be used for data exploration, visualization, collaboration and publishing. Zeppelin has deep integration with Apache Spark and supports multiple languages including Scala, Python, and SQL. It provides a Spark interpreter that allows users to analyze data using Spark without