Spark Summit 2016でもトークがあったSparkのREST serverであるlivyですが、MicrosoftがHDInsight上のSpark clusterとJupyterをlivyを使って繋げられるようにしたと聞いて、早速試してみました。 Jupyterって何?という方は簡単に言うと、ブラウザで各種言語のREPLが動くものと思ってもらえばいいです。 詳細は過去に書いた以下の記事を読んでみてください。 techlife.cookpad.com livyとは livyはSpark clusterをコントロールするためのREST Serverです。 Microsoftはこれとjupyter notebookのsparkmagicを使ってHDInsightとjupyterをつなげるようにしているそうです。 MSの取り組みはSpark Summit 2016のトークがわかりやす
![JupyterからSpark clusterを操作できるlivy + sparkmagicを試してみた - once upon a time,](https://cdn-ak-scissors.b.st-hatena.com/image/square/097036c016c03a897cfdbf0f88a13085e8909c4e/height=288;version=1;width=512/https%3A%2F%2Fgithub.com%2Fjupyter-incubator%2Fsparkmagic%2Fraw%2Fmaster%2Fscreenshots%2Fdiagram.png)