Spark DataframeのSample Code集 - Qiita
はじめに：Spark Dataframeとは Spark Ver 1.3からSpark Dataframeという機能が追加されました。特徴として以下の様な物があります。 Spark RDDにSchema設定を加えると、Spark DataframeのObjectを作成できる Dataframeの利点は、 SQL風の文法で、条件に該当する行を抽出したり、Dataframe同士のJoinができる filter, selectというmethodで、条件に該当する行、列を抽出できる groupBy → aggというmethodで、Logの様々な集計ができる UDF(User Defined Function)で独自関数で列に処理ができる SQLで言うPivotもサポート (Spark v1.6からの機能) つまり、RDDのmapやfilterでシコシコ記述するよりもSimple Codeで、且つ高
Spark + IPython環境をAmazon EMR上で構築し、簡単なData解析を動かして見る (第2回：KPI算出編) - Qiita
Spark + IPython環境をAmazon EMR上で構築し、簡単なData解析を動かして見る (第2回：KPI算出編)SparkEMRipython_notebook はじめに 第1回目で立ち上げたSpark ClusterにAccess Logを喰わせて、色々処理を廻してみる部分をチラシの裏しておきます。 (第1回)Amazon EMR上でのSpark Clusterの起動/設定方法 Spark, IPythonの設定方法 Spot instanceについて (第2回)Sparkを使って簡単なAccess Log解析 (★今回はココ) Access LogをS3から読み込んで、ETLする Access Logを使って定番のMAU, DAU, UUをSparkで計算してみる 各種Monitoring toolの見方 (第3回)Sparkを使って簡単な機械学習 matplotlib/
Spark + IPython環境をAmazon EMR上で構築し、簡単なData解析を動かして見る (第1回：環境構築編) - Qiita
Spark + IPython環境をAmazon EMR上で構築し、簡単なData解析を動かして見る (第1回：環境構築編)SparkEMRipython_notebookJupyter はじめに 2015/6にAmazon EMRでSparkが標準サポートされました。これにより、EMRでSpark Clusterを起動すれば、ものの10分ぐらいでSpark + IPythonの環境を構築できるようになりました。 が、AWS ConsoleのEMRの設定UIが大きく変わったり、IPythonがJupyterになり一部設定方法が変わったり、それらの変化に各種Documentが追従していなかったりと、色々ハマッたので、設定方法と、IPython上でPysparkを動かす方法をチラシの裏しておきます(2015/11時点での情報です)。 以下の3本立てでチラ裏してみたいと思います (第1回)Ama
fig/docker-compose事始め - Qiita
fig/docker-compose初心者なので、環境構築、超簡単なdocker-compose.yml、docker-compose xxのコマンドライン辺りを半年後の自分用にチラシの裏しておきます。なお、figはdockerへ統合された事に伴い、docker-composeと名前が変わっています。ここでは(タイトルを除いて)docker-composeで統一します。 docker-compose環境をEC2にsetupする Amazon EC2 + Ubuntu14.04でのsetup手順です(docker-composeの最新verのinstallコマンドは随時ここを参照してください。以下は(現時点の最新の)Ver1.3.3の場合のCommandになります まずはDocker (>v1.3)をいれる #apt-get update #wget -qO- https://get.doc
Docker視点で見るSupervisorの使い方 - Qiita
Docker初心者なので、Dockerを活用する上でのSupervisorの使い方, Tipsをチラ裏しておきます。 そもそもSupervisorとは この記事とかが参考になりますが、そもそもはプロセスの管理、Daemon化、永続化(プロセスが不正終了したら自動で再起動など)のTool、と言うイメージです。 Docker視点で見ると、『Docker Container上ではProcessがForegroundで動いていないとContainerは終了する』というContainerの制限がある中で、1つのContainer上で複数のプロセス (例えばNode + MongoやFluentd + Elasticsearchなど)を動かしたい、永続化させたい時にこのSupervisorというToolが使われます。 supervisord.confのOptionは、公式ページを見て下さい。 基本的な
Docker container間の連携について - Qiita
docker初心者なので、Docker container同士の連携について、設定方法やらを半年後の自分用にチラシの裏しておきます。 この内容を踏まえた上で、docker-compose (旧Fig)に進む事をお奨めします。 初めに Container同士の連携と言っても、大きく2つのケースがあります。 同じHost内にあるContainer間の連携 (シングルホスト) 別のHostにあるContainerとの連携 (マルチホスト) マルチホストでの連携は、Best practiceについてまだ試行錯誤の段階にあるみたいですが、ここら辺とかここら辺を参照して見て下さい。 ここでは、シングルホストでの連携についてチラシの裏しておきます。 結論から言うと、同じHost上のContainer-A→Container-Bにアクセスさせる場合、 Container-Aの起動時に、docker run
Docker 事始め - Qiita
docker初心者なので、環境構築、超簡単なContainerの起動、Dockerfileとdocker xxのコマンドライン辺りをチラシの裏しておきます。 Dockerfileは人様の完成品を元にカスタマイズするとハマる事なく捗ります。 他人のDockerfileを再利用して楽をする GithubのDockerfiles Dockerhubに登録されたDockerfile Docker環境をEC2にsetupする まずEC2を建ててDockerを動かして見ましょう。EC2はt2-microで十分です。 apt-get install docker.ioでinstallされますがv1.0系が入ってしまいます。fig等を使いたい場合には、v1.3以上が必要なので、docker.ioから直接持ってくるべし。 #curl -sSL https://get.docker.io/ubuntu/ |
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
