Monitoring Spark Applications
Monitoring Spark Applications Tzach Zohar @ Kenshoo, March/2016 The document discusses monitoring Spark applications. It covers using the Spark UI to monitor jobs, stages and tasks; using the Spark REST API to programmatically access monitoring data; configuring Spark metric sinks like Graphite to export internal Spark metrics; and creating applicative metrics to monitor your own application metri
Apache Sparkにおけるメモリ - アプリケーションを落とさないメモリ設計手法 -
- Apache Spark is an open-source cluster computing framework for large-scale data processing. It was originally developed at the University of California, Berkeley in 2009 and is used for distributed tasks like data mining, streaming and machine learning. - Spark utilizes in-memory computing to optimize performance. It keeps data in memory across tasks to allow for faster analytics compared to dis
Spark × Keras × Dockerでディープラーニングをスケーラブルにしてみた2 マルチホスト編 - Qiita
以前、Dist-kerasをDockerに載せてスケーラブルなディープラーニングを作ってみました。 http://qiita.com/cvusk/items/3e6c3bade8c0e1c0d9bf 当時の反省点はパフォーマンスが出なかったことですが、よく見直したらパラメータの設定が間違っていたようです。 そこで反省がてら、いろいろ試してみました。 前回までのあらすじ Dist-Keras自体の説明は以前の投稿をご参照いただきたいのですが、要はSparkクラスター上で動作するKerasです。 私はこれをDockerイメージにして、スケールアウトを簡単にできるようにしてみました。 なお、DockerfileはGitHubで公開しています。 https://github.com/shibuiwilliam/distkeras-docker 今回やること 今回はDist-Keras on Doc
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GitHub 上のハードタブの表示幅を変える - Qiita
