nobusueのブックマーク - はてなブックマーク

kubeadmを使ってベアメタル上でHigh-Availability Master構成のKubernetesクラスタを構築する - Qiita
※2018/7/4 追記 Kubernetesのドキュメントにkubeadmを使ったHA clusterの構築方法が追加されましたようですので、できるだけ公式の方法に従った構築をしましょう今年はKubernetesはDockerコンテナのオーケストレーションツールのデファクトスタンダードの立場を獲得したといえるでしょう。これから利用者はますます増えるはずです。この記事をかいているとき、ちょうど"KubeCon + CloudNativeCon North America 2017"が開催されていてどんな発表が出るのか楽しみです。とはいえ、自分のところでもKubernetesクラスタを運用しているもののアップデートのたびにだいたい困ったことが起こるのでまだまだ自前で運用するにはつらいツールです。（つらみはチャットに吐き出しています）それでも、Kubernetesが流行ってきているので手
nobusue 2017/12/28
Kubernetes
リンク
Apache Sparkの実行状況を可視化する - Qiita
Sparkの可視化ツール Sparkの実行情報を可視化する"trace-analysis"というツールがDatabricksのBlogの前書きにあるリンク先で紹介されていましたので使ってみました。準備 trace-analysisを用意します。環境はWindows8.1を使っています。可視化するSparkのイベントログはDatabricksが公開しているものを使うことにしました。（注意：そのままリンクをクリックすると約300MBのテキストが表示されてしまうので、右クリックで保存をお勧めします）通常の環境ではspark.eventLog.enabledとspark.eventLog.dirが適切に設定されていれば指定ディレクトリの下に"EVENT_LOG_1"の名前で作成されます。 pdfcairoを含むgnuplotのインストール pdfcairoが含まれているgnuplotが必要の
nobusue 2015/11/09
Spark
リンク
TachyonをSpark on YARNで動かす - Qiita
はじめにこの記事はSpark, SQL on Hadoop etc. Advent Calendar 2014の16日目の記事です。 Spark Programming Guideによると、RDD.persist(StorageLevel.OFF_HEAP)はTachyonが使われるとあります。 experimentalと書いてあるだけあって、いざ使おうとするとエラーが発生します。この機能を使うためにはTachyonを事前にインストールしなければなりません。日本語のドキュメントがほとんど見つからなかったので、この機会にTachyonのことを書こうと思います。今回は次の3つにチャレンジしました。 (1) Tachyonのインストール (2) spark-shellからTachyonにデータを保存する (3) SparkのサンプルアプリであるSparkTachyonPi（SparkPiが
nobusue 2014/12/16
これは有用なエントリ。小さいファイルを頻繁に書き出すような用途にも使えそう。

Spark

Tachyon
リンク
1