はてなブックマーク

自分用のメモです。 ビッグデータ分散処理 Hadoop Spark インメモリー処理を主体 Storm リアルタイムHadoop Hadoop Hadoop による分散データ処理: 第 1 回 導入編 Hadoop による分散データ処理: 第 2 回 拡張編 Hadoop による分散データ処理: 第 3 回 アプリケーション開発 Spark Apache Sparkは、Scalaで（Hadoopのような）分散処理を行う為のライブラリー（OSS） HadoopのMapReduce部分に置き換わることを目指して開発された、Scalaで分散処理を行うフレームワークで、いわば高速化されたMapReduceといえる Spark を活用する:ビッグデータアプリケーション用の高速インメモリコンピューティング 分散処理に入門してみた（Hadoop+Spark） Apache Spark Apache Sp

はじめに 今年の4月にdocker meetup #2で、LTをさせて頂きました。 Docker地雷n本勝負 ※「docker 地雷」で検索すると一番上に出てきます笑 そこでもお話したのですが、自分の環境ではdockerのデフォルト設定ですと、ディスク容量などで何かと問題がありましたので、その解決策を書いておきます。 以下はdockerインストール後、自分が行う設定です。 環境 OS: ubuntu14.04 docker version: 1.4.1 設定 # Docker Upstart and SysVinit configuration file # Customize location of Docker binary (especially for development testing). #DOCKER="/usr/local/bin/docker" # Use DOCKE

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

はじめに ここまで自分が投稿した記事を使って、下記が作れるようになりました。 private docker registry GitLab Jenkins これらを利用して、private Docker Hub を作ってみます。 今回作成する private Docker Hub の仕組み ローカルで作成したDockerfileをGitLabにpush GitLabからWebHookでJenkinsに通知 JenkinsにてDockerfileをビルド Jenkinsはdockerコンテナで起動している Jenkinsコンテナ内でDockerfileをビルドしているわけではない ホストのdockerAPI（docker-py経由）を利用している docker build 成功した場合、private registryにpush 失敗した場合、Gmailに通知を行う 環境 OS: Ubunt

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?