サクサク読めて、アプリ限定の機能も多数!
トップへ戻る
アメリカ大統領選
masato.github.io
Sparkクラスタを用意していくつかサンプルコードを書いていこうと思います。Pythonのデータ分析や機械学習の実行環境としてJupyterは多くの方が利用していると思います。Apache ToreeでSparkアプリも同じようにJupyterからインタラクティブに書くことが目的です。ブラウザから実行できるScalaのREPLしてもJupyterを使うことができます。 Spark SparkクラスタをDocker Composeで構築します。Docker HubとGitHubに多くのSpark Standalone Cluster用のイメージとdocker-compose.ymlが公開されています。 semantive/sparkproduktion/jupyter-pysparkgettyimages/docker-spark いくつか試しましたがsemantive/sparkがシンプル
Introducing Nitrous ProにあるようにすでにNitrous.IO Proに移行しています。暫定的に旧環境もLiteとして使えていますが、2015-07-01には終了します。Nitours Proのアカウントも作成しましたがfreeアカウントだと1日2時間しか使えません。そろそろ移行先を考えないといけません。 これまでNitrous.IOをfreemiumでありがたく使わせていただきましたが、Introducing Nitrous ProにあるようにすでにNitrous.IO Proに移行しています。暫定的に旧環境もLiteとして使えていますが、2015-07-01には終了します。Nitours Proのアカウントも作成しましたがfreeアカウントだと1日2時間しか使えません。そろそろ移行先を考えないといけません。 Nitrous.IONitrous.IOはWebIDEや
Part1でRStudio Serverをインストールしたのに続いて、IPython Notebook環境を構築します。マルチユーザー環境だと、ipython-hydraがありますが理解できていないので、rootユーザーで動かすことにします。IACSのコースでは、IPython Notebookの環境構築にAnacondaを使っているので参考にします。AnacondaはPythonでデータ分析環境を構築する場合に必要なパッケージがたくさん入っているので、まとめてインストールできます。 インストールの手順を間違えていたので更新しました。Nginx+SSLのリバースプロキシを使うと、MathJaxのインストールがCDNからできないようです。事前にローカルにインストールするようにしました。 Update 2014-08-10: Dockerでデータ分析環境 - Part7: Ubuntu14.0
前回はiExのインタラクティブシェルに実行しました。はじめてRubyでコードを書いたときのような楽しさがあります。次はファイルに書いたモジュールをコンパイルして実行してみます。またEmacsのelixir-modeをインストールして開発環境を整備していきます。 前回はiexのインタラクティブシェルに実行しました。はじめてRubyでコードを書いたときのような楽しさがあります。次はファイルに書いたモジュールをコンパイルして実行してみます。またEmacsのelixir-modeをインストールして開発環境を整備していきます。 開発環境Docker Compose前回と同様にElixirのコマンドはDocker Composeで実行します。 ~/elixir_apps/docker-compose.ymlelixir: &defaults image: trenpixster/elixir work
いままではinit-loader.elとpackage.elを使ってEmacs24のパッケージ管理を行っていました。最近はCaskとPalletを使うのが良いらしいので追加して使ってみます。package.elもそのまま使えてパッケージ管理がさらに楽になります。 Update 2014-10-04: Docker開発環境をつくる - Emacs24とEclimからEclipseに接続するJava開発環境 Update 2014-09-24: CIDERのcompleteionにac-nreplはdeprecatedなのでac-ciderを使う Update 2014-09-20: Docker開発環境をつくる - Emacs24とClojure いままではinit-loader.elとpackage.elを使ってEmacs24のパッケージ管理を行っていました。 最近はCaskとPallet
サーバーはDockerコンテナで起動することが多くなりました。サーバーと一緒に使うクライアントもDockerイメージで配布できるとホストマシンの環境も汚さないので便利です。いつくか参考になるDockerfileを見比べながらよいデザインパターンを考えていこうと思います。 サーバーはDockerコンテナで起動することが多くなりました。サーバーと一緒に使うクライアントもDockerイメージで配布できるとホストマシンの環境も汚さないので便利です。いつくか参考になるDockerfileを見比べながらよいデザインパターンを考えていこうと思います。 nsenter - DockerホストにコピーしてインストールnsenterはDockerイメージのビルドでバイナリをビルドします。コンテナを起動してからDockerホストにコピーしてインストールしています。 DockerfileFROM debian:j
社内でデータ分析を勉強したいという声があがりました。声があがったのも驚きですが、ほとんどが非エンジニアのふつうの人で、それもRから勉強したいそうです。データ分析が一般業務として認知されはじめたようで、とてもうれしくなります。ふつうの人SSHやEmacsを使わず簡単にブラウザで勉強できる環境を用意しようと思います。こういった分析サンドボックスにこそ、Dockerがふさわしいので、さっそく`Rstudio Server`をUbuntu14.04にインストールしてみます。以前からApparmorとUpstartに悩まされ続けていて、Docker上で動かせませんでした。DruidのDockerfileんでいたらApparmorは無効にして、デモナイズはrunitを使っていたので、なるほどと思いました。Druidはちょっと触ってみたいのですが、クエリをJSONで書くみたいです。 Update 201
SSHで接続できる作業ユーザーで作ったのですが、 それでもホームディレクトリに展開したGoやDartのSDKや、.emacs.dのPermission deniedが解消されず、Dockerfileを見直しています。 作成したuseraddも修正して、ユーザー名をdockerにしました。 Guidance for Docker Image Authorsにも書いてありますが、 Dockerが広まってくると、やはりrootで作業し続けるのはお行儀がよくありません。 PackerでOVAを作っているとイメージの再作成をすると時間がかかってしまい、ビルド開始した後にミスを見つけると呪いたくなります。 Dockerの場合は何回でも気軽にやり直せるので、開発環境を少しずつよくしていくことができます。断捨離またはdispose all the things。 あまり複数コマンドを一つのRUNに束ねると
久しぶりにHexoのThemesページをみたら種類が増えていました。GhostやTumblrから移植したテーマもミニマルでいい感じです。CSSのfont-familyを見ると最初から日本語フォントが定義されているテーマもいくつかあり、日本でも使っている人が増えたようです。気分転換にテーマをTumblrのApolloに変更することにしました。 久しぶりにHexoのThemesページをみたら種類が増えていました。GhostやTumblrから移植したテーマもミニマルでいい感じです。CSSのfont-familyを見ると最初から日本語フォントが定義されているテーマもいくつかあり、日本でも使っている人が増えたようです。 気分転換にテーマをTumblrのApolloに変更することにしました。 HexoのアップデートnpmでHexoをアップデートします。2.7.1から2.8.3にあがりました。
Dockerをバックエンドに使うオープンソースのPaaSも増えてきて、HerokuのBuildpackを使えるようになったり、CloudFoundryのバックエンドにDockerを使えるようになりました。Deimosの前身Docker-on-Mesosから入ったので、さっぱり意味がわかりませんでした。本当はPaaSって何?で定義が難しいのですが、Dockerエコシステムの拡がりでいろいろな挑戦をしているサービスやライブラリが増えています。自分のやりたいことベースで少しずつ整理していきたいと思います。私の用途だとFlynnやDeisでも規模が大きい感じです。 Update 2014-08-14: Deis in IDCFクラウド - Part1: CoreOSクラスタとDeisインストール Dockerをバックエンドに使うオープンソースのPaaSも増えてきて、 HerokuのBuildpac
Riemannに続いて、cAdvisor, InfluxDB, Grafanaを使った監視環境を構築していきます。メトリクスを保存するバックエンドとして時系列データベースのInfluxDBの使い方を学習するのが目的です。Continuous Queriesを使って逐次的にデータを間引いたり、データの保持期間を決めたりできるようです。Measure All The Thingsを実践していて、Whisperのリテンションが間に合わなくなって自滅した経験があるので、RiemannやHekaを使ったメトリクスのStream Processingのバックエンドとして最適だと思います。 Update: DockerのInfluxDBとGrafanaでdweet.ioのデータを可視化する Riemannに続いて、cAdvisor, InfluxDB, Grafanaを使った監視環境を構築していきます。
Docker監視環境 - Part1 cAdvisor, collectd, Riemann, InfluxDB, Grafanaで決めたアーキテクチャのPoCをしていきます。最初にRiemannを構築します。RiemannはClojureらしい分散システムの監視ツールです。似たようなストリーム処理のフレームワークにLaminaやStormがあります。Stormのようなクラスタでビッグデータを処理するほどでもなく、Do-it-yourself CloudWatch-style alarms using Riemannにあるような用途が主です。system metricsとapplication metricsの収集 ブラウザで可視化とクエリ実行 閾値を監視してnotificationやtriggerを実行 clostackを使ってCloudStackでオートスケールなんておもしろうそうです
$ tree ~/docker_apps/eclim/ ~/docker_apps/eclim/ ├── .emacs.d │ ├── Cask │ ├── init.el │ └── inits │ ├── 00-keybinds.el │ ├── 01-files.el │ └── 04-eclim.el ├── Dockerfile ├── mykey.pub └── sv └── xvfb ├── log │ └── run └── run FROM phusion/baseimage:0.9.15 MAINTAINER Masato Shimizu <ma6ato@gmail.com> # Set correct environment variables. ENV HOME /root # Regenerate SSH host keys. RUN
Dockerで構築したWordPressの2-Container-Appコンテナを複製してステージング環境を作ろうとしました。commitしてイメージを作成してからコンテナを起動したのですがvolumeに指定したディレクトリの中身がありません。Data Container volumes can't be saved as images Update 2014-10-13: MoinMoinをDigitalOceanのCoreOSに移設する - Part2: Dockerイメージの作成 Update 2014-10-12: MoinMoinをDigitalOceanのCoreOSに移設する - Part1: はじめに Dockerで構築したWordPressの2-Container-Appを複製してステージング環境を作ろうとしました。 commitしてイメージを作成してからコンテナを起動し
Spark Streaming、Kafka Streamsに続いてストリーム処理フレームワークのApache Flinkを試します。Spark StreamingはPython、Kafka StreamsはJavaで書いたのでApache FlinkはScalaで書いてみようと思います。
Part1でリストしたconfdの使用例がCoreOSをfleetctlから操作する - Part2 hello.serviceで参考にしているExperimenting with CoreOS, confd, etcd, fleet, and CloudFormationの後半に出てきました。今回はconfdの使い方を見ていきます。いろいろ考えていくとconfdの仕組みが一番わかりやすそうです。 Update 2014-08-05: DockerのHTTP Routing - Part8: xip.io と Nginx と confd 0.6 で動的リバースプロキシ Part1でリストしたconfdの使用例がCoreOSをfleetctlから操作する - Part2: hello.serviceで参考にしているExperimenting with CoreOS, confd, etcd,
tsuruを構築したときにDockerコンテナを外部に公開する場合は、Service DiscoveryのためにWildcard DNSとローカルのBIND、HipacheのHTTP Routingの仕組みが必要でした。これでもFlynnやDeis、Deimosに比べると小規模なのですが、もっとカジュアルにバックエンドのDockerコンテナを見つけて、動的にルーティングしてくれるシンプルなリバースプロキシが欲しいです。Service Discoveryにはいろいろな仕組みがあります。まだ分類が難しいのですが、勉強のためまとめてみます。 tsuruを構築したときにDockerコンテナを外部に公開する場合は、Service DiscoveryのためにWildcard DNSとローカルのBIND、HipacheのHTTP Routingの仕組みが必要でした。 これでもFlynnやDeis、Dei
HP Chromebook 11をオフラインでも使えるように、croutonを使いUbuntu Trustyをインストールします。デスクトップ環境には軽量なXfceをインスト-ルして、日本語環境を構築します。 Update: HP Chromebook 11にUbuntu 14.04.1とXfceをインストールする HP Chromebook 11をオフラインでも使えるように、croutonを使いUbuntu Trustyをインストールします。デスクトップ環境には軽量なXfceをインスト-ルして、日本語環境を構築します。 Chromebookをデベロッパーモードで起動するChromebookを「ESC」+「Refresh」+「Power button」を押してリカバリモードで起動します。 リカバリーモードにはいり、「Ctrl」+「D」+「Enter」を押し、そのままの状態でしばらく待つと、
このページを最初にブックマークしてみませんか?
『masato's web site』の新着エントリーを見る
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く