何かデータ分析を行わなければいけないとき、手軽に分析環境を用意したいというニーズがあります。 Jupyter Notebook上でnumpy、pandas、matplotlib、scikit-learnあたりが使えれば十分でしょうか。XGBoostやLightGBMといったライブラリも使えるようにしておきたいという人もいるかと思います。 一方、ローカルにいろいろなライブラリをインストールしていくと、次第に環境が汚れていってライブラリの衝突などが起こりやすくなってしまいます。 KaggleにはKernelという計算環境があり、そこには主要な機械学習ライブラリが予めインストールされています。データ分析をやっていく上で不自由はありません。今回はDockerとdocker-composeを使ってKaggle Kernelを手元に再現し、ポータブルな分析環境として使う方法を紹介します。 データ分析界
問題 Raspberry Pi上でdocker buildしたら standard_init_linux.go:178: exec user process caused "exec format error" The command '/bin/sh hogehugapiyo' returned a non-zero code: 1 と言われる 原因 Raspberry PiのカーネルはARMなのでWindowsやMacのdocker imageをそのまま使うことができないから 解決策 ARM用にする。 rpi- から始まるimageを元に作れば良さそう botをdockerを使って作ってみようとwindowsでしていて、自宅のRaspberry Piでホストさせようとして、このページを参考にしながらdockerをインストール buildで上記のエラーを吐いて、1時間以上悩んでようやく原
[業務で使える!]Kubernetes(Docker)、Ansibleを使った機械学習基盤の構築自動化(ベアメタル)メモ機械学習DockerAnsible人工知能kubernetes はじめに 久しぶりの投稿です。 今回は社内で使っている機械学習機の自動構築基盤の構築メモになります。 twitterやってます。 フォローお願いします。 ※※※ 人工知能で競馬予想sivaを運用しています。 連対的中率 : 約 86% 回収率 : 約 136% 今回の環境構築はGAUSSのインフラチームで構築しました!! @monkeydaichan @tsukasa1301 今後もどんどん記事更新していきますのでフォローよろしくお願いいたします。 また、アプリチームはTypescript + ReactでAPIとSPAの新フレームワーク構築してますので、そちらもQiitaに書きます!! 目的 以下の二点を目
{ switch(e.key) { case 'k': if (e.metaKey || e.ctrlKey) { e.preventDefault() open = !open; if (open) { document.body.classList.add('overflow-hidden'); } else { document.body.classList.remove('overflow-hidden'); } } } }"> OverviewGet Docker Docker Desktop Overview Install MacUnderstand permission requirements for MacWindows Use the MSI installer Early Access OverviewInstall and configureUse IntuneF
Introduction Docker is an application that makes it simple and easy to run application processes in a container, which are like virtual machines, only more portable, more resource-friendly, and more dependent on the host operating system. For a detailed introduction to the different components of a Docker container, check out The Docker Ecosystem: An Introduction to Common Components. There are tw
docker (nvidia-docker) を使ってマルチノードで ChainerMN を実行する方法(仮) 編集履歴: (2017/12/14) nvidia/cuda:9.0-cudnn7-devel-ubuntu16.04 を使う場合 nccl-repo-ubuntu1604-2.0.5-ga-cuda9.0_3-1_amd64.deb をダウンロードして配置しなくても apt-get install libnccl2 libnccl-dev できたので変更 シングルノード シングルノードなら特に難しい所はない。docker コンテナ内に OpenMPI や ChainerMN をインストールして、nvidia-docker run で mpiexec すれば良い。 Dockerfile FROM nvidia/cuda:9.0-cudnn7-devel-ubuntu16.04 R
既存のアプリケーションをコンテナ化する際、GitHubからプログラムをクローンするケースがある。このとき、Dockerfileにアカウント名、クレデンシャル/Tokenを記載してしまうとセキュリティ的に問題がある。 これを回避するために、DockerEngine1.9から実装されたbuild-time argumentsの機能を用いる。build-time argumentsを利用することにより、Dockerfileのビルド時にパラメータを設定することができる。 Dockerfile ・・・ # Deploy application ARG GITHUB_ACCOUNT ARG GITHUB_CREDENTIAL RUN git clone -b develop https://$GITHUB_ACCOUNT:$GITHUB_CREDENTIAL@github.com/XXXX/YYYY/
ども、大瀧です。 データベースやクラウドストレージにアクセスするために、DockerコンテナでパスワードやAPIトークンキーなどのいわゆるクレデンシャル(資格)情報を扱うことがあります。これらの情報の扱い方についていくつかパターンを挙げ、考察してみたいと思います。 TL;DR(要点) DockerイメージやDockerfileに埋め込むのはアンチパターン コンテナ実行時に環境変数で渡すのがメジャー。しかしクレデンシャル管理が不要になるわけではない コンテナ実行時に外部から動的取得するのがおすすめ。クラウドのメタデータサーバーの利用がお手軽 クレデンシャル情報とは クレデンシャルは、コンテナから外部のデータソースにアクセスするための資格情報を指します。典型的なクレデンシャルとして以下があります。 DBユーザー名とDBパスワード : dbuser/dbpass WebサービスにアクセスするAP
DisclaimerThis content is part of / inspired by one of our online courses/training. We are offering up to 80% OFF on these materials, during the Black Friday 2019. You can receive your discount here. I’ve been using Docker for years now, in my previous professional experiences and for my company (eralabs.io) customers and I wanted to share my knowledge, that’s why I started Painless Docker Course.
KerasがCNTKに対応したことは以前書きました。 CentOSからKeras with CNTK backendを動かす これでKerasはTheano、TensorFlow、CNTKをバックエンドにして、同じプログラムで違うフレームワークを使うことができるようになりました。 Kerasのバックエンドが増える利点は、環境変数を変更するだけでフレームワークを入れ換えて学習することができる点だと思います。 フレームワークを変えても、プログラムが同じであればニューラルネットワークのモデル自体は(たぶん)変わりませんが、精度やスピードが多少変わったりします。 または、各フレームワークで学習したモデルをアンサンブルして推論するということも可能です。 複数フレームワークのアンサンブルを思いついたので、実際にやってみました。 プログラムやKubernetesのymlは以下にあります。 https:/
2017年10月10日 nginx + PHP-FPM7 + HTTP/2 版の解説エントリを公開しましたので、そちらをご覧ください。 docker-compose で作る nginx + PHP-FPM7 + HTTP/2 に対応したモダンな WordPress 開発環境 はじめに 久々に WordPress を使って web サイトを作成する機会があったので、これを期に Docker を使った WordPress 環境を構築する手順を学んでみることにしました。単に WordPress を動作させるだけの手順であればググればいくらでも出てきますが、テーマ開発に適した構成や WP プラグインインストールの自動化などがまとまった情報がイマイチ見当たらなかったので、備忘録として残しておくとします。今回は docker-compose を使って複数のコンテナによる構成を組んでみましょう。 doc
Haskellで書かれたDockerfileのLintツールのようです。 インストール Macならhomebrewでできます。 $ brew install hadolint Lintしてみる サンプルとして提示されていたDockerfileを使ってみます。内容は以下のようなDockerfile。エラー吐きそうなのが一目瞭然ですね。 FROM debian RUN export node_version="0.10" \ && apt-get update && apt-get -y install nodejs="$node_verion" COPY package.json usr/src/app RUN cd /usr/src/app \ && npm install node-static EXPOSE 80000 CMD ["npm
この記事はnvidia-docker v1.0の仕様を説明しています。現在の最新版はnvidia-docker2であり、この記事の仕組みでは動いていません。 nvidia-dockerのwikiにかいてあった nvidia-dockerとは? nvidia-dockerを使うとdockerコンテナ内部から簡単にNVIDIAのGPUを使うことができる。 nvidia-dockerを使うことによって、GPUのドライバとCUDA/cuDNNの関係を疎にしてあげる事ができる。結果として、ひとつのホスト上で複数のCUDA/cuDNNのバージョンのコンテナを動かす事ができ、CUDA/cuDNNを使っているコンテナのポータビリティがあがるらしい。 どうやって動いてるの? nvidia-dockerは大まかにいうと、実行したいコンテナ内からGPUにアクセスできるようにDocker Engine APIに色
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く