Dockerでデータ分析環境を手軽に作る方法 - 天色グラフィティ
何かデータ分析を行わなければいけないとき、手軽に分析環境を用意したいというニーズがあります。 Jupyter Notebook上でnumpy、pandas、matplotlib、scikit-learnあたりが使えれば十分でしょうか。XGBoostやLightGBMといったライブラリも使えるようにしておきたいという人もいるかと思います。 一方、ローカルにいろいろなライブラリをインストールしていくと、次第に環境が汚れていってライブラリの衝突などが起こりやすくなってしまいます。 KaggleにはKernelという計算環境があり、そこには主要な機械学習ライブラリが予めインストールされています。データ分析をやっていく上で不自由はありません。今回はDockerとdocker-composeを使ってKaggle Kernelを手元に再現し、ポータブルな分析環境として使う方法を紹介します。 データ分析界
Raspberry Piでdockerを動かしたらstandard_init_linux.go:178: exec user process caused "exec format error"と言われる - matablo
問題 Raspberry Pi上でdocker buildしたら standard_init_linux.go:178: exec user process caused "exec format error" The command '/bin/sh hogehugapiyo' returned a non-zero code: 1 と言われる 原因 Raspberry PiのカーネルはARMなのでWindowsやMacのdocker imageをそのまま使うことができないから 解決策 ARM用にする。 rpi- から始まるimageを元に作れば良さそう botをdockerを使って作ってみようとwindowsでしていて、自宅のRaspberry Piでホストさせようとして、このページを参考にしながらdockerをインストール buildで上記のエラーを吐いて、1時間以上悩んでようやく原
[業務で使える！]Kubernetes(Docker)、Ansibleを使った機械学習基盤の構築自動化(ベアメタル)メモ - Qiita
[業務で使える！]Kubernetes(Docker)、Ansibleを使った機械学習基盤の構築自動化(ベアメタル)メモ機械学習DockerAnsible人工知能kubernetes はじめに 久しぶりの投稿です。 今回は社内で使っている機械学習機の自動構築基盤の構築メモになります。 twitterやってます。 フォローお願いします。 ※※※ 人工知能で競馬予想sivaを運用しています。 連対的中率 ： 約 86% 回収率 ： 約 136% 今回の環境構築はGAUSSのインフラチームで構築しました！！ @monkeydaichan @tsukasa1301 今後もどんどん記事更新していきますのでフォローよろしくお願いいたします。 また、アプリチームはTypescript + ReactでAPIとSPAの新フレームワーク構築してますので、そちらもQiitaに書きます！！ 目的 以下の二点を目
![[業務で使える！]Kubernetes(Docker)、Ansibleを使った機械学習基盤の構築自動化(ベアメタル)メモ - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/ecd360b5b88865073539684d3bfad8b58af71304/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Farticle-ogp-background-9f5428127621718a910c8b63951390ad.png%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTkxNiZoPTMzNiZ0eHQ9JTVCJUU2JUE1JUFEJUU1JThCJTk5JUUzJTgxJUE3JUU0JUJEJUJGJUUzJTgxJTg4JUUzJTgyJThCJUVGJUJDJTgxJTVES3ViZXJuZXRlcyUyOERvY2tlciUyOSVFMyU4MCU4MUFuc2libGUlRTMlODIlOTIlRTQlQkQlQkYlRTMlODElQTMlRTMlODElOUYlRTYlQTklOUYlRTYlQTIlQjAlRTUlQUQlQTYlRTclQkYlOTIlRTUlOUYlQkElRTclOUIlQTQlRTMlODElQUUlRTYlQTclOEIlRTclQUYlODklRTglODclQUElRTUlOEIlOTUlRTUlOEMlOTYlMjglRTMlODMlOTklRTMlODIlQTIlRTMlODMlQTElRTMlODIlQkYlRTMlODMlQUIlMjklRTMlODMlQTElRTMlODMlQTImdHh0LWNvbG9yPSUyMzIxMjEyMSZ0eHQtZm9udD1IaXJhZ2lubyUyMFNhbnMlMjBXNiZ0eHQtc2l6ZT01NiZ0eHQtY2xpcD1lbGxpcHNpcyZ0eHQtYWxpZ249bGVmdCUyQ3RvcCZzPWY3YzQyMTdhNTJjMzYzNWIxMTc3NDE4MTBkMDFmNjZk%26mark-x%3D142%26mark-y%3D112%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTYxNiZ0eHQ9JTQwdHN1bmFraSZ0eHQtY29sb3I9JTIzMjEyMTIxJnR4dC1mb250PUhpcmFnaW5vJTIwU2FucyUyMFc2JnR4dC1zaXplPTM2JnR4dC1hbGlnbj1sZWZ0JTJDdG9wJnM9YmRmOGFiMjJhYWI1MDMxNzZhYzFjM2U0Yjg1ZGJlMjY%26blend-x%3D142%26blend-y%3D491%26blend-mode%3Dnormal%26s%3D0bf607f30ca8a2105e172196b93d5cb9)
Best practices for writing Dockerfiles | Docker Documentation
{ switch(e.key) { case 'k': if (e.metaKey || e.ctrlKey) { e.preventDefault() open = !open; if (open) { document.body.classList.add('overflow-hidden'); } else { document.body.classList.remove('overflow-hidden'); } } } }"> OverviewGet Docker Docker Desktop Overview Install MacUnderstand permission requirements for MacWindows Use the MSI installer Early Access OverviewInstall and configureUse IntuneF
How To Install and Use Docker on Ubuntu 16.04 | DigitalOcean
Introduction Docker is an application that makes it simple and easy to run application processes in a container, which are like virtual machines, only more portable, more resource-friendly, and more dependent on the host operating system. For a detailed introduction to the different components of a Docker container, check out The Docker Ecosystem: An Introduction to Common Components. There are tw
docker (nvidia-docker) を使ってマルチノードで ChainerMN を実行する方法(仮) - Qiita
docker (nvidia-docker) を使ってマルチノードで ChainerMN を実行する方法(仮) 編集履歴: (2017/12/14) nvidia/cuda:9.0-cudnn7-devel-ubuntu16.04 を使う場合 nccl-repo-ubuntu1604-2.0.5-ga-cuda9.0_3-1_amd64.deb をダウンロードして配置しなくても apt-get install libnccl2 libnccl-dev できたので変更 シングルノード シングルノードなら特に難しい所はない。docker コンテナ内に OpenMPI や ChainerMN をインストールして、nvidia-docker run で mpiexec すれば良い。 Dockerfile FROM nvidia/cuda:9.0-cudnn7-devel-ubuntu16.04 R
Dockerでクレデンシャル情報を渡す方法 - Qiita
既存のアプリケーションをコンテナ化する際、GitHubからプログラムをクローンするケースがある。このとき、Dockerfileにアカウント名、クレデンシャル/Tokenを記載してしまうとセキュリティ的に問題がある。 これを回避するために、DockerEngine1.9から実装されたbuild-time argumentsの機能を用いる。build-time argumentsを利用することにより、Dockerfileのビルド時にパラメータを設定することができる。 Dockerfile ・・・ # Deploy application ARG GITHUB_ACCOUNT ARG GITHUB_CREDENTIAL RUN git clone -b develop https://$GITHUB_ACCOUNT:$GITHUB_CREDENTIAL@github.com/XXXX/YYYY/
Dockerコンテナのクレデンシャル設計パターン | DevelopersIO
ども、大瀧です。 データベースやクラウドストレージにアクセスするために、DockerコンテナでパスワードやAPIトークンキーなどのいわゆるクレデンシャル(資格)情報を扱うことがあります。これらの情報の扱い方についていくつかパターンを挙げ、考察してみたいと思います。 TL;DR(要点) DockerイメージやDockerfileに埋め込むのはアンチパターン コンテナ実行時に環境変数で渡すのがメジャー。しかしクレデンシャル管理が不要になるわけではない コンテナ実行時に外部から動的取得するのがおすすめ。クラウドのメタデータサーバーの利用がお手軽 クレデンシャル情報とは クレデンシャルは、コンテナから外部のデータソースにアクセスするための資格情報を指します。典型的なクレデンシャルとして以下があります。 DBユーザー名とDBパスワード : dbuser/dbpass WebサービスにアクセスするAP
Docker Cheat Sheet
DisclaimerThis content is part of / inspired by one of our online courses/training. We are offering up to 80% OFF on these materials, during the Black Friday 2019. You can receive your discount here. I’ve been using Docker for years now, in my previous professional experiences and for my company (eralabs.io) customers and I wanted to share my knowledge, that’s why I started Painless Docker Course.
KerasとKubernetesによるディープラーニングの並列学習 - Qiita
KerasがCNTKに対応したことは以前書きました。 CentOSからKeras with CNTK backendを動かす これでKerasはTheano、TensorFlow、CNTKをバックエンドにして、同じプログラムで違うフレームワークを使うことができるようになりました。 Kerasのバックエンドが増える利点は、環境変数を変更するだけでフレームワークを入れ換えて学習することができる点だと思います。 フレームワークを変えても、プログラムが同じであればニューラルネットワークのモデル自体は（たぶん）変わりませんが、精度やスピードが多少変わったりします。 または、各フレームワークで学習したモデルをアンサンブルして推論するということも可能です。 複数フレームワークのアンサンブルを思いついたので、実際にやってみました。 プログラムやKubernetesのymlは以下にあります。 https:/
docker-compose を使って WordPress テーマ開発環境を構築しよう | Recruit Tech Blog
2017年10月10日 nginx + PHP-FPM7 + HTTP/2 版の解説エントリを公開しましたので、そちらをご覧ください。 docker-compose で作る nginx + PHP-FPM7 + HTTP/2 に対応したモダンな WordPress 開発環境 はじめに 久々に WordPress を使って web サイトを作成する機会があったので、これを期に Docker を使った WordPress 環境を構築する手順を学んでみることにしました。単に WordPress を動作させるだけの手順であればググればいくらでも出てきますが、テーマ開発に適した構成や WP プラグインインストールの自動化などがまとまった情報がイマイチ見当たらなかったので、備忘録として残しておくとします。今回は docker-compose を使って複数のコンテナによる構成を組んでみましょう。 doc
DockerfileをLintするにはhadolintが良さそう
Haskellで書かれたDockerfileのLintツールのようです。 インストール Macならhomebrewでできます。 $ brew install hadolint Lintしてみる サンプルとして提示されていたDockerfileを使ってみます。内容は以下のようなDockerfile。エラー吐きそうなのが一目瞭然ですね。 FROM debian RUN export node_version="0.10" \ && apt-get update && apt-get -y install nodejs="$node_verion" COPY package.json usr/src/app RUN cd /usr/src/app \ && npm install node-static EXPOSE 80000 CMD ["npm
nvidia-dockerは何をしているのか - Qiita
この記事はnvidia-docker v1.0の仕様を説明しています。現在の最新版はnvidia-docker2であり、この記事の仕組みでは動いていません。 nvidia-dockerのwikiにかいてあった nvidia-dockerとは? nvidia-dockerを使うとdockerコンテナ内部から簡単にNVIDIAのGPUを使うことができる。 nvidia-dockerを使うことによって、GPUのドライバとCUDA/cuDNNの関係を疎にしてあげる事ができる。結果として、ひとつのホスト上で複数のCUDA/cuDNNのバージョンのコンテナを動かす事ができ、CUDA/cuDNNを使っているコンテナのポータビリティがあがるらしい。 どうやって動いてるの？ nvidia-dockerは大まかにいうと、実行したいコンテナ内からGPUにアクセスできるようにDocker Engine APIに色
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
The requested image's platform (linux/amd64) does not match the detected host platform (linux/arm64/v8) and no specific platform was requested - githubmemory
Docker Compose 徹底解説
DockerHubを活用してAnsibleのPlaybookを自動ビルドする
Empowering App Development for Developers | Docker
DockerfileをLintする - Qiita
https://singularity.lbl.gov/
SSSSLIDE
