こんにちは。現役エンジニアの”はやぶさ”@Cpp_Learningです。 WSL2 + Docker + VS Code の Remote – Containers のPython開発環境が最高だったので、構築方法と実践チュートリアルを紹介します。
はじめに データアナリティクス事業本部のkobayashiです。 最近Fargateでバッチ処理を行っていたのですが、タスクを実行してから終了するまでが想定よりも時間がかかってしまいその原因を調べました。 するとタスクを実行してからPythonスクリプトで処理を開始するまでの時間が100秒近くかかっていたことが原因だと判明しましたので、ECRにあるイメージのサイズを確認すると750MBとというとても巨大なイメージサイズになってしまっていました。 Fargate内のバッチ処理はPythonで行っているのですがその中で必要なモジュールが複数あり、イメージを作成する際にそれをインストールしていたのですが、その作業でイメージが肥大化していました。 そこでECRにpushする最終的なイメージを軽量化するために色々調べているとDockerのmulti-stage buildsという方法があることがわか
Windows10 home + WSL2(Ubuntu) + Docker for Windows (+ VScode)でPythonの環境を構築しようとしています。 DockerでのPython環境の構築方法を調べたら、dockerfileの書き方について、主に二つの方法が挙げられているように思います。 一つはhttps://blauthree.hatenablog.com/entry/2019/07/13/000839に書かれているように、ubuntuのコンテナを作ってからpythonをインストールする方法。 # ベースとなるイメージ FROM ubuntu:18.04 # RUNでコンテナ生成時に実行する RUN apt-get update RUN apt-get install -y python3 python3-pip もう一つはpythonのイメージをpullしてコンテナ
MacBookのキーボード問題とかで躊躇していたら、この前いきなり電源が落ちてそろそろ新しいの買うべきかと追い詰められてます。 以前から、統計やニューラルネットの勉強のために自宅マシンでJupyterを使っていましたが、歴史的経緯でAnaconda、pyenv、virtualenv、pipenvと色々ごちゃごちゃしてきました。 このような状態は気持ち悪いので、勉強ついでにデータ分析環境をDockerで構築してみます。 Dockerエンジン/クライアントのインストール Docker docs https://docs.docker.com/install/ Linux: Linux系の各ディストリビューションは公式の通りで問題なくインストールできると思います。日本語の記事も多いので、詳細は省きます。 Dockerはその仕組み上、ホストOSはLinuxであることが望ましいのですが、まあそうは言
を叩いて、localhost:8080 にアクセスするだけでJupyterlab環境が使えます。 中身とか 以下、使う分には必要のない記事なので興味があれば。 FROM python:3.8 RUN apt-get update -y \ && apt-get upgrade -y RUN curl -sL https://deb.nodesource.com/setup_12.x |bash - \ && apt-get install -y --no-install-recommends \ wget \ git \ vim \ curl \ make \ cmake \ nodejs \ && apt-get autoremove -y \ && apt-get clean \ && rm -rf \ /var/lib/apt/lists/* \ /var/cache/apt/* \
仕事でDockerを使う機会があったのですが、あまり馴染みがなかったので使い方を調べることにしました。 試しにPython3.xの環境構築を行ってみます。 Dockerのインストール WindowsならDocker for Windows、MacならDocker for Macとわかりやすいですね。 ただし、Windows 10 Homeの場合だとDocker for Windows(Hyper-V)が利用できないため、 代わりにDocker Toolboxというものをインストールする必要があります。 今回はMacで行いますが、Windowsでも同様に動かせると思います。 Docker自体はすでにインストール済みだったためアップデートをして完了しましたが、 新規インストールの場合でも基本的にはインストーラに従えばOKだと思います。 Docker for Mac(Windows)はこちらから
何かデータ分析を行わなければいけないとき、手軽に分析環境を用意したいというニーズがあります。 Jupyter Notebook上でnumpy、pandas、matplotlib、scikit-learnあたりが使えれば十分でしょうか。XGBoostやLightGBMといったライブラリも使えるようにしておきたいという人もいるかと思います。 一方、ローカルにいろいろなライブラリをインストールしていくと、次第に環境が汚れていってライブラリの衝突などが起こりやすくなってしまいます。 KaggleにはKernelという計算環境があり、そこには主要な機械学習ライブラリが予めインストールされています。データ分析をやっていく上で不自由はありません。今回はDockerとdocker-composeを使ってKaggle Kernelを手元に再現し、ポータブルな分析環境として使う方法を紹介します。 データ分析界
みなさん機械学習系の環境構築はどうやってますか? 僕は最近は Docker を使った管理を行っています。 特に師匠も居なかったので、ぐぐったり人のイメージを見たり手探りで docker をつかいつかいしている中で、最初からやっとけばよかったなーということがいくつかあるのでメモとして残しておきます。 大きく2つです。 キャッシュは消す テストを書く キャッシュは消す ライブラリをいろいろと install すると大抵の場合ダウンロードしたファイルを保存されている場合が多いです。何かのタイミングで再びそのライブラリをインストールする際にはダウンロードしたファイルを使って、素早くインストールすることができます (この仕組みがキャッシュです)。 キャッシュがあると容量が重くなるという欠点があります。重たいイメージは pull に単に時間がかかりますから、システムとしてデプロイする時にトラフィックが
最新版にアップデートしました。 古くなっていたところなど多数あったので、アップデートして所属のテックブログとして投稿しました。よろしければこちらをまずは参照ください。 このページは、残しておきます。 機械学習の環境構築のために今更ながらDocker入門 最初に、この記事の対象者は、私のように趣味で機械学習しているエンジョイ勢や学生さん、初心者が対象です。インフラなど本職での運用などは全く想定しておりませんので、ご承知おき下さい。詳しい方は色々教えていただけると嬉しいです、それか生暖かく見守っておいて下さい。 というわけで、今更ながら機械学習の仮想環境としてDockerがとても優秀であることに気づいたので、Dockerに入門してみました。Dockerは何か?という基礎的な解説は、以下のさくらインターネットさんの記事が非常に分かりやすかったので、以下参照下さい。 仮想環境に関しては、Virtu
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く