【2024年版】WSL2+Ubuntu24.04+Docker＋GPUでつくる機械学習環境
はじめに WSL2（Windows Subsystem for Linux 2）は、Microsoft Windows上でLinuxカーネルを直接実行できるようにする機能です。 この記事ではWSL2環境にDockerを導入しGPUを用いた機械学習環境を構築する手順を紹介します。 構築イメージは以下の図の通りです。NvidiaGPUを搭載したマシンにWSL2環境を構築します。Dockerを用いてコンテナを用意し、CUDAは各コンテナ内のCUDA Toolkitを用いて利用します。 今回開発するPCのスペックは以下の通りです。 Windows 11 Windows version: 22H2 GPU：NVIDIA Geforce RTX 3060 12GB 設定 1. WSL2を有効化 デフォルトではWSL2環境が無効化されている可能性があるので、始めに有効化しておきましょう。 「コントロール
Dockerで構築する機械学習環境【2024年版】
Dockerを使った機械学習環境の構築方法 株式会社松尾研究所で働いているからあげ（@karaage0703）です。松尾研究所では、機械学習（ここでは、予測モデル、画像認識からLLMまで幅広く扱います）を使う多数のプロジェクトが走っています。プロジェクトの特性は多種多様なので、環境構築方法は様々なのですが、松尾研究所では、環境構築方法の1つとしてDockerを推奨していています。今回はDockerを使った機械学習環境の構築方法を紹介します。 松尾研究所の特にインターン生を想定した記事にはなりますが、他の組織、個人の方にも参考になる部分があるかと思いWebに広く公開させていただきます。 なぜDockerで機械学習環境を構築するのか？ 具体的な手法に入る前に、まずはDockerで機械学習環境を構築する理由から説明したいと思います。説明が不要な方はここはスキップしてもOKです。 そのために、Do
複数の環境でDockerfileを共通化するために使えるtips
前提 コンテナを用いてアプリケーションのワークロードを構築することにはいくつかの利点があります。 なかでも、下記に上げられるポータビリティと環境の再現性は非常に強力です。 ポータビリティ コンテナは、アプリケーションとその依存関係をコンテナ内にパッケージ化します。 これにより、開発環境で構築したコンテナを本番環境にデプロイする際にも、一貫した動作が期待できます。 異なる環境間でアプリケーションを移行する際に、互換性の問題や依存関係の不一致が生じるリスクが低減され、ポータビリティが高まります。 環境の再現性 コンテナは環境に依存しないため、開発者が特定の環境でアプリケーションを構築した場合でも、他の開発者や運用チームが同じ環境を再現することが容易です。 コンテナイメージにはアプリケーションのコードとその実行環境が含まれており、イメージを共有することで他の人が同じ環境でアプリケーションを実行で
Mac の Docker の x86-64 エミュにプッツンした勢いで、余ったパソコンをリモート Docker サーバーにした
Mac の Docker の x86-64 エミュにプッツンした勢いで、余ったパソコンをリモート Docker サーバーにした ARM Mac で Docker Desktop や Lima を使っていて、 docker build --platform x86-64 .... や docker run --platform x86-64 .... が、いきなりクラッシュしたり、途中まで進むけど特定の箇所でコケたりで困ったことはありませんか。 私はしょっちゅう困ってます。いよいよ我慢の限界になり、部屋でホコリを被ってた x86-64 なパソコンを使ってどうにかすることにしました。 これはホコリをはたいてキッティング中の様子です。 前準備 x86-64 なCPUを搭載したパソコンを調達する Intel でも AMD でもどっちでもいいです。私は手元に転がってた Lenovo M75q-1 を
Visual Studio Codeで使えるリモート環境のdevcontainerが意外と便利そうだったのでまとめ
試してたらたまたまVisual Studio Code(vscode)のdevcontainer(Remote Container)が、Remote SSH経由でリモート環境でも使えることを知ったので、devcontainer用の環境構築方法やdevcontainerの構築方法についてまとめてみた 今まではローカル環境のdockerか、codespaceでしか利用できないのかなと思っていたのだけど、リモート含めて利用できるとかなり便利そうな印象だったので一通り試してみました 最近はRemote SSHでリモート環境を利用するケースが多いのでリモート環境で使えないならそんなに使えないかなと思ってたんだけど、普通にRemote SSH経由でdevcontainer使えたのでかなり便利そうだった devcontainerについてはこちらを参照してもらえればと はじめに 結論から言うと以下のような
Visual Studio Code と Docker コンテナを使って開発する - Pepabo Tech Portal
技術部データ基盤チームの @zaimy です。今回は、 Visual Studio Code（以下 VS Code）と Docker コンテナを使って開発環境を構築する方法を紹介します。 データ基盤エンジニアの開発環境として、Python を使用する単一コンテナを例に記述しますが、他の言語や Docker Compose を使う場合でも応用できます。 背景: M1 Mac (Monterey) に Python 3.8.12 をインストールできない 先日、業務で使用するマシンを Intel Mac から M1 Mac に切り替えたのですが、CPU アーキテクチャが異なることに加えて、OS のバージョンが上がったことで Apple Clang に下位互換性のない変更が入っており、業務上ある理由で必要な Python 3.8.12 のインストールが困難でした。 そこで、私の所属するチームは全員
「Rancher Desktop 1.0」正式リリース。Win/M1 Mac/Intel MacにコンテナとKuberntes環境を簡単に構築、設定できるElectronベースのアプリ
「Rancher Desktop 1.0」正式リリース。Win/M1 Mac/Intel MacにコンテナとKuberntes環境を簡単に構築、設定できるElectronベースのアプリ SUSEは、インストールして起動するだけでWindows やMac上に簡単にDockerコンテナとKubernetes環境が導入される「Rancher Desktop 1.0」を正式リリースしたと発表しました。 SUSEがRancher Labsを買収して最初の大きなプロダクトとなります。Windows、M1 Mac、Intel Mac、Linuxに対応します。 At SUSE, we want to make the experience of working with #Kubernetes on your desktop easier and simpler, which is why we are
docker で nfs サーバを構築してみた
概要 nfs サーバを docker の nfs ボリュームとして使う方法はいろいろと紹介記事がありますが docker 上で nfs サーバ自体を動作させる記事が中々なかったので紹介します 環境 Ubuntu 16.04 (Vagrant) docker 18.09.8 nfs サーバの構築 Dockerhub でいろいろと公開されているイメージがありますが今回は nfs-server-alpine を使ってみました まずは nfs で共有するディレクトリを作成します 今回は vagrant ユーザで作成するのでサーバ側とクライアント側のマウントポイントは両方とも vagrant ユーザを所有者にする必要があります sudo /nfsshare sudo chown vagrant:vagrant /nfsshare あとはそのディレクトリをマウントする nfs コンテナを起動するだけで
Alpine Linuxにvpnを入れる
はじめに vpn機能を使うと、出先のノートPCから自宅のファイルサーバにアクセスしたり、外出先のスマホで自宅サーバのWebアプリにアクセス出来たりと、とても便利です。 最近ではルーターにvpn機能が搭載されている場合が多いので、あえて自前でvpnサーバを用意する必要性は薄いのですが、筆者宅のルーターはダイナミックDNS機能が無かったので、ダイナミックDNSが無料で使えるSoftEtherVPNを導入しました。 自宅LANをvpnでアクセスする場合、自宅LANのルーターのWAN側IPアドレスを指定する必要がありますが、このアドレスはプロバイダーから付与されるもので、プロバイダーの都合で変化する場合があります。ダイナミックDNS機能があれば、アドレスが変わっても、WAN側IPアドレスをいつも同じ名前でアクセスできるようになります。 尚、自宅LANとインターネットはルーターのPPPoE接続で繋が
Azure Container Instances + Azure Automationで超格安バッチ実行基盤を構築！！ | SIOS Tech. Lab
◆ Live配信スケジュール ◆ サイオステクノロジーでは、Microsoft MVPの武井による「わかりみの深いシリーズ」など、定期的なLive配信を行っています。 ⇒ 詳細スケジュールはこちらから ⇒ 見逃してしまった方はYoutubeチャンネルをご覧ください 【5/21開催】Azure OpenAI ServiceによるRAG実装ガイドを公開しました 生成AIを活用したユースケースで最も一番熱いと言われているRAGの実装ガイドを公開しました。そのガイドの紹介をおこなうイベントです!! https://tech-lab.connpass.com/event/315703/ バッチを実行するためには？バッチを実行するためには、もちろんバッチを実行する基盤が必要です。代表的なものは、オンプレミスに設置する物理サーバーであったり、パブリッククラウド上に作成する仮想マシンであったりします。でも
Dockerで環境構築するための最低限の概念理解 - Qiita
はじめに この記事は、Docker入門シリーズ記事3本の1本目です。 Dockerで環境構築するための最低限の概念理解 Dockerで環境構築するための最低限のコマンドを一通り実践する 【Docker Compose】設定内容を1行ずつ理解しながらLaravel環境構築（PHP-FPM、Nginx、MySQL、Redis） また、WindowsでDockerを利用する際の重要な設定に関する記事もありますのでこちらもご確認ください。 WindowsでDockerを使う時、正しくファイル配置しないと激重になるので注意 概要 この記事では、 Docker未経験者、初心者向けに Dockerでアプリケーションの開発環境を構築するために必要な 最低限の概念を解説します。 詳細な解説はかなり省いています。 Dockerとは何をするためのものか Dockerは、アプリケーションの実行環境を構築するための
NextcloudをDockerで構築する手順
はじめに プライベートなDropbox環境を構築することができるOwnCloudですが、最近OwnCloud社のCEOが交代し、元CEOがよりオープンなOwnCloudとしてNextcloudの開発を進めています。Nextcloudについては最近知りましたが、非常に高機能で驚きました。例えば、WebRTCによる通話、チャット、画面共有機能、タスク管理機能などが追加され利用できるようになっています。社内用のコミュニケーションプラットフォームとしてなど色々な使い方ができそうです。 このNextcloudを実際に触って使ってみるために、Dockerを使って環境構築したのでその手順をメモします。なお、すでにDockerを触ったことがあれば数分で自分のローカル環境にNextcloudを構築できます。 2020/1/8 追記 以下にNextcloudのSnap版をNginxと一緒に使う構成の構築手順を
dockerマルチサイト構築(conoha+centos7+nginx-proxy, docker-compose) - Qiita
dockerマルチサイト構築(conoha+centos7+nginx-proxy, docker-compose)nginxCentOSDockernginx-proxyLet’sEncrypt はじめに dockerを使って趣味サーバで依存関係を気にしなくて良い環境を安く作りたく、既存サーバーのリプレイスとしてdocker環境を構成。docker初心者です。 やりたかったこと 複数のwebサーバ、webアプリをひとつのVPSで実行。 www.xxx.com"→ウェブサーバへ。app1.xxx.com→webアプリへ。 dockerで運用、可能な限りdocker-composeだけで運用。 趣味サーバなのでそこまでパフォーマンスは不要。将来的な拡張ができること。 https対応 構成イメージ VPS 1年前、仕事の関係の検証でAWSとGCPとAzureを一気に作成しましたが結果検証環境程
DockerでポータブルなLinux開発環境(GUI付き)を構築する - Qiita
やってみたいこと javaとかpythonとかtexとかの開発環境をLinuxベースにしたい（Office周りとか普段の作業はWindowsで） CUIだけじゃなく，GUIも含む開発環境をコンテナベースで利用したい それぞれの開発環境は独立に管理したい jdkのバージョンをUPしたいとか，pythonは2と3を別々に作りたいとか，texは日本語用と英語用を作りたいとかの状況に個別に対応したい 編集対象のファイルはホスト（Windows）で一括管理したい バックアップをまとめて取りたい 特定のファイルに複数のコンテナからアクセスできるようにしたい 編集対象のファイルを持ち歩くだけで，開発環境はDockerさえあればどこでも動かせるようにしたい やってみること Docker for Windowsを使って個別の開発環境を導入したLinuxコンテナを立ち上げる Xをコンテナから飛ばしてWindo
Docker入門して機械学習環境構築 - karaage. [からあげ]
最新版にアップデートしました。 古くなっていたところなど多数あったので、アップデートして所属のテックブログとして投稿しました。よろしければこちらをまずは参照ください。 このページは、残しておきます。 機械学習の環境構築のために今更ながらDocker入門 最初に、この記事の対象者は、私のように趣味で機械学習しているエンジョイ勢や学生さん、初心者が対象です。インフラなど本職での運用などは全く想定しておりませんので、ご承知おき下さい。詳しい方は色々教えていただけると嬉しいです、それか生暖かく見守っておいて下さい。 というわけで、今更ながら機械学習の仮想環境としてDockerがとても優秀であることに気づいたので、Dockerに入門してみました。Dockerは何か？という基礎的な解説は、以下のさくらインターネットさんの記事が非常に分かりやすかったので、以下参照下さい。 仮想環境に関しては、Virtu
![Docker入門して機械学習環境構築 - karaage. [からあげ]](https://cdn-ak-scissors.b.st-hatena.com/image/square/7b11ffcf9f4021aa000a4e241f26e517441fe138/height=288;version=1;width=512/https%3A%2F%2Fcdn-ak.f.st-hatena.com%2Fimages%2Ffotolife%2Fk%2Fkaraage%2F20190516%2F20190516000848.png)
プライベートYUMレポジトリを作ろう | SONICMOOV LAB
RPMに関する支援ツールは豊富にそろっていて、レポジトリの作成ツールである createrepo コマンドをインストールし、作成済みのRPMを入れたディレクトリをYUMレポジトリとして構築します。 [sourcecode lang="bash"] $ yum install createrepo $ createrepo test.repo/ Spawning worker 0 with 1 pkgs Workers Finished Gathering worker results Saving Primary metadata Saving file lists metadata Saving other metadata Generating sqlite DBs Sqlite DBs complete $ tree test.repo/ test.repo/ ├── bash-co
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Dockerfile を書くためのベストプラクティス解説編