CUDA on WSL 2のすすめ - Qiita
前置き 個人マシンで3090 Tiが使えるようになり、ウキウキでEfficientNetV2を回してみると…共有マシンの3090よりも遅い。 どうやらWindowsではパフォーマンスが出ないというウワサは本当だったらしい。（他の要素も検証しろ！ 「Windowsが許されるのは小学生までだよねー」などとイジられながらも頑なにWindowsで粘ってきたが そろそろ潮時だろうかと考えていると、CUDA on WSL 2がnear-nativeなパフォーマンスで動くと聞こえてきた。 結果、WSL 2+Docker環境で学習を回すと、Windowsネイティブ環境と比べて実行時間が16%短縮された。 導入方法 以下のページで丁寧に解説されています。 補足: CUDAをDockerから使う場合は「3. CUDA Support for WSL 2」の手順は不要です。 罠1 systemctlが使えないと
まるでDocker Desktop！！Rancher Desktopの登場です - Qiita
[7/10更新]末尾にDocker DesktopとRancher Desktopの比較を追加しました。 Ranchar社からRanchar Desktopが登場しました。 公式サイトはこちら なんとなく、Docker Desktopの代わりになりそうに見えます。 Ranchar Desktopのインストール 公式のインストール手順はこちら。 Widnows、macOS、Linuxに対応しています。 特にWindowsについては Rancher Desktop requires Windows Subsystem for Linux on Windows; this will automatically be installed as part of the Rancher Desktop setup. Manually downloading a distribution is not
Dockerで安全にnode.jsウェブアプリをコンテナ化する - Qiita
Happy New Year! 年末、年始があっという間に終わり、明日は成人の日。 来週からコーディングのオンラインクラスを受けることになった。4−6ヶ月になりそうであるが、無事乗り切れるのか、少々不安も。javascriptを習得するコースなため、最終的にnode.jsのサーバーサイドでのコーディングもできるようになるまでの知識を得られるよう頑張ろう。node.jsの環境構築に不可欠ともいえるdocker。 今回は、10 best practices to containerize Node.js web applications with Docker の翻訳記事のご紹介です。 今回は、特に翻訳に苦労しました。読みにくい部分もあると思いますが、どうぞ最後までお付き合いください。 Dockerでnode.jsウェブアプリケーションをコンテナ化するための10のベストプラクティス Liran
M1搭載Macの環境を汚さずにDeep Learningしたい！（Docker, PyTorch, TensorFlow, VSCode, Jupyter） - Qiita
M1搭載Macの環境を汚さずにDeep Learningしたい！（Docker, PyTorch, TensorFlow, VSCode, Jupyter）MacDeepLearningDockerVSCodeM1 DockerでDeep Learningしたいが、、、 せっかく新しく買ったM1搭載Macなのだから、環境はできるだけ汚さずに開発したいなぁ、という方は少なくないと思われます。 環境をクリーンに保つ方法の一つがDockerですけれども、 Deep Learningに必要なPyTorchとTensorFlowを両方利用できるいいarm64用Dockerイメージが見つからなかったので、なければ作れということで、作ってみました。 （PyTorchのビルドは何の苦労もなくできましたが、TensorFlowのビルドが辛いこと辛いこと、、、ビルドを開始して数時間経過後にエラーやらOut o
無償版PaaSだけでGithubでログインするNext.jsアプリを作る - Qiita
最近next.jsでいろいろアプリを作っているのですが、そのときにnextauthというライブラリで認証機能をさくっと作れることを知りまして、作ってみようと思いました。 自分のGithubのレポジトリはこちらです。 やりたいこと Next.jsでウェブアプリを作る Githubで認証できるようにする データベースにログイン情報を保存できるようにする すべて無料サービスで行う 使う技術構成 Next.js Typescript nextauth mysql Docker Prisma 使うサービス Github App Vercel Heroku ClearDB ファイル構成 tree -I node_modules . ├── README.md ├── app │ ├── LICENSE │ ├── README.md │ ├── components │ │ ├──
Docker Desktopに依存しない、WindowsでのDocker環境 - Qiita
もろもろの事情でDocker Desktopを使いたくなくなったため、Docker Desktop for Windows無しに、似たようなDocker環境をWindowsに構築する手順を確認しました。 (2021-09-05追記) 私はWSL2をDocker以外の目的で使用していないので気にしませんが、他の目的にも使っているという方は 「(おまけ) Docker用のディストリビューションを分ける」 を先に参照したほうが良いかもしれません。 (2022-01-29追記) Visual Studio Code (VSCode) に、WSL環境内の docker コマンドを直接使用できるオプションが追加されました。この機能を有効にすると、VSCodeからコンテナを使用するために一旦WSLに接続したり、Windows側にDocker CLIをインストールしたり、というステップが不要になります。詳
Docker DesktopでローカルにOverleaf環境を構築した時のメモ - Triad sou.
Docker Desktopのインストールが簡単にできるようになったという記事を拝見したため、Overleaf Community Editionを設定してみたメモを作りました。 GitHub - overleaf/overleaf: A web-based collaborative LaTeX editor Docker Desktopをインストールします 以下から最新版をダウンロードしてインストーラーを実行しました。 インストール後にWindowsからのサインアウトが必要でした。 Docker Desktop for Mac and Windows | Docker つまづいたときは以下の記事を参考にすると良いと思います。 Windows 10 HomeへのDocker Desktop (ver 3.0.0) インストールが何事もなく簡単にできるようになっていた (2020.12時点
Apple M1 マシンで快適にUbuntuを使う - Qiita
MacBook Air M1買いました 一般コンシューマ向けのARM64マシンとしては最強との呼び声が高いApple M1チップを搭載したMacBook Airですが、とある理由で買ってしまいました。 今回は、ARM64を最大限生かした使い方を色々書いていきたいと思います。 Ubuntuを使うには Apple M1でUbuntuを使うには以下の手法があります（2021 1/23時点） ネイティブで動かす https://corellium.com/blog/linux-m1 Pros. ネイティブで動作させるので、macOSの色々なプロセスがない Cons. ストレージはUSB経由 （なんか怖そう） Parallels https://www.parallels.com/jp/ Pros. みんな大好きParallels USBが使える Windowsも使える 安心 Cons. まだPar
【個人的に】Dockerがはかどる小技 - Qiita
初めて知ったときは感動したけど 自分の中で知ってて当然になってしまった小技をまとめました まだこの小技を知らない人に届いてくれるとうれしい Dockerfile RUNを1つにまとめる
Python コードの高速化のアプローチ - Qiita
はじめに こんにちは。こんばんはかもしれません。爲岡 (ためおか) と申します。 2020年4月から株式会社グロービスにて機械学習エンジニアとして働いています。 グロービスでは機械学習技術を利用したプロジェクトや、データ基盤の運用改善プロジェクトを担当しています。 機械学習技術を利用したシステムには様々なものがあると思いますが、 現状のグロービスにおいては、ユーザのリクエストに対して機械学習を行い、 すぐに結果を返す必要があるようなシステムは扱っておらず、 ある程度の時間をかけて学習、推定した結果を非同期にアプリケーションに連携するシステムのみを扱っています。 ゆえに、今のところは機械学習技術を利用したロジックを書くときに、速さを意識することはあまりありません。 一方で、空いている時間に競技プログラミングをやっていることもあり、 高速なコードについて考えたり、書いたりすることは個人的には好
WSL2でスタートアップスクリプトを実行するHack - Qiita
序論 WSL2 では起動時に systemd を自動スタートさせたり、/etc/rc.local によるスタートアップスクリプトの実行ができません。 Windowsスケジューラにスクリプトを登録するなど、回避策はありますが、筆者はなるべく Linux 環境内で設定を完結させたいと考えていました。 そのような訳で、WSL2 で Docker を使いたい場合、起動時にいちいち以下のようなコマンドを打っていました。 # dockerデーモン起動 $ sudo service docker start # WSL2 には cgroup 用ディレクトリがデフォルトで作られていないため作成しておく ## これをしておかないと Docker でプロセスのグループ化が必要になったときにエラーが起きる $ sudo mkdir -p /sys/fs/cgroup/systemd $ sudo mount -
とあるテーブルの中身を一括更新した話から学ぶPITR - Qiita
この記事は本番環境でやらかしちゃった人のアドベントカレンダー9日目の記事です。 https://qiita.com/advent-calendar/2020/yarakashi-production 去年に引き続き、今年も参加させてもらいました。 ※去年の記事はこちら→ データ移行をしただけなのに…（起こってしまったメール誤配信） 今年のネタも15年くらい前の事で、且つ自分が直接関わった事案ではないのですが、「そういやあの事件、今MySQLだったらどうするかな」と思い書くことにしました。 何があったか もうタイトルで出落ちしていますが本番でUPDATE文を実行する際にWHERE句を付け忘れたという事故です。 当時の状況を整理するとこんな感じだったと思います。 対象サービス： 年商10億円くらいの自社サービス 作業内容： 仮登録されている顧客の情報を指定された情報で更新する 作業環境： DB
Mac使いがWindows開発環境構築してみたログ - Qiita
あらすじ 普段はMacBook Airを使っています。ただ、MBAでなにかを開発しようとするとスペック不足を感じていました。 最近はWindowsもWSL2やWindows Terminalなどが使えて、Visual Studio Code Remote Development を使えば開発もしやすいという話も聞くようになりました。 ゲーム用にWindows デスクトップPCを持っていたので、イチから開発環境構築しました。 ↑ WSL2(Ubuntu 20.04) で create-react-appを動かしてVSCode, Chrome を開いている様子 2020/08/31 追記 セットアップをdotfiles化 概要 各種アプリのインストール・設定 PowerShellスクリプト, Chocolatey, Scoop でほぼ自動化 キーバインドをMac風に変更 Change Key,
ダークウェブをChromeから覗く闇のワンライナー Welcome to Underground - Qiita
ダークウェブ（.onionドメイン）にアクセスする場合、ブラウザはTorを使う必要がありますが、docker内でTorを建ててプロキシとして使えば、どのブラウザ、またはCURL、pythonスクリプト等でもアクセスできちゃいます。 ワンライナーはこちらです。 networksetup -setsocksfirewallproxy Wi-fi localhost 9150 && networksetup -setsocksfirewallproxystate Wi-fi on && cd $(mktemp -d) && echo -e "FROM alpine:3.12\nRUN apk add tor" > Dockerfile && docker build . -t torproxy && docker run -p 9150:9150 torproxy sh -c "chown -R
コンテナログ処理の技術的なベストプラクティス：Dockerのケーススタディ - Qiita
この記事では、Dockerを例に、コンテナログ処理の一般的な方法やベストプラクティスをいくつか紹介しています。 背景 Docker, Inc. 旧社名：dotCloud, Inc）は、2013年にDockerをオープンソースプロジェクトとしてリリースしました。その後、Dockerに代表されるコンテナ製品は、分離性能の良さ、移植性の高さ、リソース消費の少なさ、起動の早さなど複数の特徴から、瞬く間に世界中で人気を博しました。下図は2013年からのDockerとOpenStackの検索傾向を示しています。 コンテナ技術は、アプリケーションの展開や配信など、多くの便利さをもたらします。また、以下のようなログ処理のための多くの課題ももたらします。 1、コンテナの中にログを保存した場合、コンテナが取り外されるとログは消えてしまいます。コンテナは頻繁に作成・削除されるため、コンテナのライフサイクルは仮想
Dockerで未使用オブジェクトを消す「prune」オプションの整理 - Qiita
概要 Docker で不要なものを消すガベージコレクション（garbage collection ）は、prune 系のオプションを使う。 prune 系オプションを使うと、使っていない Docker オブジェクト（コンテナ、イメージ、ネットワーク、ボリューム）をまとめて削除できる。コンテナが停止してからの時間を指定できる --filter "until=24h" の指定で、更に活用しやすくなる。あるいは --filter "until=2020-06-01" のように、日時の指定も可能。 なお「prune」の意味とは、不要なものや余分なものを、削る、刈り取る、取り除くといったもの。 停止して24時間経過したコンテナと、使っていないイメージおよびネットワークを消す $ docker system prune -a --filter "until=24h" ... Are you sure
Dockerファイルがビルドできなかったのでコンパイラをいじめる - Qiita
TL;DR ある環境でビルドできたDockerfileが別の環境でビルドできなかったのは、メモリ制限のせいだった はじめに 理研シミュレータというシミュレータがあります。 RIKEN-RCCS/riken_simulator これは、「京」の次のスーパーコンピュータ「富岳」が採用しているアーキテクチャ「Fujitsu A64FX」のシミュレータです。Gem5というアーキテクチャシミュレータがあり、それにARM AArch64を実装したものです。 これを使うと、AArch64のプロセッサレベルでのシミュレートができるのですが、ビルドに結構手間がかかります。なので、その「手間」をまとめたDockerファイルを作りました。 kaityo256/aarch64env Dockerファイルはこんな感じです。 FROM ubuntu:18.04 MAINTAINER kaityo256 ENV USE
WSL2 Docker が PC のディスクを圧迫する - Qiita
概要 WSL2 バックエンドの Docker では、コンテナやボリューム、イメージを削除しても、ホスト (Windows) のディスク容量が解放されない。 原因 WSL2 は一度確保したディスクをホストに返さないらしい。Issue が上がっている: WSL 2 should automatically release disk space back to the host OS · Issue #4699 · microsoft/WSL 確認 雑に確認してみる。 Docker のディスクファイル (%LocalAppData%\Docker\wsl\data\ext4.vhdx) のサイズを確認する。 WSL2 バックエンドを作成したばかりのまっさらな状態: > docker image ls REPOSITORY TAG IMAGE ID CREATED SIZE > dir Direc
Docker for Mac の Mutagen-based caching で Volume のパフォーマンスが劇的に改善した - Qiita
Docker for Mac の Mutagen-based caching で Volume のパフォーマンスが劇的に改善したSymfonyMacDockerEC-CUBEmutagen 2020/8/23 追記 2.3.5.0 の Edge release で削除されてしまった模様です。 今後の統合方法を検討するということで、続報を期待します。。 Docker for Mac の Edge channel で、 Mutagen ベースのキャッシュが使えるようになっています。(手元のバージョンは 2.3.1.0) 従来、 EC-CUBE をはじめとする Symfony をベースとしたアプリケーションや、Composer や npm などのパッケージ管理システムのファイルをマウントすると、強烈に遅くなる問題がありました。 今回利用できるようになった Mutagen ベースのキャッシュを利用
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
あなたのDockerfileはベストプラクティスに従っていますか？(ベストプラクティスとチェックツール) - Qiita
