M1搭載Macの環境を汚さずにDeep Learningしたい！（Docker, PyTorch, TensorFlow, VSCode, Jupyter） - Qiita
M1搭載Macの環境を汚さずにDeep Learningしたい！（Docker, PyTorch, TensorFlow, VSCode, Jupyter）MacDeepLearningDockerVSCodeM1 DockerでDeep Learningしたいが、、、 せっかく新しく買ったM1搭載Macなのだから、環境はできるだけ汚さずに開発したいなぁ、という方は少なくないと思われます。 環境をクリーンに保つ方法の一つがDockerですけれども、 Deep Learningに必要なPyTorchとTensorFlowを両方利用できるいいarm64用Dockerイメージが見つからなかったので、なければ作れということで、作ってみました。 （PyTorchのビルドは何の苦労もなくできましたが、TensorFlowのビルドが辛いこと辛いこと、、、ビルドを開始して数時間経過後にエラーやらOut o
コンテナ標準のOCI対応、クラウドネイティブなWebAssemblyランタイム「WasmEdge」が、CNCFのサンドボックスプロジェクトに採用
コンテナ標準のOCI対応、クラウドネイティブなWebAssemblyランタイム「WasmEdge」が、CNCFのサンドボックスプロジェクトに採用 オープンソースのWebAssemblyランタイム「WasmEdge」を開発するSecond Stateは、WasmEdgeがCloud Native Computing Foundation（CNCF）のサンドボックスプロジェクトに採用されたことを発表しました。 Second State has joined the @CloudNativeFdn as a silver member. #CNCF accepted WasmEdge, an open-source #WebAssembly #Runtime as a sandbox project, the next-generation lightweight "container" for
CI設定ファイル「.gitlab-ci.yml」の肥大化を防げ エンジニア1年生が“yaml地獄"から抜け出すためにやったこと
技術とノウハウを武器に、膨大かつ複雑なデータの「検索」「分析」「可視化」といった課題を解決するフォルシア株式会社が「FORCIA Meetup #2」を開催しました。2回目の今回のテーマは「2020年度にエンジニアが取り組んだこと」。六車氏は、CI/CDの整備について発表しました。 管理ツールとして「GitLab」CI/CDツールとして「GitLab CI/CDツール」を利用 六車光貴氏（以下、六車）：六車が『エンジニア1年目の貢献：CI整備を中心に』というタイトルで発表します。まず自己紹介です。六車光貴と申します。ちょっと変わった名前ですが、四国の香川県出身で、香川県だと小学校のクラスに1人はいる名前です。 フォルシアには2020年4月に新卒で入社して、ソフトウェアエンジニアとして働いています。主に大手旅行代理店のサイトの構築をTypeScript、Node.js、React、Next、
機械学習基盤 Hekatoncheir の取り組み【DeNA TechCon 2021】/techcon2021-12
DeNA には優秀な Kaggler が多く在籍しており、機械学習の課題発見や高精度なモデリングに大きな強みを持っています。一方で機械学習モデルのプロダクション化は Kaggler の開発サイクルと比べて時間がかかりがちです。 そこで、DeNA では Kaggler が自身の得意分野に注力しつつ自然と production ready なものが出来上がるように「Hekatoncheir」という機械学習基盤を作成しました。Hekatoncheir は Google Cloud Platform の AI Platform など既存のツールを組合せて、コンペティションという Kaggle like な形式で事業課題を解決する仕組として開発・運用されています。 コンペティションという形で、コンペ参加者が担う純粋な機械学習アルゴリズムの実装とコンペ主催者が担う周辺タスクの境界を明確にしつつ、両者の
Docker HubのイメージプルがDownloadRateLimitで失敗する問題を、認証を利用して対処した話 - ANDPAD Tech Blog
明けましておめでとうございます、ANDPAD SREチームの@DanKadoiです。 AWSサポートの一歩進んだ使い方 ~問い合わせの極意編~ の節はありがとうございました。 今回はDocker Hubのイメージプルについて書こうと思います。 困っていたこと 弊社ではいくつかの用途でDocker Hubからイメージプルしていましたが、主に以下のユースケースでDownlowdRateLimitによる失敗が頻発しました。 ECRのPrivateリポジトリでホスティングしたい自前のDockerイメージを、CodeBuildプロジェクトでビルドしているケース [1/2] FROM docker.io/library/mysql:5.6 resolve docker.io/library/mysql:5.6 resolve docker.io/library/mysql:5.6 3.0s done
Python コードの高速化のアプローチ - Qiita
はじめに こんにちは。こんばんはかもしれません。爲岡 (ためおか) と申します。 2020年4月から株式会社グロービスにて機械学習エンジニアとして働いています。 グロービスでは機械学習技術を利用したプロジェクトや、データ基盤の運用改善プロジェクトを担当しています。 機械学習技術を利用したシステムには様々なものがあると思いますが、 現状のグロービスにおいては、ユーザのリクエストに対して機械学習を行い、 すぐに結果を返す必要があるようなシステムは扱っておらず、 ある程度の時間をかけて学習、推定した結果を非同期にアプリケーションに連携するシステムのみを扱っています。 ゆえに、今のところは機械学習技術を利用したロジックを書くときに、速さを意識することはあまりありません。 一方で、空いている時間に競技プログラミングをやっていることもあり、 高速なコードについて考えたり、書いたりすることは個人的には好
Docker公式ブログに書かれた「開発者が知っておくべき Docker、Docker Engine、Kubernetes v1.20」について ‣ Pocketstudio.Net
Docker 公式ブログに「What developers need to know about Docker, Docker Engine, and Kubernetes v1.20 という投稿があり、何が書かれているのか要点を日本語でまとめました。 書かれているポイントは「Kubernetes で Docker が非推奨ではなく、これまで通り使い続けられる」であり「Docker イメージの話と、ランタイムの話は別」との内容です。 今回のDockerのブログ投稿を捕捉しますと、Kubernetes における docker-shim の話と、 Docker イメージの扱いは別だ、という内容でもあります。つまり、前提として「Docker Engineとcontainerd、Dockerコンテナとイメージの話」も分けて考えたり議論する必要があります。 Docker エンジンを構成する要素の1つ
Bazelの解説（TS, Dockerイメージ、リモートキャッシュ）
Bazelは大規模なプロジェクトでも高速にビルドすることができる強力なビルドツールとして知られています。一方で、その仕組みや実際に使用する方法についての紹介されることは少なく、まだまだあまり普及していないと思います。特にNode.js/TypeScriptをBazelでビルドする方法についての解説はかなり珍しいと思います。 この本ではBazelによるビルドがなぜ高速なのか基本的な原理の説明から、実際に自分が作成したサンプルコードを使用してTypeScriptプロジェクトのビルド、Dockerイメージの作成までのコードを解説をし、最後のBazelの大きな特徴であるリモートキャッシュを実際に使う方法まで紹介します。 ぜひhttps://github.com/Kesin11/bazel-playgroundを手元にcloneして頂き、実際に動かしながらBazelによるビルドを体験してみてください
VSCodeとDockerで簡単に開発環境を構築＆共有する方法 - paiza times
もじゃ（@s10akir）です。paizaラーニングでプログラミング学習動画制作のアルバイトをしている専門学生です。 以前こんな記事を書かせていただきました。 paiza.hatenablog.com 今回は、VSCodeとDockerを使って簡単に開発環境を構築する方法について書いてみたいと思います。 code.visualstudio.com ちなみに前回はプレビューリリースされた「Remote Development with VSCode」と「PaizaCloud」を使って、面倒な環境構築なしで快適に開発しようぜという記事だったのですが、しばらくして「Remote Development with VSCode」が正式版のVSCodeでも使えるようになりましたね！わざわざInsider版のVSCodeを入れなくてもよくなりましたね。 前提の環境について この記事の内容が試せるのは
DBアクセスで遅くなったテストの実行時間を Docker で 40% 削減した方法 - Qiita
DBのレイヤーを含むエンドツーエンドテストやDBに依存したコンポーネントの自動テストがたくさんあると、全てのテストが終わるまでに長い時間がかかるようになってしまうことがあります。DBのクエリ実行はネットワークIOやディスクIOなどを含んだ高コストな処理だからです。 Docker を少し工夫して使うと、お手軽にテスト中のDBのクエリ実行にかかる時間を削減できます。自動テストが完了するまでの待ち時間を短縮し、開発のフィードバックサイクルをより早く回せるようになります！ MariaDB を用いたプロジェクトの実績では、DBアクセスを伴うテストケースが 153件 ありましたが、この方法によりそのテストスイートのローカル環境での実行時間を約 43% 削減できました（約 145.7s → 約 83.3s）。 どうやって？ Docker で tmpfs を使います。 tmpfs tmpfs とは、ディス
プライベートDockerレジストリとしてのGitLab Container Registry - Qiita
GitLab Registryという選択肢 Dockerイメージの管理(registry)にDockerHubやGCR，ECRなど のサービスを利用している人も多いかと思いますがやはりローカル環境(オンプレミス環境)で Registryサービスを構築して利用したいという人も多いと思います． そいういうときの選択肢としてはDocker Registryが始めに挙がると思いますが， 残念ながらOSS版のRegistryにはユーザ認証機能などがなく， 便利な機能は有償のDocker EEで提供されるDocker Trusted Registryを利用する必要があります． では代替として何があるかというと，CNCFプロジェクトの1つとなったHarborがあります． Harborにはユーザ認証機能はもちろん，脆弱性検査などの機能もあり非常に便利ですが 運用がそれなりに面倒という課題があります． 自分
Docker の Tag を信じないでください #cloudnativejp / Cloud Native Meetup Tokyo 4th
Cloud Native Meetup Tokyo #4 で使用したスライドです。CNCF プロジェクトのひとつ、Notary についてその役割とアーキテクチャを解説しています。Notary は何らかのデータを安全に配信するためのフレームワークで、同じく CNCF プロジェクトの The Update Framework (TUF) に基づいています。特に Docker の Tag と Digest を結びつけることで Docker image が改竄されていないことを保証でき、Docker Hub でも利用可能です。 イベント概要：https://cloudnative.connpass.com/event/97281/
Dockerを活用し、Re:VIEWによる技術書の執筆環境を構築する最短経路 for Mac - このすみノート
技術書典5に向けて、執筆環境の整備を行なっています。前回の技術書典4では、最終的にGoogleドキュメントで執筆しました。 前回の技術書典4の模様は、過去のブログ記事で綴っておりますので、もし宜しければご覧ください。 www.konosumi.net さて、今回は、GitBookかRe:VIEWを使おうと決めていました。そこで、実際に両方で執筆をしてみたのですが、比較した結果Re:VIEWで書くことに決めました。 その際のRe:Viewの環境構築手順を共有したいと思います。最初に言っておきますが、Re:VIEWの執筆環境の構築は、物凄く簡単です。 必要なモノはDockerだけである 私は、今回の執筆にはDockerを活用することにしました。なお、Docker for Macのインストールは、HomeBrew経由が最もお手軽です。 # HomeBrewのインストール(入ってない人だけ) /u
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Docker でフロントエンドとAPIを開発してみた