CyberAgent AI事業本部新卒研修「MLOps」の資料を公開します | CyberAgent Developers Blog
はじめに 近年、様々な分野で機械学習の利用が進む中、モデルの品質を担保し、継続的な学習を行うための施策が重要視されています。そのため、機械学習のためのDevOpsであるMLOpsの必要性が高まっており、AI事業本部でも研修内容に取り入れています。 より良いMLOpsを構築するためには、アプリケーションやインフラの知識も必要です。そのため、今年は昨年までと異なり、MLエンジニアだけでなくソフトウェアエンジニアも講義に参加しました。また、新たに実践編が加わり、より業務を意識した講義が追加されました。 Container編 基礎編 応用編 実践編 そこで、今回は研修で行われた各講義の資料を公開したいと思います。 Container編 Container編では、コンテナにまつわる技術に対しインデックスを張ることと、イメージ作成や運用時のTipsを学び実業務に役立てることを目的としています。 そのた
【2024年版】WSL2+Ubuntu24.04+Docker＋GPUでつくる機械学習環境
はじめに WSL2（Windows Subsystem for Linux 2）は、Microsoft Windows上でLinuxカーネルを直接実行できるようにする機能です。 この記事ではWSL2環境にDockerを導入しGPUを用いた機械学習環境を構築する手順を紹介します。 構築イメージは以下の図の通りです。NvidiaGPUを搭載したマシンにWSL2環境を構築します。Dockerを用いてコンテナを用意し、CUDAは各コンテナ内のCUDA Toolkitを用いて利用します。 今回開発するPCのスペックは以下の通りです。 Windows 11 Windows version: 22H2 GPU：NVIDIA Geforce RTX 3060 12GB 設定 1. WSL2を有効化 デフォルトではWSL2環境が無効化されている可能性があるので、始めに有効化しておきましょう。 「コントロール
CloudNative Days | 技術書同人誌博覧会
あの半日で満員になった大人気ハンズオンが遂に書籍化！！！ 2023 年12 月に、コミュニティ、企業、技術者が一堂に会し、クラウドネイティブムーブメントを牽引することを目的として、CloudNative Days Tokyo 2023(CNDT2023) を開催しました。また、このイベントの一環として、CNDT2023 の運営チームで『一日で学ぶクラウドネイティブ技術実践ハンズオン』を作成しました。 本書は、Prometheus・Grafana・OpenTelemetry・Argo CD・Argo Rollouts・Istio・Cilium・Hubble といったよく利用されるクラウドネイティブな OSS について実際に触れて学べるハンズオンをまとめたものです。 これらの OSS についての第一歩を学び、これから先の学習のきっかけにしてください。
Kindを使ったKubernetes環境構築 - Qiita
背景とか目的 最近Kubernetesを使って、色々試したいことが多い。 一発コマンドでマルチクラスタを作って、きれいさっぱりさよならしたい。 物理マシン数台でclusterを構築したり、管理するのがめんどくさい。 自分の開発マシンだけでマルチノードクラスタを立ち上げて、アプリの動作を確認したい。 Kindとは Kubernetes IN Docker らしいです。少しだけ概要にも触れておきます。 Kubernetesのノードとしてdockerコンテナを起動しています。dockerコンテナ一つがKubernetesのノードとして割り当てられます。 dockerコンテナの中(仮想的なノードの中)ではコンテナランタイム(containerd)が起動しています。このコンテナランタイムがKubernetesのコンポーネントやアプリケーションをコンテナとして管理しています。dockerコンテナの中で
kindind ~Kubernetes in Docker in Dockerでお手軽クラスタ構築~ | DevelopersIO
はじめに どうも、おのやんです。 みなさん、Kubernetesクラスタ組んでますか？私は大学の卒業研究としてKubernetesを用いたGPUクラスタをオンプレで構築していました。 Kubernetesクラスタを組んでみると、うまくアプリケーションのデプロイができなかったり、思わぬ部分で部分でつまづいたりします。そのため、初めてクラスタを構築するときだったりアプリケーションを試したいときは、簡単にクラスタを作成・削除できると嬉しいです。 しかし、オンプレ環境でクラスタ構築を試行錯誤していると、操作をミスった際にとても面倒です。操作を行う前の状態にクラスタを戻す必要があったり、最悪クラスタをはじめから構築し直す必要があります。 私はけっこうこの問題に悩まされていましたが、kindを使ってDockerコンテナ内にKubernetesクラスタ建てれんか？と思ってやってみたところ意外とすんなりで
アーキテクチャから読み解くKubernetes～Controllerの仕組み～
クラウドで使うコンテナというと、AWSのAmazon ECS、Google Cloud Runなどがある。今回はコンテナオーケストレーションのKubernetesのアーキテクチャについて、スリーシェイク bells17氏が解説する。KubernetesはもともとGoogleが内部で運用していたコンテナ基盤のBorgをベースとしており、Cloud Native Computing Foundation（CNCF）に寄贈されたものだ。認知度からも分かるように、成熟度レベルは「GRADUATED」で成熟が進んだものとなっている。 KubernetesのコアとなるControllerとは？ コンテナオーケストレーションツールとして有名なKubernetes。代表的な特徴を挙げるとサービスディスカバリとロードバランシングがある。Serviceリソースを定義することで、多数起動されているコンテナに接続
AWSのECSってなんやねん
自己紹介 どもども、フリーランスエンジニアとして働いている井上弥風です。 ずっとバックエンドメインで仕事をしてきたのですが、インフラ側がヨワヨワ過ぎたので勉強を始めました ECSを自分で設定して開発時に利用して～～とかまで全部できる自信がなかったので学習していきます 対戦よろしくお願いします 初めに 記事の内容 この記事は「そもそもDockerって何？」から始まり、そのあとにECSを理解していきます ECSに関する内容だけを学びたい方は上記目次から「実際に使ってみた」まで飛んでいただけると読みやすいかと思います 記事のゴール 記事のゴールは下記です Dockerに対する理解をすること ECSに対する基礎知識を理解すること ECSに関わるサービス(ECRなど)の理解をすること そもそもDockerとは何か ECSの前にDockerってそもそも何者なんっていうのを僕が完全に理解できていなかった
今あらためてコンテナ界隈を俯瞰する「Docker/Kubernetes コンテナ開発入門」 | DevelopersIO
単著ならではの一貫性と、筆者のノウハウをありったけ突っ込んでやろう！というあっつい想いを感じる素晴らしい書籍です。 「2018年から2024年、コンテナ界隈もいろいろ変わったもんだなぁ…（しみじみ）」 献本いただいた「Docker/Kubernetes 実践コンテナ開発入門 改訂新版」を眺めながら、ハマコーはそんな感慨にふけっておりました。 5年前、Docker始める人はまずこれ！書評「Docker/Kubernetes 実践コンテナ開発入門」で旧版の書評を書いたご縁で、著者の山田さんより改訂新版の献本をいただき、今この場にその本があるというわけです。 改めて中身読んでいたのですが、単著でこれはマジでやばいです。今コンテナを使った開発を進めようとしたときにでてくるであろう、開発〜運用面でのトピックが幅広く凝縮されている本で、「これ一冊読んどけば、マジはずれないよ」というぐらいの力が入った書
CloudNative Days Tokyo 2023から、WasmのクラウドネイティブやAI推論での利用を解説
2023年12月11日、12日の両日にオンラインとリアルのハイブリッド形式で開催されたCloudNative Days Tokyo 2023のキーノートから、Michael Yuan氏による、Wasm（WebAssembly）の概要と、そのクラウドネイティブでのユースケース、そしてLLM（Large Language Models、大規模言語モデル）による生成AIへの応用についてのセッションを紹介する。 タイトルは「Wasm is becoming the runtime for LLMs」。なおYuan氏は、CNCF（Cloud Native Computing Foundation）のサンドボックスプロジェクトになっている、Wasmランタイム「WasmEdge」プロジェクトの創設者だ。 Wasmはブラウザーで始まりサーバーサイドの技術に Wasmはもともと、CやC++のアプリケーション
定期実行するLambdaをAWS CDKでデプロイする(Docker imageを使用) | クラウドテクノロジーブログ | ソフトバンク
定期実行するLambdaをAWS CDKでデプロイする(Docker imageを使用)</h1>\r\n"}}" id="text-a4a19dc21b" class="cmp-text"> 定期実行するLambdaをAWS CDKでデプロイする(Docker imageを使用) <b><span class=\"biz-smb-fs-p1\">サービス開発部・クラウドエンジニア<br>\r\n 宮田 銀河</span></b></p>\r\n<p>2021年度入社のエンジニアです。最新技術を使ったサービス開発が好きです。</p>\r\n<h3 style=\"text-align: left;\">好きな技術</h3>\r\n<ul>\r\n<li>入社前: AWS / GCP / CircleCI / React / TypeScript / Python / Unity</li>\
AWSコンテナ系アーキテクチャの選択肢を最適化する | 外道父の匠
これまでもコンテナ関連の記事はそれなりに書いてきましたが、改めて最新事情に合わせて練り直したり見渡してみると、大きなところから小さなところまで選択肢が多すぎると感じました。 コンテナ系アーキテクチャを丸っと他所の構成で真似することって、おそらくほとんどなくて、参考にしつつ自分流に築き上げていくでしょうから、今回は築くにあたってどういう選択肢があるのかにフォーカスした変化系で攻めてみようと思った次第です:-) 目次 今年一発目の長いやつです。半分は学習教材用、半分は道楽なテイストです。 はじめに 基盤 インスタンス or コンテナ ECS or EKS on EC2 or FARGATE X86 or ARM64 ロードバランサー メンテナンス：ALB or ECS Service 共有 or １環境毎 アクセスログ：ALB or WEBサーバー ECS / EKS デプロイ：Blue/Gr
コンテナを使う前にコンテナがなぜ利用されるかを知ってみる - サーバーワークスエンジニアブログ
このブログは、サーバーワークス Advent Calendar 2023 の 17日目のエントリーです。 シリーズ2まであるので、他のブログも見てください。 qiita.com 昨日の投稿は、我らの中嶋氏がAmazon Connectについて投稿しおります。 blog.serverworks.co.jp 12月だというのに暖かく、半袖でブログを書いております。 アプリケーションサービス部の中村(哲)です。どうもこんにちは。 普段は、お客様へのAWSトレーニングを提供しております。 サーバーワークスが提供するトレーニングコンテンツの中で、お客様からよくご要望をいただく「コンテナ」についてご紹介します。 また今回はコンテナの内容でも、なぜコンテナが利用されるかを書いていきます。 アプリケーション開発のよくある課題 コンテナが何かを理解するために、まずは「アプリケーション開発のよくある課題」につ
ブログイベント「コンテナウィーク」開催します！ - NRIネットコムBlog
こんにちは、ブログ運営担当の小嶋です。 今年も、月曜日があと7回となり年末年始の業務確認などが始まってくる頃となりました！ 1年が終わるのが早いですね…。 さて、今月のブログイベントのお知らせです！ 11月のブログイベントは「コンテナウィーク」です！ アプリケーションの動作環境としてスタンダードになりつつあるコンテナ。当社でも様々な案件で利用する機会が増えています！今回のイベントでは、そんなコンテナの案件に携わっている当社インフラメンバーに執筆してもらいます！ 記事掲載日と記事内容 更新され次第、こちらの記事にもリンクを掲載します。ぜひ、ご期待ください！ 11/13(月)：梅原航 tech.nri-net.com 11/14(火)：堀晃太郎 tech.nri-net.com 11/15(水)：加藤俊稀 tech.nri-net.com 11/16(木)：尾澤公亮 tech.nri-net.
NetflixはKubernetes環境における「孤立したPod問題」にどう取り組んでいるのか
NetflixはKubernetes環境における「孤立したPod問題」にどう取り組んでいるのか：カーネルパニック発生をnetconsoleで可視化 Kubernetes環境における孤立したPodとは何なのか。Netflixのエンジニアが孤立したPodの問題にどう取り組んでいるのか解説した。 Netflixでエンジニアのカイル・アンダーソン氏は2023年10月28日（米国時間）、エンジニアの苦労を軽減させる取り組みの一環として、Kubernetes環境における「孤立したPod（Orphaned Pod）」にどう取り組んでいるのか、公式ブログで解説した。 Netflixは、同社が内製し、オープンソースで公開しているコンテナ管理プラットフォーム「Titus」を活用しており、Kubernetesと連携させてアプリケーションの実行やデプロイに取り組んでいる。孤立したPodの問題に取り組むことは、バッ
開発品質とDeveloper eXperienceを高めるコンテナ開発環境のご紹介 (Python) - ABEJA Tech Blog
はじめに こんにちは 2023年1月に入社し、システム開発グループでエンジニアをしてる春名です。 私の所属しているシステム開発グループでは、開発初期の環境構築をより効率的に行うための活動に取り組んでいます。 今回はそのうちの一つである、Pythonでコンテナ開発をする環境を構築した内容をご紹介します。 なぜコンテナ開発環境かと言いますと、単にAWSのECSやGoogle CloudのCloud Runを使ってデリバリーする案件が多いからです。 より使用頻度の高い開発環境を整備し、テンプレート化しておくことで開発の効率化に活用しています。 目次 はじめに 目次 今回作成する環境 Poetryによるプロジェクトの作成 Poetryのインストール プロジェクトの作成 poetryの設定 .gitignoreの作成 依存関係の追加 FastAPI Ruff / Black / mypy / pyt
コンテナ、Kubernetesの脆弱性スキャン、3つの重点ポイント
組織が新しいテクノロジーを導入する際は、概念実証の作業と検証を優先し、セキュリティの考慮を後回しにすることが多いということを、ソフトウェアエンジニアは知っている。しかし、シフトレフトへの動きが進むとともに、最高情報責任者（CIO）や最高技術責任者（CTO）がセキュリティを最優先するようになっているため、エンジニアは開発の初期段階からセキュリティを考慮する必要がある。 開発にコンテナが関係する場合、開発者とテスト担当者は次の3つの主要な脆弱（ぜいじゃく）性スキャンに重点を置く必要がある。 これらのスキャンを正しく実装すれば、アプリケーションレベルでセキュリティのリスクを軽減できる。 コンテナは仮想化されたOSだ。そのため、フットプリントは極めて小さく、数秒で作成できる。エンジニアは、Dockerの「Docker Hub」にアクセスして、「Ubuntu」や「Nginx」などの公式リポジトリから
【開催報告&資料公開】「コンテナで ARM アーキテクチャを活用するには？Deep Dive 版」セミナー | Amazon Web Services
Amazon Web Services ブログ 【開催報告&資料公開】「コンテナで ARM アーキテクチャを活用するには？Deep Dive 版」セミナー ソリューションアーキテクトの苅野です。2023 年 5 月 25 日に「コンテナで ARM アーキテクチャを活用するには？Deep Dive 版」をオンライン開催しました。本セミナーでは実際に AWS Graviton を導入するにあたって技術的な注意点や導入の手順を具体的に知りたい方を対象に、例えばコンテナ特有のライフサイクル（イメージ開発・ビルドから実行等）の各所において今どこに注意する必要があるか、またコンテナオーケストレーターによってどういう考慮が必要か、さらにアプリケーションを ARM 向けにどう最適化すべきか、まさに今コンテナ環境で ARM を使うために必要な情報を網羅的に提供しました。 本記事では、発表内容の概要と発表資料
詳解 : Seekable OCI を使用した AWS Fargate におけるコンテナイメージの遅延読み込み | Amazon Web Services
Amazon Web Services ブログ 詳解 : Seekable OCI を使用した AWS Fargate におけるコンテナイメージの遅延読み込み この記事は Under the hood: Lazy Loading Container Images with Seekable OCI and AWS Fargate (記事公開日 : 2023 年 7 月 18 日) の翻訳です。 コンテナワークロード向けのサーバーレスコンピューティングエンジンである AWS Fargate が、Seekable OCI (SOCI) を使用してインデックス化したコンテナイメージの遅延読み込みをサポートしました。SOCI を使用してコンテナイメージを遅延読み込みすることで、AWS Fargate 上で Amazon Elastic Container Service (Amazon ECS)
既存のDocker開発環境をVS CodeのRemote Developmentで開発できるようにしてみた | DevelopersIO
こんにちは！DA(データアナリティクス)事業本部 サービスソリューション部の大高です。 私は普段のローカル開発環境として、Dockerを利用した開発を行っており、このコンテナ環境はsshを利用してVS Codeで接続および開発できるようにしています。 一方で、VS Codeを利用しているので「せっかくVS Codeを利用しているのであれば、Remote Development（のコンテナ機能）を利用して開発したい！」という想いから設定をしてみたので、その設定方法についてまとめておきたいと思います。 前提 まず、元々の環境についてです。 OSなど OSはMacOSで、DockerについてはDocker Desktop for Macを利用しています。 VS Codeの拡張機能 VS Codeの拡張機能に「Remote Development（ms-vscode-remote.vscode-r
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Ebook連載：『5分x10回で学ぶ 開発者のためのDocker コンテナ入門』第8章 -ユーザ定義ネットワーク上のマルチコンテナアプリケーション #docker #DX #Mirantis - クリエーションライン株式会社
