2021年コンテナ最前線〜今AWSでコンテナホストするならなにが現実解なのか？〜AWSにおけるコンテナをホストする手段は、格段に進化を続けています。ECSからはじまり、EKS、Fargate、App Runner、Proton，Lambdaコンテナー。このセッションでは、それら手段を比較し、今あなたが、コンテナをAWS環境にホストするにあたり必要なものを選択するための羅針盤となる情…
Docker DesktopでローカルにOverleaf環境を構築した時のメモ - Triad sou.
Docker Desktopのインストールが簡単にできるようになったという記事を拝見したため、Overleaf Community Editionを設定してみたメモを作りました。 GitHub - overleaf/overleaf: A web-based collaborative LaTeX editor Docker Desktopをインストールします 以下から最新版をダウンロードしてインストーラーを実行しました。 インストール後にWindowsからのサインアウトが必要でした。 Docker Desktop for Mac and Windows | Docker つまづいたときは以下の記事を参考にすると良いと思います。 Windows 10 HomeへのDocker Desktop (ver 3.0.0) インストールが何事もなく簡単にできるようになっていた (2020.12時点
Kaggleの学習から投稿までをAWS, GitHub Actionsを使って自動化する - kanayamaのブログ
金山（@tkanayama_）です。先日終了したKaggleの"M5 Forecasting"というコンペに参加した際、クラウドやCI/CDの勉強も兼ねて、AWS, GitHub Actionsを使って遊んでみました。 免責 N番煎じだったらすみません。一応、同じことをやっているネット記事は見つかりませんでした。 私はクラウドなど勉強中の身分ですので、もっといいやり方がある or 説明が間違っている、などありましたら教えてください。 私がこのシステムを使って参加したコンペの順位は5,558チーム中1,000,000,000位だったので、Kaggleで勝てるかどうかは別問題のようです :pien: この記事のゴール 下記のようなシステムを構築することをゴールとします。 ユーザーがやることは2つ（図中でユーザーから伸びている黄色矢印）で、 実装したコードをgit pushし、 AWSコンソール
Docker for Mac の Mutagen-based caching で Volume のパフォーマンスが劇的に改善した - Qiita
Docker for Mac の Mutagen-based caching で Volume のパフォーマンスが劇的に改善したSymfonyMacDockerEC-CUBEmutagen 2020/8/23 追記 2.3.5.0 の Edge release で削除されてしまった模様です。 今後の統合方法を検討するということで、続報を期待します。。 Docker for Mac の Edge channel で、 Mutagen ベースのキャッシュが使えるようになっています。(手元のバージョンは 2.3.1.0) 従来、 EC-CUBE をはじめとする Symfony をベースとしたアプリケーションや、Composer や npm などのパッケージ管理システムのファイルをマウントすると、強烈に遅くなる問題がありました。 今回利用できるようになった Mutagen ベースのキャッシュを利用
プルリクに対して検証環境を自動で起動/終了するプログラムを作ったら、検証が捗った話 - Qiita
記事の概要 GitHub Flowでの開発、つまり単純なプルリク運用での開発を、営業も巻き込んで実践したいと思い、そのような環境を作りました。その際、いくつか足りない機能を補うウェブアプリを作って公開したので、それに関する様々な話を書きます。 （実際にこのウェブアプリを使えるかどうかというよりは、似たようなフローで開発を改善できるといいなというような目的の話です。） ウェブアプリのリポジトリ このウェブアプリの使い方と機能については、一応README.mdに書いていますが、この記事では少し背景的な話も含めて順番に書きます。 issue対応やその他追加開発などは絶賛募集中です。 背景 開発に関するよくある課題 これまで、既存のウェブアプリ（サービス）の機能追加開発において、以下のような課題がありました。 検証が十分にできていない機能がある 追加した機能の使い方を十分にレクチャーできていない/
ALB + Cognito認証で付与されるユーザー情報をEC2サイドから眺めてみる | DevelopersIO
ALBはCognitoと組み合わせることで、簡単にWebサーバーの認証機能を実現できます。超便利。 ALBとCognitoを組み合わせた認証については、弊社ブログで解説しているのでこちらを御覧ください。 インフラエンジニアが一切コードを書かずにWebサーバーに認証機能を実装した話 ｜ DevelopersIO 本ブログでは、ここからもう一歩踏み込んで、ALBが認証後EC2に何を渡しているのか？（EC2はユーザー情報をどう受けとっているのか？）を眺めてみます。 構成図 こんな感じのシンプルな構成を作ります。ALBへのアクセス時に、Cognitoと連携して認証を行います。CognitoでログインできたユーザーだけがEC2上のコンテンツにアクセスできます。 ALB + Cognito認証のおさらい ALB + Cognitoの認証がどういったフローで動いているか、ここで一度おさらいしましょう。
闇の深いEC2を、EBSボリューム経由で、闇の深いDockerコンテナに転換する - Qiita
みなさんDocker使ってますか。私は闇の深いEC2に阻まれて難しい状況です。闇を抱えたままDockerizeします。 闇が深いとは このくらいを指すものとします。 AMIの出所がわからない EC2インスタンスのAMI IDが、自前AMIになってる Linuxディストリはわかるが、起点にしたバージョンはわからない AMIがどうやってできたのかわからない sudo vi /etc/hoge.conf してるっぽい sudo yum install -y hoge してるっぽい wget https://~~~~/hoge.tar.gz から make install してるっぽい AMI更新手順がわからない 変更したい人々と、変更できる人々が違っている 実施できるのは、本番環境にSSHできる極少人数 簡単なはずのconfの変更も尻込みして進まない Dockerize & k8s移行とか盛り上
dockerでvolumeをマウントしたときのファイルのowner問題 - Qiita
dockerでvolumeをマウントするときの問題点 docker runするときに-vオプションをつけることによってホストのディレクトリをコンテナ内にマウントすることができる。 ホスト側のファイルをコンテナ内で使いたい場合や、逆にコンテナで作ったファイルにホストからアクセスしたい場合に有用なのだが、ファイルのアクセス権限についてちゃんと考えておかないと問題が起きることがある。 例えば、ホスト内でのユーザーのuidが500だったとしよう。 $ id uid=500(ec2-user) gid=500(ec2-user) groups=500(ec2-user),10(wheel),497(docker) $ mkdir -p temp && touch temp/foo # 実験用に適当なディレクトリを作ってみる $ docker run -it -v $(pwd)/temp:/temp
パブリッククラウドやDocker Hubに最適化した「Minimal Ubuntu」がリリース
Minimal Ubuntu, on public clouds and Docker Hub(Canonical公式ブログより) Canonicalは2018年7月9日(米国時間)、パブリッククラウドおよびDocker Hubに最適したLinuxディストリビューション「Minimal Ubuntu」をリリースしたことを明らかにした。AWS(Amazon Web Services)およびGCP(Google Cloud Platform)を推奨パブリッククラウドとし、イメージファイルはWeb上からダウンロードできる。 Minimal Ubuntuはクラウド上の仮想マシン用OSとして設計し、標準のUbuntuと比較すると、イメージサイズは50%未満、起動は40%高速化した。Amazon EC2やGCE(Google Compute Engine)、コンテナはLXDやKVM、OpenStack
Rails × ECS でオートスケーリング＆検証環境の自動構築 - メドピア開発者ブログ
マリオカートでカーブを曲がるときに体を傾斜させてしまうCTO室 kenzo0107 です。 今回は 2018/04/02 にリニューアルしたイシコメの Rails × ECS についてです。 イシコメとは？ 「イシコメ」は、医師10万人の声でつくるヘルスケアメディアです。 医師と一般の方々をつなげることで、医療情報格差を埋めることを目指しています。 MedPeerの10万人の医師会員に協力いただいたアンケート結果をもとに編集部で記事を執筆し、医師監修の上で配信。多くの医師の声を反映することで、より正しい情報を提供しています ishicome.medpeer.jp リニューアル経緯 リニューアル前は以下のような構成でした。 フロントに Laravel 5 バックに Drupal Docker on EC2 コンテナイメージの S3 でのプライベート管理 Docker がまだ出てきて間もない頃
会社の本番環境をDocker(ECS)に置き換えるために準備したこと気づいたこと
エンジニアの@macs_6です。 このブログでは社内のAWS EC2上で運用しているアプリケーション群をECS移行したプロジェクトについて紹介します。 ローカルの開発環境をDockerした話は以前の記事(複数の rails プロジェクトが共存する開発環境を Docker 化した話を晒してみる)で西辻が紹介しているので、そちらを参照して下さい。 概要 プロジェクトを始める前に感じていた課題 目指す状態 ECSを選択する理由 設計 移行のために必要な作業 Digdagによるスケジューリングについて ECSを使って見て気づいたこと 今後やりたいこと プロジェクトを始める前に感じていた課題 ローカル・本番で再現性のある環境を簡単に作れるようにしたい 簡単にスケールできるようにしたい コストを抑えたい ECS移行プロジェクトを始める前にはこれらの3つの事に課題感を持っていました。 1.ローカル・本番
メルカリ社内ドキュメントツールの Crowi を Kubernetes に載せ替えました | メルカリエンジニアリング
最近、SRE になった @b4b4r07 です。今回は、直近のタスクだった社内アプリを Kubernetes に載せ替えた話をします。 前置き メルカリでは全社的 1 に Crowi という Markdown で書ける Wiki アプリケーションをナレッジベースとして採用しています。 site.crowi.wiki 以前は、プロダクトチームは Qiita:Team、コーポレート系は Google Sites と言った具合に、各部署ごとに異なるドキュメントツールを使っていました。これではよくないと、エンジニアに限らず誰でも書きやすく参照しやすい Wiki のようなサービスが必要とされ、Crowi の採用に至りました。 まずはみんなに使ってもらうために広めていこうと、試験的に導入が始まったため、今回の移行話までは 1 台の EC2 インスタンスにアプリケーションサーバと Nginx、Mongo
趣味でディープラーニングするための GPU 環境を安上がりに作る方法 - Qiita
趣味でディープラーニングで遊ぶために GPU マシンを使いたい。 GPU は本当にすごくて、自分の MacBook Air で 2 時間かかるような学習が GPU を使うと 5 分足らずで終わる。CPU だけでディープラーニングするのは馬鹿馬鹿しいという気持ちになる。 しかし自宅に GPU マシンを組んだとしても四六時中計算し続けるわけでもないからもったいないし、ここはクラウドサービスを活用して安く済ませたい。1 さらに、最近では Docker コンテナ内から GPU を利用することができる NVIDIA Docker という Docker プラグインがあり、これを利用することで GPU マシンの環境を汚すことなく好きなだけ学習環境を立ち上げることができる。 今回は Amazon EC2 の GPU インスタンスと NVIDIA Docker を使って趣味用のディープラーニング環境を作った
Docker対応の「Amazon EC2 Container Service」正式公開。コンテナ群のロードバランス、スケールアウト、デプロイ機能なども強化
Docker対応の「Amazon EC2 Container Service」正式公開。コンテナ群のロードバランス、スケールアウト、デプロイ機能なども強化 Amazonクラウドは、Dockerに対応した「Amazon EC2 Container Service」の正式公開と、コンテナをクラスタ化して管理できる機能強化、先週サンフランシスコで開催されたAWS Summit 2015 San Francisco 2015で発表しました。 正式公開に合わせて新しい管理コンソールが追加され、APIの履歴を記録するCloudTrailにも対応。東京リージョンでも利用可能になっています。 コンテナの運用環境も強化 さらに、コンテナをクラスタ化した運用のための機能群も追加されました。 アプリケーションの負荷に応じて稼働中のコンテナを増減する機能。分散して稼働するコンテナにトラフィックを振り分けるロードバ
いまさら聞けないDocker - 第５回コンテナ型仮想化の情報交換会＠大阪
↓↓↓↓訂正あります。↓↓↓↓ 2018/07/02に株式会社エフコード社内で行われた勉強会のスライドです。 訂正版(随時更新中): https://docs.google.com/presentation/d/15HOMfAbtdWwO48njcB8IdkN3kVAMu3wsmZo0O3S-f_4/edit?usp=sharing 専門家による資料・専門家向けの資料ではありません。自分自身で学習し、論文・文献等を読解してまとめた内容となります。間違い等あるかもしれませんが、あれば是非コメント頂ければと思います。 【訂正事項】 スライド16: 誤：たった一つのプロセスが故障しただけでも有限時間で合意できない 正：たった一つのプロセスが故障しうるだけでも有限時間で合意できない スライド20: 誤: 重要: あるschedule σ1, σ2 がdisjoint (nodeが被ってない) なら
libswarmの現状と将来 | SOTA
libswarmの現状と将来 DockerCon14で新たに発表されたDockerによる新しいOSSであるlibswarmをざっと触ってみたので，現状何ができて，将来的にどういったことができそうになるかを簡単にまとめておく． TL;DR libswarmを使うと複数ホストやサービス（自社サーバー，DigitalOcean，Amazon EC2，Orchardなど）に存在するDockerコンテナを，１つのホストに存在しているかのように扱うことができるようになる．Dockerがホストを抽象化したのに対して，libswarmは複数ホストを抽象化する． libswarmを使ったswarmdコマンドを使って，UNIXのパイプのように複数ホストやサービスを連鎖的につなげる． デモ libswarmで何ができるのかは，DockerCon14でのデモ動画“Orchard + libswarm demo f
Docker on AWS OpsWorks
This document discusses how to run Docker containers on AWS OpsWorks. OpsWorks is a configuration management service that allows users to automate infrastructure and applications on AWS. It uses Chef to define recipes and run lists that are triggered by lifecycle events. The document outlines how to create a custom Docker layer in OpsWorks that will install Docker, manage Docker images and contain
Chefのテストツール kitchen-ec2を使う – 導入、チュートリアル | DevelopersIO
こんにちは。望月です。 最近、社内で利用しているchefクックブックの数が増えてきています。それ自体は非常に良いことなのですが、そろそろ本腰入れてChefのテストを書いていかなければならないと思うようになりました。 その第一歩として、test-kitchenとkitchen-ec2を利用して、chefの実行からテストまでを自動化することを試してみました。今日はまず、インストールから実行までの手順をまとめてみます。 test-kitchenとは test-kitchenは、Chefで記述されたレシピの実行・テストを補助するためのツールセットです。 test-kitchen/test-kitchen :Github KitchenCI test-kitchenの特徴は、Chefの実行を行うために起動するVMの、起動先のクラウドや仮想化ツールをプラグインで選択できることです。VagrantやDo
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
コンテナ監視って何見るの？～初心者編～
コンテナのネットワークインターフェース その実装手法とその応用について