Canonical、Chiselを使ってUbuntuに超小型のコンテナイメージを導入垂直スケーラビリティと効果的なテストによる金融取引システムのパフォーマンスと効率の最大化 Peter Lawrey氏はJavaチャンピオンであり、Chronicle SoftwareのCEOとして、開発者を鼓舞してソリューションのクラフトマンシップを高めることに情熱を注いでいる。経験豊富なソフトウェアエンジニアとして、Lawrey氏はソフトウェア開発プロセスにおけるシンプルさ、パフォーマンス、創造性、革新性を奨励することに努めている。
mirage-ecsで各メンバー専用開発サーバーを実現！まちのコインの運用事例を紹介します - KAYAC engineers' blog
SREチームの長田です。 突然ですが、 mirage-ecs というツールをご存知でしょうか？ 今回はこのツールをまちのコインの開発チームでの使用例をもとに紹介します。 coin.machino.co mirage-ecs を使うと動作確認用のサーバー環境を、サーバーサイドのエンジニアでなくとも自由にいくつでも立ち上げることができるようになります。 「環境」は AWS のECSクラスタ上で起動し、専用のURLが割り当てられ、 認証*1を通過すればどこからでもアクセスできます。 これにより 「クライアントアプリとつなぎ込んで動作確認したいけど、開発環境が空いてないから確認できない」 や、 「プロダクトオーナーに新機能を確認してもらいたいけど、開発環境が空いてないから(以下略)」 といった問題が解消し、 開発と動作確認のサイクルをスピーディーに回すことができるようになります。 mirage-e
Stable DiffusionをDocker Desktopで簡単に使い始める方法 ‣ Pocketstudio.Net
Stable DiffusionをWindowsのDocker Desktopで比較的簡単にはじめる手順をまとめました。ほぼ、自分の覚書です。 確認した環境は、Windows 10 Pro、21H2、build 19044.2846＋16GB RAM+NVIDIA GeForce RTX 2060 SUPER＋WSL2(Ubuntu)+Docker Desktop 4.18.0(104112) です。 どうして Stable Diffusion のために Docker Desktop を使うのか？ 楽してセットアップしたいからです。AUTOMATIC1111/stable-diffusion-webui というウェブ用 UI は既にありますが、動かすためには環境構築等いくつかの手順が必要です。ですが、この面倒な作業を省略してできる Stable Diffusion WebUI Docker
ログコンテナのバージョン管理の為に、ecspresso v2のSSMパラメータストア参照を利用してみた - Qiita
ログコンテナのバージョン管理の為に、ecspresso v2のSSMパラメータストア参照を利用してみたECSSSMecspresso はじめに コンテナデプロイツールであるecspressoですが、ecspresso v2が昨年末にリリースされました！ ecspresso handbookでも紹介されているecspresso v1とv2の変更点の中でも、今回はSSMパラメータストア参照を利用しました。 https://zenn.dev/fujiwara/books/ecspresso-handbook-v2/viewer/v1-v2 何のために利用したか？ ECSのログコンテナ用fluent-bitのイメージですが、 検証環境でstableタグ指定で運用し、ログ転送に問題が無いかをテスト 具体的にはpublic.ecr.aws/aws-observability/aws-for-fluen
ECS のサービスディスカバリを導入した場合のデプロイ時の挙動の検証をしてみた | DevelopersIO
TTLに60秒が設定されてるので、DNSリゾルバや HTTP Client 側で最大 60 秒キャッシュされる可能性があります。停止中のコンテナのIPがキャッシュとして残ってしまい、起動中、もしくは、停止中のコンテナにリクエストしてしまうといったことが起こる可能性も考えられます。そのようなことが起こりうるのかは、このあと検証していきます 登録されたレコードのルーティングポリシーには、「複数値回答」が設定されています。そのため、正常な動作をするIPから最大8つのIPを、リゾルバ毎に異なる値で返却します 検証 これから、以下の検証していきます リクエストが分散されているか？ デプロイ時のレコードの登録、削除のタイミング デプロイ時にリクエストが失敗するかどうか？ ヘルスチェックに失敗したコンテナの入れ替えが正常に行われるか？ リクエストが分散されているか Aレコードの結果がランダムに複数返って
「コード書きました、あとはよろしく」では優れたソフトウェアは生まれない コンテナのスペシャリストが語る、運用性を損なう8つの実装例
今押さえておくべき知識をアップデートし、ノウハウを共有し、さらなるスキルアップを実現する場として開催されている、AWS で最も Developer に特化したカンファレンス「AWS Dev Day Online Japan」。ここでSr. Product Developer Advocate, Elastic Containersの原氏が登壇。続いて、運用性に優れたソフトウェアが重要な理由と、運用性を損なう8つの実装例について紹介します。前回はこちらから。 You build it, you run it 原トリ氏：（スライドの「You build it, you run it」を指して）この言葉、聞いたこと、見たことがある方がいるかもしれません。これは、2006年にACM（Association for Computing Machinery）という団体が、Amazon AWSのCTOで
接続が途切れないストリーミングサーバの無停止アップデートを実装してみました - Mirrativ Tech Blog
こんにちは ハタです。 最近 SO_REUSEADDR / SO_REUSEPORT を使ったストリーミング配信サーバの無停止アップデート(Hot Deploy)を実装してみたので紹介したいなと思います ことの経緯 HTTPサーバによる Hot Deploy の仕組み ストリーミング配信サーバへの応用 SO_REUSEADDR/SO_REUSEPORT を使った実装例 Hot Deploy の組み込み Hot Deploy 実装時に気をつけたこと その後 We are hiring! ことの経緯 ミラティブでは以前から何度か紹介したとおり自前の配信基盤設備を持っています。 配信基盤のミドルウェアも内製であり、機能追加やライブラリの更新などがあるたびにミドルウェアのバージョンアップ作業(メンテナンス)も自社で実施しています ストリーミング配信サーバといっても、何か特別な事はなく一般的なHTT
ECSで作業用のタスクをサクッと作るためのツールを作成した - カンムテックブログ
インフラエンジニアの菅原です。 最近、バイクに念願のグリップヒーターをつけました。 これでツーリング時の手の寒さが多少楽になりそうで喜んでいます。 とはいってもなかなか出かけられないのですが… 現在私はAWS Fargateを使ったサービスをECS上に構築を進めており、日々コンテナと戯れています。 基本的にストレージ以外のコンポーネントはほとんどECSで動いているのですが、VPCのネットワーク内でちょっとした作業（たとえばネットワークの疎通確認など）をしたい場合、都度新しいタスクを起動して作業しています。 また、DBにテストデータを入れたかったり、どうしてもDBを直接操作したいことがある場合、stoneを新しいタスクを起動した上で、そのタスクを踏み台としてaws ssm start-sessionでポートフォワーディングを行い、手元から直接DBにアクセスできるようにしたりしています。 しか
Docker-in-Docker でお手軽 Amazon ECS Anywhere お試し環境を手に入れる | トリの部屋
『手軽に作って壊してができる ECS Anywhere お試し環境が欲しい』、あるいは『ECS Anywhere で遊んでみたい気持ちはあるけどそれだけのために Raspberry Pi を買う1気にはならない』、という方向けの記事です. TL;DR x86_64 なラップトップが手元にあるなら… VirtualBox で VM を作ればサクッと試せる ただし VM はそこそこ重い M1 Mac なみなさまは… VirtualBox は残念ながら M1 Mac 未サポート というか ARM 未サポート お金を出せば Parallels で ARM な VM を作れる2ので、それも可 💸 VMware Fusion は残念ながら記事執筆時点で ARM 未サポート というわけで、本記事では Docker-in-Docker を利用して (M1 Mac でも) ECS Anywhere する手
AWS Startup Tech Meetup #3: かんたんコンテナロギング選手権
コンテナでログをどう取得すればいいの？そもそもどういうログがあるのか？ ログの取得パターンから活用方法まで、 @prog893 が選定のためのヒントとサンプルアーキテクチャで紹介します。
軽量Dockerイメージに安易にAlpineを使うのはやめたほうがいいという話 - inductor's blog
はじめに やめろ、ではなく、やめたほうがいい。です。自分のユースケースに合ってるか今一度確認することを推奨します。基本的にはAlpineは避けたほうが良い、というのが2021年時点での私の認識です。 なんで？ libcに一般的な互換性が不足しているからです。Ruby、Python、Node.jsなどでNativeモジュールをバンドルしているアプリケーションの場合、パフォーマンスの劣化や互換性の問題にぶち当たる場合があります。 superuser.com あとは他のベースイメージの軽量化もそれなりに進んできていて、Alpineが定番軽量イメージと言う認識は2018年頃には消えつつあったかなという認識でいます。 どうすりゃええねん ※Debian Slimがあるやんってツッコミ結構もらったんですが、Slimは当たり前過ぎてもう紹介しなくていいかなっていう甘えで省略していました。よろしくおねがい
Kubernetes 専門家として知るべき 47 のこと - 誰かの役に立てばいいブログ
この記事は私が過去 3 年ほど Kubernetes に携わる中で学んだ、ちょっと見つけにくい知識をまとめたものです。 特にカスタムコントローラーを開発するような人に必要となる知識群です。 感想とか指摘とかあれば Twitter までお寄せください。 更新履歴 2021-03-05: "コンテナの resources.limits と resources.requests の違いについて" の項を補足しました (thanks to @superbrothers) API コントローラー実装 プログラムと連携動作 資源管理 ネットワーク モニタリング アクセスコントロール API kube-apiserver が備える拡張機構を列挙しなさい 回答例 Custom resources: OpenAPI スキーマで独自のリソース型を追加できる Aggregation layer: kube-ap
nginxdemos/nginx-hello イメージを使うと簡単に「コンテナ ID」を確認できる - kakakakakku blog
コンテナを複数起動して，ロードバランサーなどを使って「期待通りに振り分けできているよ！」という挙動をデモで見せたいときがある．実際に最近あった．例えば nginx:alpine イメージを使うと，全て同じ index.html から Welcome to nginx! とレスポンスを返すため「振り分け確認」ができない．自分で Dockerfile を書いて nginx.conf をゴニョゴニョしたイメージを作ることもできるけど，そこまで頑張るモチベーションもなく，すぐに使えそうなイメージを探していた． NGINX-Demos GitHub に NGINX が管理をしている NGINX-Demos という名前のリポジトリがあり，そこに nginx-hello-nonroot というサンプルが公開されていた．イメージとしては，大きく以下の2種類のタグがある． nginxdemos/nginx-
【Go言語】自作コンテナ沼。スクラッチでミニDockerを作ろう - カミナシ エンジニアブログ
初めまして。株式会社カミナシPMの@gtongy1です。 Dockerというツール。SRE, Backend, Frontendどの領域のエンジニアも馴染みのあるツールではないでしょうか。 コンテナを利用することにより、インフラの環境を一つの空間に梱包し、その内部で柔軟に様々な環境を作ることが出来ます。 コンテナの実体とはなんなのでしょう？ 叡智が詰め込まれたそんな一つの宝箱のように見えます。 「 コンテナ作ってみたくなりませんか？ 」 僕と同じように知的好奇心をくすぐられたそこのあなた！コンテナ沼の一歩目を一緒に踏み出してみましょう！ 検証環境 Ubuntu 18.04 golang 1.15 Dockerの機能おさらい docs.docker.com まず、ドキュメント内を読み進めてDockerに対する知識を整理します。 DockerはDocker daemonを基幹とし、その呼び出し
Rust開発環境をVS Codeで簡単に構築する｜junkawa@Chromebookで始める開発日記
具体的には、VS CodeのRemote Development Extensionを使ってRust開発環境の入ったDockerコンテナを簡単に用意できます。 開発環境はコンテナ内に収まるので、ローカル環境を汚さない点もうれしいですね。 また、コンテナの起動、接続、終了もVS Codeが自動で行ってくれるので、わざわざdockerコマンドを打つ必要がありません。 1. VS Codeのインストール $ curl https://packages.microsoft.com/keys/microsoft.asc | gpg --dearmor > packages.microsoft.gpg $ sudo install -o root -g root -m 644 packages.microsoft.gpg /usr/share/keyrings/ $ sudo sh -c 'echo
人気順検索のSolrはスケールのためにディスクを捨てた - クックパッド開発者ブログ
技術部クックパッドサービス基盤グループの id:koba789 です。 昨年まではデータ基盤グループというところで 最新のログもすぐクエリできる速くて容量無限の最強ログ基盤 を作ったりしていました。 今年はちょっとチームを移動しまして、検索システムをいじっていました。今回はそのお話です。 なお、クックパッドには様々な検索システムがありますが、この記事では説明を簡単にするためにレシピの検索のみに焦点をあてています。 クックパッドの検索システムにあった課題 クックパッドにはレシピを検索できる機能があります。 プレミアム会員限定の人気順検索もこの機能の一部です。 しかし、この重要な機能を支える検索システムにはいくつもの課題がありました。 Solr が古すぎる クックパッドでは、レシピ検索を含む多くの検索機能にSolrを用いています。 今年の始めに私がこの課題に取り組み始めた時点では、その Sol
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
なるべく楽したいAWSセキュリティ
コンテナの歴史を追いながらいまいちどコンテナについておさらいしてみる / Infra Study 2nd #2
VM時代からコンテナ時代へストレージ管理の移り変わり
コンテナ型仮想化とはなんだったのか
