docker-compose ライセンスは、Apache License 2.0 1.29.2 (2021/05/10) docker-composeをインストールなしで使う Docker Compose UI ライセンスは、MIT License v1.13.0 (2018/05/21) docker-composeのWeb UI Composeファイルのフォーマットバージョンは、3.6まで対応 Dockerイメージ Docker Compose UIのリポジトリをフォークしてComposeファイルのフォーマットバージョン3.7対応版(Python 3.8、Flask 1.1.2、docker-compose 1.25.5、gitpython 2.1.15にバージョンアップ)を以下のリポジトリに置きました。 まだ動作確認が十分にできていませんが、Logs、Restart、yamlのedi
CVE-2020-10749（Kubernetesの脆弱性）のPoCについての解説 - knqyf263's blog
少し前ですが、Kubernetesの方から以下の脆弱性が公開されました。 github.com タイトルにはCVE-2020-10749と書きましたが、複数のCNI実装が影響を受ける脆弱性でCVE-2020-10749はcontainernetworking/pluginsにアサインされたものです。他にもCalicoはCVE-2020-13597、DockerはCVE-2020-13401、などとそれぞれCVE-IDがアサインされています。 このIssueの説明を読んで、はいはいあれね完全に理解した、と思って一旦閉じました。ですが、頭で分かった気になって手を動かさないのは一番やってはいけないことと念じ続けてきたのに、しれっと同じことをやりそうになっていた事に気づきました。なので数日経ってからちゃんとPoCを書いてみました。多少知識が増えてくるとついうっかりやってしまいがちなので気をつけなけ
Docker Free Team の organization プラン廃止・撤回に関する情報 ‣ Pocketstudio.Net
概要 2023年3月14日（米国時間）、サブスクリプションプランの１つ「Docker Team」1https://docs.docker.com/subscription/details/#docker-team の「Free」（無料で利用可能）プランの廃止（sunsetting）を発表しましたが、その後3月17日に撤回を発表し、混乱に対する謝罪を表明しました。 無料の Team を使っている組織やユーザは直接影響を受け、有償プラン切り替えなど、何らかの対策が必要です。それ以外の一般ユーザも、organization として公開されている Docker イメージ（リポジトリ名が「組織名/リポジトリ」の場合。例：「dokku/dokku」）を利用している、間接的に影響を受けます。そのため、自分が使っている Dockerfile の確認が必要になり、リポジトリが公開されなくなる場合、あるいはリ
Best Practices Around Production Ready Web Apps with Docker Compose
Learn Docker With My Newest Course Dive into Docker takes you from "What is Docker?" to confidently applying Docker to your own projects. It's packed with best practices and examples. Start Learning Docker → Updated on June 1st, 2021 in #docker, #elixir, #flask, #javascript, #ruby-on-rails Best Practices Around Production Ready Web Apps with Docker ComposeHere's a few patterns I've picked up based
Google Cloud Run と AWS Lambda のコールドスタート時間を言語別に観察してみる - Qiita
コンテナをリクエスト処理時間ベースの料金体系で実行できるサーバレス環境としては、Google の Cloud Run（2019年11月GA）と AWS Lambda（2020年12月にコンテナに対応）が特に有名でしょう。 これらの環境は、一度起動したコンテナインスタンスをしばらく生かしておき、その後のリクエストに使いまわします。しかし、生きているインスタンスが足りない場合は新たなコンテナの起動から始めるいわゆる「コールドスタート」となり、応答のオーバーヘッドが大きく増加します。用途によっては、このコールドスタートにかかる時間が問題になります。 Cloud Run と Lambda でのコールドスタートの様子を観察するため、いくつかの言語で "Hello, World!" を返すだけのWebアプリコンテナを作り、コールドスタートの時間を「雑に」観察してみました。 注意: コストや性能は考慮し
仕事で使うHaskell
TL;DR Haskellはいいぞ。ただ仕事で使うならビルド、デプロイ周辺は工夫する必要が色々出てくるぞ。 あ、nixもいいぞ。 はじめに Haskellを用いている会社HERPに転職してからそろそろ1年が経つので久しぶりに記事でも書いてみます。そういえばzennでは初投稿ですね。 最近はHERPでHaskellを書きつつシステム基盤整備みたいなことをやっています。あとマネージメントみたいなこともやってたりします。 僕の書いたHaskell microserviceは既に稼働して売り上げに貢献しています。 あ、HERPはHaskell FoundationのFunctorスポンサーになっています。スポンサーの名前が面白いですよね。 Haskellを仕事で使う感想 最高ですね。簡単便利十分速い保守楽拡張楽、という感じです。 並行プログラミングツールとしてstmが提供されているのがお気に入りで
Lightsail Containers: An Easy Way to Run your Containers in the Cloud | Amazon Web Services
AWS News Blog Lightsail Containers: An Easy Way to Run your Containers in the Cloud When I am delivering an introduction to the AWS Cloud for developers, I usually spend a bit of time to mention and to demonstrate Amazon Lightsail. It is by far the easiest way to get started on AWS. It allows you to get your application running on your own virtual server in a matter of minutes. Today, we are addin
『家族アルバム みてね』（以下、みてね）では、サービス開始当初よりAWS OpsWorksをオーケストレーションツールとして利用してきました。 しかし、サービスや組織の拡大に伴い、AWS OpsWorksによる運用上の課題が生じてきました。そこで、2018年ごろにAWS OpsWorksからAmazon EKSに移行するという意思決定を行いました。 その後、たくさんの試行錯誤や紆余曲折、回り道を経て、2021年にAmazon EKSへの移行が完了しました。 この記事では、4年近くに渡ったEKS移行の取り組みを時系列を追って紹介していきます。 その過程には、後に取りやめることになった設計や意思決定も多く含まれています。 記事の最後でEKS移行プロジェクトを振り返り、そこから得た学びをまとめます。 図 『家族アルバム みてね』のEKS移行のタイムライン AWS OpsWorksの課題とEKS
この記事は はてなエンジニア Advent Calendar 2021 11日目の記事です。 コンテナのベースイメージとしてdistrolessを選択肢にするということがここ最近増えてきました。 そんなdistrolessを非rootユーザで使おうとしたらとても簡単だったのでその紹介です。 どのくらい簡単かというと、Goのアプリケーションであれば以下のように変えるだけで対応できます。(コメントアウト部分は元々のrootユーザで動かしていた場合のもの) FROM golang:1.17 as builder WORKDIR /go/src COPY go.mod go.sum . RUN go mod download COPY . . RUN go build -o /out/myapp . # FROM gcr.io/distroless/static:latest FROM gcr.i
税理士ドットコム流のCI/CDを設計する考え方と実践 - 弁護士ドットコム株式会社 Creators’ blog
今年の頭から税理士ドットコム事業部に異動した @komtaki です。3 月末から 7 月まで育休を頂いていたのですが、無事復帰しました。 部署異動してすぐに、ジョブ追加の際にコンテナや CI/CD の最適化がされず開発体験を損なっていると感じました。そこで、異動直後の 2 月末に、フルスクラッチでコンテナと CI/CD を作り直しました。 約半年運用し GitLab CI でのデプロイ運用のデータが溜まり、定量的にデプロイを分析できるようになりました。 そこで税理士ドットコムのデプロイフローにどのような問題があったのか、CI/CD の設計の考え方と改善後の効果についてお話しします。 CI/CDとは 簡単におさらいすると、CI/CD とはソフトウェアの変更を常にテストし、自動で本番環境へ適用できるような状態にしておく開発手法です。CI/CD がうまく機能した場合、下記のような効果があります
説明のために手順を確認したので、その覚書。 作業環境にリポジトリを用意する github.com $ git clone git@github.com:isucon/isucon12-qualify.git Dockerをインストールする www.docker.com 値上げが最近話題になりましたが、個人利用は無料です。 www.docker.com 次回はRancher Desktopを試してみます。 rancherdesktop.io docker-compose.ymlを書き換える 一箇所だけ書き換えないと、起動しません。 Docker Hubから「mysql/mysql-server:8.0.29」のイメージが無くなっていて、MySQLが起動できません。8.0.30以降のバージョンを指定しましょう(無くなった理由は探せませんでした...)。 2022/11/06追記 mysql-s
社内Kubernetesトラブルシュート-前編
「SEROKU フリーランス(以下、SEROKU)」の中の人をやっている kouki です。 今回は 社内 Kubernetes 実験環境をRancher 1.6から 2.0にアップデートして復活させた話 の中でお話しした「2.0で行ったトラブルシューティング」の「グローバル IP とプライベート IP 2つの足(NIC)を持つサーバを Kubernetes クラスタのネットワークに所属させることができない (Calico ネットワークが確立されない)」という件についてお話させていただきます。 経緯 経緯としては、 Rancher を利用した Kubernetes クラスタに対してインターネットからリーチャビリティを持たせるためにグローバル IP アドレスと社内通信用のプライベート IP 2つの足(NIC)を持つサーバをクラスタに参加させようとしました。 その際に、Kubernetes ク
ゴールデンウィークなのでGoogle App Engineに機械学習のモデルをdeployして遊んでみた (using TensorFlow 2.1) | DevelopersIO
こんにちは、ゴールデンウィークはしっかりステイホームしているMr.Moです。 GWに何をやろうかなーと思っていたら目の前にApp Engineと機械学習のモデルがあったので遊んでみました！ Google App Engineとは 下記に詳しい記事があるのでご参照ください！ https://docs.google.com/presentation/d/1trxz4_ksRyHdj2cAGVKiy3gtx7q1-AE06XbzLraBD44/htmlpresent https://dev.classmethod.jp/articles/gae-webapp/ なぜGAEなのか？ App Engine無しでは生きていけない体になっているからです。（笑） あとはやっぱり無料で動かせないかと思いまして... 最低限必要なもの Google Cloud Platformにログインできるアカウント 機械
自作キーボードを自作した話
この記事は mfk60 という 60% ANSI 配列 (US 配列) の左右分割自作キーボードの制作の過程をまとめたものです。 欲しいキーボードが売っていないけれど、自作するにはどうしたら良いのか 自作キーボードのキットは作ったことがあるけれど、次のステップを迷っている 左右分割キーボードが欲しいけれど、欲しい配列の物が売っていない そんな方に、参考になればと思います。 ソースコード このキーボードおよびプロトタイプの KiCad のプロジェクト、ツール、ファームウェアのソースコードは GitHub で公開されています。 https://github.com/niw/mfk60 https://github.com/niw/mfk5 https://github.com/niw/qmk_firmware/tree/mfk はじめに ここ数年、ゲーミング PC の流れもあって以前より多くの
AWS Copilot CLI を使用した永続性を持つ AWS App Runner サービスの継続的ワークフローの実現 | Amazon Web Services
Amazon Web Services ブログ AWS Copilot CLI を使用した永続性を持つ AWS App Runner サービスの継続的ワークフローの実現 この記事は Enabling continuous workflows for AWS App Runner service with persistency using AWS Copilot CLI を翻訳したものです。 AWS は最近、AWS App Runner と呼ばれる新しいサービスを開始しました。これは、コンテナ化されたステートレスな Web アプリケーションを AWS でビルドして実行する最も簡単な方法です。App Runner は、ビルドパイプライン、ロードバランサー、スケールインとスケールアウト、そしてもちろんその基盤となるインフラストラクチャなど、コンテナを実行するために必要なすべてのリソースをプロビ
IPv6 only 環境で Docker / Alpine Linux を動かす - 竹迫の近況報告
2022年5月、IPv4アドレスが枯渇してきていることもあって、IPv6 onlyな環境がVPSの一般サービスとして出てきました。 OSレベルではIPv4/IPv6のデュアルスタックで両方のネットワーク環境にサーバもクライアントも対応しつつあるのですが、 世の中にはまだAAAAレコードを持たないHTTP/HTTPSサーバも結構あって、DockerをIPv6 only環境で動かすのに一苦労しました。 今回、私自身が Rocky Linux 8.5 の IPv6 only 環境で Docker / Alpine Linux を動かした記録をメモで残しておきます。 Dockerのインストール まず最初にdnfコマンドを使ってDockerをインストールします。 sudo dnf update -y sudo dnf install -y dnf-utils device-mapper-persis
The new releases of Dockerfile 1.4 and Buildx v0.8+ come with the ability to define multiple build contexts. This means you can use files from different local directories as part of your build. Let’s look at why it’s useful and how you can leverage it in your build pipelines. When you invoke the docker build command, it takes one positional argument which is a path or URL to the build context. Mos
皆様はじめまして！ NewsPicks SREチームの中川です。 本日はコンテナイメージのバージョン管理についての記事をお届けします。 概要 実装 ビルド デプロイ Pros Cons おわりに 概要 NewsPicksではECSやKubernetesに代表されるコンテナサービスを使用しておりますが、コンテナのデザインパターンとしてサイドカーパターンを採用しているサービスがあります。 詳しい説明は省きますが、サイドカーはメインアプリケーション用コンテナを補助するコンテナです。 これらのサービスをデプロイするとき、サイドカー毎に使用するDockerfileを ImageTag で指定していました。 実際には latest で固定するか、特定のImageTagを設定ファイルに書き込んで運用していました。 こうした運用方法の場合、Dockerfileを変更するときは事前にイメージを登録しておく必
Modern Emacs Typescript Web (React) Config with lsp-mode, treesitter, tailwind, TSX & more - Ovi Stoica
Table of Contents Introduction Part 1: Treesitter for Typescript & TSX LSP Support Completion setup Linter setup LSP Setup Eslint (Optional) Tailwind LSP Server LSP Performance Emacs LSP Booster Structural editing Formatting buffers with Prettier Other resources Conclusion Introduction I've worked within the JS ecosystem for the past 8 years using editors like Webstorm and VSCode, I started using
Kafkaに接続するJavaアプリケーションをGravitonインスタンスへ移行してパフォーマンスを改善する - joker1007’s diary
社内向けのドキュメントと兼用したので、前提とかメンバー向けの解説が含まれているので、前後のパフォーマンスの変化だけを見たい人は、下の方のグラフ画像までスクロールしてください。 gravitonインスタンスを活用するモチベーション ワークロードによる相性はあるが、特にマルチスレッド性能で既存のインスタンスより性能向上が見られる上にコストが安いため、うまくフィットすれば性能改善とコスト削減の双方でメリットがある。 また、周辺ハードウェアもアップデートされているため、エフェメラルストレージ付きのインスタンスのストレージサイズが増えているなどのメリットもある。 特に現時点ではr6gdインスタンスが利用したかった。 gravitonインスタンスを利用するためarm64アーキテクチャへの対応 gravitonインスタンスはarm64 (aarch64) アーキテクチャのCPUのため、既存のx86_64
ブラウザだけでOS自作入門しよう
TL; DR mikanos-docker と mikanos-devcontainer をちょっといじって VNC に対応させた コーディングと動作確認がブラウザだけでできる！iPad だけで OS 自作しよう！ 更新履歴 2021/05/26: GitHub Codespaces のバグが修正されたため, 一部手順・文章を修正 概要 こんにちは. 皆さん, "ゼロからのOS自作入門", 捗っていますか？ 私はやっと8章が終わりそうです. マウスが動いて楽しい！ 先日, Docker ではじめる "ゼロからのOS自作入門" という記事を公開しました. Docker イメージが 1,400 プル以上されており, 想像以上に利用して頂けているようです. ありがとうございます！ さて, 上述の記事では, Ansible を用いたしんどい環境構築を, Docker イメージに閉じ込めた構築済みの
SonarCloudと始める静的コード解析 〜ソフトウェア品質向上のための第一歩〜 - ZOZO TECH BLOG
はじめに こんにちは。FAANSバックエンドエンジニアの浜口（@xlgorbylx）です。普段はFAANSのバックエンドシステムの開発をしています。 FAANSとは、弊社が2022年8月に正式ローンチした、アパレル店舗のショップスタッフの販売サポートツールです。例えば、ZOZOTOWN上で実店舗の在庫取り置きができる機能や、コーディネート投稿の機能などを備えています。投稿されたコーディネートはZOZOTOWNやWEAR、Yahoo!ショッピング、ブランド様のECサイト等に連携が可能です。これによりお客様のコーディネート選びをサポートし、購買体験をより充実したものにします。機能の詳細に関しましては、下記プレスリリースをご覧ください。 corp.zozo.com 本稿では、Go言語で実装されたFAANSのバックエンドシステムについて、SonarSource社の提供するSaaSである「Sonar
最近流行りのテキストから画像を生成する機械学習モデルが一般公開されたとのことで、興味本位で触ってみました。ざっと書いちゃったので、後で見直すかも。 目的 GPUアクセラレーションを活かしつつコンテナ内でStable Diffusionのモデルを動かしたい。メインPCなのでLinuxじゃなくWindowsを使いたい。 前提条件 以下のスペックのPCで、本記事の内容を実行しました。 OS: Microsoft Windows 11 Pro CPU: AMD Ryzen7 3700X メモリ: 32GB ストレージ: 1TB GPU: nVidia Geforce RTX 3080(10GB) とりあえず、OSとGPUベンダーだけそろっていれば本記事の内容は実行できると思います。 ちなみに、Windows 10の場合はInsider版を使えばCUDA on WSL2が可能です。(つまり、本記事の
Leaner 開発チームの黒曜(@kokuyouwind)です。 先日開催された AWS Startup Community Conference 2022 に登壇させていただきました。 AWS Startup Community に合わせた若干釣り気味のタイトルですが、内容としては Copilot CLI の使い方や利用の際のポイントをまとめたものでした。とはいえ新規アプリケーション構築に向いていることやマルチアカウント運用に癖があることから、スタートアップでよりハマる局面が多いだろうというのも本心です。 ちなみに CFP 提出時点の仮タイトルは「1 年間本番運用してきた AWS Copilot CLI の悲喜こもごも」で、もう少しエピソードベースでの Tips に比重を置いた内容を考えていました。 今回は大まかな発表内容や、発表で触れられなかった個別 Tips などをあわせて記事にまと
SolargraphをDocker環境でこっそり使う
YARDのアノテーションを元にそこそこ便利な説明や補完機能を提供してくれるSolargraphを、Gemfileに含めずこっそり使いてえ……しかもDocker環境で……という人向けの情報。 一番の問題として、gem install solargraph でsolargraph gemを入れたい訳だけど、揮発しないように工夫が必要になる。 一般的なRuby向けのDockerfileの構成だと、bundle install で入れるGemだけをdata volumeで永続化していることが多い。よく見るパターンは、vendor/bundle または /usr/local/bundle にdata volumeをmountするようdocker-compose.ymlで設定し、加えてこのパスを BUNDLE_PATH に設定するパターン。これに加えて例えば GEM_HOME も同じパスに設定しておく
はじめに 私はエンジニアのキャリアをスタートしたときから、当時の上司の影響もあり、Neovim を使用して開発してきました。 当時は dotfiles を GitHub で管理していて、そのリポジトリをローカル環境に git clone して Neovim を使用していました。 その運用をしていたため、新しく PC を購入した時にすぐに環境を整えることができませんでした。なぜなら、dotfiles を機能させるためにどういったライブラリ（例: npm, node, ...）をダウンロードしていたか覚えていなかったからです。 そういった背景があり、転職や故障などを理由に PC が変わったとしても、すぐに開発環境を整えられるように Docker を利用した運用方法に変えました。 具体的にどういった運用をしているのか？ 私は以下のような方法で開発環境を整えています。実際にプライベートの PC と
待望の CloudShell で Docker が使えるようになりました。今回は簡単に全体像まとめて、コンテナイメージをビルドしてみました。 こんにちは! AWS 事業本部コンサルティング部のたかくに（@takakuni_） です。 タイトルの通りで CloudShell で docker コマンドが使えるようになってました。 今まではどうだったか 今まで、 CloudShell では Docker がサポートされておらず、コンテナイメージのビルド等が CloudShell 上で行えませんでした。 過去の Stack Overflow を確認するに、インストールはできるが、デーモンの起動ができなかったようです。 [cloudshell-user@ip-10-0-73-203 ~]$ docker images Cannot connect to the Docker daemon at u
![[待望] CloudShell で Docker が利用可能になりました | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/0a0e7b3291eb56e38287dd9b8dd2b32df9a92dd2/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2023%2F08%2Faws-cloudshell.png)
以前にセルフホストランナーの知られざる機能であるジョブの前後に任意のスクリプトを実行できるhookを紹介しました。 今回はセルフホストランナーの知られざる機能の紹介第二弾としてactions/runner-container-hooksを紹介します。 runner-container-hooksは2023年現在では比較的新しい機能で、自分もいつ頃に知ったのかは覚えていないのですが、actions/runnerのリポジトリには2022年の4-5月頃に追加されていたようです。実装のpull-reqから少し遅れて5月には設計ドキュメントと言えるADRのpull-reqが出されています。 このADRを見たところ自分がセルフホストランナーを運用する上で今まではどうしても不可能であったコンテナの中で起動したセルフホストランナーの中でコンテナ型のactionなどが実行できないという制約を突破できることが
Dockerを使ってRailsのAPI環境を構築する機会があり、環境構築でわからない事の調べ直しに時間が掛かっていたので、備忘録として記事にまとめた。 下記の開発環境で実施しました。 開発環境 Edition: Windows 11 Home, Version: 22H2, OSビルド: 22621.1702 WSL2 Docker Desktop for Windows: 4.20.1 (110738) Docker Engine: 24.0.2 Docker Compose: v2.18.1 Ruby: 3.2.2 Rails: 7.0.5 MySQL: 8.0.33 次に、ディレクトリは下記の構成にしました。 ディレクトリ名は適宜変えて下さい。 ディレクトリ構成 real_world ├realworld │├Gemfile │├Gemfile.lock │├entrypoint.s
六車 光貴 2020年新卒入社エンジニア。最近エアコンは冷房ではなく除湿のほうが部屋が冷えやすいと知りました。
人に説明するのがスムーズにできなさそうなので、理論武装というか順序立てて話すためにこの記事をまとめる。 対象 ブラウザから利用するマルチプラットフォーム向けウェブアプリケーションの開発 モバイルのネイティブアプリ開発は含まない（知らないので） 利用言語はJava, JavaScript/TypeScriptを想定するが、特に言語に依存しない認識 開発経験はあるが、情報や経験が少なくて「よりよいプロダクト開発」の理想が描けない方への一助として作成 TL;DR 状況やベストプラクティスが目まぐるしく変わる現代において、すぐに変化できるソフトウェアを保つこと・ヒトの手をできるだけ空けることが重要。 かつてIaaSがAPIを提供し環境管理の多くを自動化したように、各種サービスがAPIやWebhookを通じてDevelopment Workflowの多くを自動化してきている。 多くの視点や知見を活か
LLM開発のための環境構築
はじめに 株式会社Elithの大森一祥です。AIテックカンパニーの一員として、お客様の課題をAIを駆使して解決しています。 大規模言語モデル(LLM)が人間と匹敵する性能を発揮することもあり、弊社には多岐にわたるプロジェクトの依頼が寄せられています。最近は、情報漏洩のリスクを回避するため、独自のLLMの開発を希望されることが多いです。このような案件では、一般に公開されたモデル(ローカルLLM)を利用します。 ローカルLLMを活用して課題を解決する方法として、以下の4つが挙げられます。 プロンプトエンジニアリング：LLMに特定の出力を生成させるための入力文の工夫する手法 RAG：外部の文章データベースから、質問に類似した文章を取り出しLLMの入力として用いる手法 インストラクションチューニング：ユーザの指示に沿った出力を生成することを目的としたチューニング手法 継続事前学習：LLMモデルに対
Next.jsのIncremental Static RegenerationをVercel以外でやってみる - Sweet Escape
本記事はNext.js Advent Calendar 2020の9日目です。 tl;dr Vercel以外でもIncremental Static Regenerationは可能 試した範囲ではフルに機能するのはコンテナで動かした場合のみ AWSのサーバーレスで動かすのは現時点で絶望的 はじめに 早速ですが、みなさん、次世代のStatic Site Generation（SSG）と言っても過言ではないIncremental Static Regeneration（ISR）はご存知でしょうか。 一応知らない人のためにすごく簡単に説明をすると、『リクエストに対して静的にビルドされたページを返しつつ、有効期限が過ぎたら非同期で静的ページの再生成をSSRで行う』っていうものです。Cache Controlにおけるstale-while-revalidateと同じような考え方が適用されたものとも言
概要 機械学習を利用したウェブサービスを開発していると、WebAPIとして外部から利用できる形で機械学習の推論を実行可能にしたいということがよくあると思います。私も幾度となくそうした実装をする中で使いまわし定番のコードを用意しているので、知識の棚卸しや改めて新しい技術を学ぶという意味でも、久しぶりに構造や技術スタックを刷新したものを今回作成しました。 そこで本記事は、テンプレート化した機械学習のWebAPI実装の構成と、そこから実際に機械学習の推論を行うWebAPIを作る過程を書いてみようと思います。 テンプレートプロジェクト 今回作ったテンプレートプロジェクトはyagays/fastapi-ml-templateです。 利用しているパッケージ/ツール 利用している技術スタックとしては以下のようになっています。 Web API Pythonのパッケージ依存関係管理： Poetry Webフ
こんにちは。サーバーサイドエンジニアの平井です。 今年もあと1ヶ月ですね。リモートワーク中心の生活スタイルに変わり、より一層時が過ぎるのを速く感じています。 もう年末ということで、弊社では今年もAdvent Calendarを開催します!! 題して、Enigmo Advent Calendar 2020です!! 記念すべき1日目は、私、平井の「Cloud Run 使ってみた」になります。 プロジェクトで簡単なAPIをCloud Run(フルマネージド)上に実装したので、それについて話したいと思います。 構成 Cloud Run(フルマネージド)について 準備 Dockerfile cloudbuild yaml その他 ドメイン 他GCPサービスとの連携 感想 最後に 構成 会員毎にパーソナライズされたコンテンツ情報を返すAPIをCloud Runを使って実装しました。 とてもシンプルです
なにもわからない！無知の知からはじめる！コンテナ技術再入門【導入編】 - okadato の雑記帳
はじめに ダニング = クルーガー効果をご存知でしょうか。 エンジニア界隈では時折目にする、下記の曲線です （引用元はこちらのツイート） 理解の浅い状況では自分の視座の低さを認識できないため 完全に理解した という過大評価状態に陥ってしまう反面、ある程度経験を積み、視座が高くなることで なんも分からん という過小評価状態に陥ってしまうという認知バイアスの一種です。 コンテナ、完全に理解した。 上記の画像を踏まえたうえで、ぼくはコンテナを完全に理解しています。 前回の記事では ECR + ECS を組合せた自動化の仕組みについて触れました。 業務でも Docker を日常利用していますし、ある程度簡単な内容であれば Dockerfile や docker-compose.yml を一息で書くこともできます。 またコンテナのメリットとしてプロセスの実行環境を隔離できるため、ひとつのホストマシン
コミュニティプラットフォームの投稿レコメンド機能を支える機械学習基盤 - Commune Engineer Blog
こんにちは，コミューンで一人目の機械学習（ML）エンジニアとして働いている柏木（@asteriam_fp）です． 入社して５ヶ月ほど経ちましたが，今回漸く最近の取り組みを紹介できそうです．ML エンジニアは僕一人なので，専らの相談相手は ChatGPT 君の今日この頃です笑 はじめに コミューンでは，企業とユーザーが融け合うコミュニティサクセスプラットフォームである commmune を提供しています．今回のブログは先日のプレスリリースでも発表された投稿レコメンド機能を commmune に導入したので，その機能を裏側で支えている機械学習基盤に関する内容を紹介します． エンドユーザーに対して提供される機械学習システムを導入するのは初めての試みになり，まさにゼロからの出発なので，これから徐々に大きく育てて行く予定です！ はじめに コミュニティプラットフォームにおける機械学習の可能性 投稿レコ
Philipp Hauer's Blog Engineering Management, Java Ecosystem, Kotlin, Sociology of Software Development Posted on Oct 14, 2019. Updated on Jun 12, 2022 Putting a fat jar into a Docker container is a waste of storage, bandwidth and time. Fortunately, we can leverage Docker’s image layering and registry caching to create incremental builds and very small artifacts. For instance, we could reduce the e
Visual Studio Code Remote Development VSCode Remote Containerは、VSCodeの拡張機能の1つです。 Dockerのコンテナ内でVSCodeを開き、開発することを可能にします。 使ってみてかなり良さげだった&当初はよく分からない部分も多かったので、2週間くらい使ってみて分かったことをまとめます。 そもそもDockerで開発環境を作るメリット 開発環境が簡単に作って壊せる 今どういう環境で開発しているのかファイルで確認でき、バージョン管理も容易 PCにRubyやらRubocopやら各種CLIやらをいれる必要がなくなる プロジェクトごとに言語等のバージョンを切り替える必要がなくなる VSCode Remote Containerを合わせて使うメリット 開発環境をDockerで作っていても、構文チェックや補完が効く ローカルで開発すると
How to build a CI/CD pipeline for container vulnerability scanning with Trivy and AWS Security Hub | Amazon Web Services
AWS Security Blog How to build a CI/CD pipeline for container vulnerability scanning with Trivy and AWS Security Hub In this post, I’ll show you how to build a continuous integration and continuous delivery (CI/CD) pipeline using AWS Developer Tools, as well as Aqua Security‘s open source container vulnerability scanner, Trivy. You’ll build two Docker images, one with vulnerabilities and one witho
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Docker/Kubernetes便利ツール調査 - Qiita
4年間のEKS移行の取り組みを振り返って | gihyo.jp
distrolessのnonrootイメージを使おう - Re:cohalz
ISUCON12予選問題をdocker-composeで起動する - Magnolia Tech
Dockerfiles now Support Multiple Build Contexts | Docker
コンテナイメージのバージョン管理を自動化したい！ - Uzabase for Engineers
Stable Diffusionをローカルマシンで実行する(VSCodeとDevcontainerを使用)
1年間本番運用してわかった、スタートアップこそAWS Copilot CLIを使うべきNつの理由
PCが変わっても使い慣れたNeovimですぐに開発を始める仕組み
[待望] CloudShell で Docker が利用可能になりました | DevelopersIO
コンテナのセルフホストランナーの中でコンテナを使えるようにするrunner-container-hooks
Windows11+WSL2+Docker+Rails+MySQL+API-環境構築 - Qiita
社内のDockerfileのベストプラクティスを公開します
考察：Reactive Workflowが生まれた背景とその狙い - Kengo's blog
機械学習の推論WebAPIの実装をテンプレート化して使い回せるようした
Cloud Run 使ってみた - エニグモ開発者ブログ
Don't Put Fat Jars in Docker Images
VSCode Remote Containerが良い - Qiita