Dockerfileの属人化による脆弱性を防げ ベストなイメージが作成可能なCloud Native Buildpacksの使い方
クラウドネイティブ技術を日本にも浸透させることを目的に開催された「CLOUDNATIVE DAYS Spring 2021 ONLINE」。ここでVMwareの伊藤氏が「脱 Dockerfile！ Cloud Native Buildpacksとkpackを使った簡単で安全なイメージ」をテーマに登壇。まずは、Dockerfileの問題点とCloud Native Buildpacksについて紹介しました。 トーク内容の目次 伊藤裕一氏（以下、伊藤）：「脱 Dockerfile！ Cloud Native Buildpacksとkpackを使った簡単で安全なイメージ」という内容について、伊藤がお話しします。 目次です。最初にDockerfileのおさらいと、問題点を話します。そして、Dockerfileを使わずにビルドを実施するCloud Native Buildpacks（CNB）の概要と
distroless imageを実用する | うなすけとあれこれ
distrolessは、Googleが提供している、本当に必要な依存のみが含まれているcontainer imageです。そこにはaptはおろかshellも含まれておらず、非常にサイズの小さいimageとなっています。余計なプログラムが含まれていないことは attack surfaceの縮小にも繋がり、コンテナのセキュリティについての事業を展開しているSysdig社が公開しているDockerfileのベストプラクティスとしてもdistroless imageを使うことが推奨されています。 Dockerfileのベストプラクティス Top 20 | Sysdig 軽量Dockerイメージに安易にAlpineを使うのはやめたほうがいいという話 - inductor’s blog また先日、inductorさんがこのようなブログ記事を書き話題になりました。この記事からdistroless ima
Python コードの高速化のアプローチ - Qiita
はじめに こんにちは。こんばんはかもしれません。爲岡 (ためおか) と申します。 2020年4月から株式会社グロービスにて機械学習エンジニアとして働いています。 グロービスでは機械学習技術を利用したプロジェクトや、データ基盤の運用改善プロジェクトを担当しています。 機械学習技術を利用したシステムには様々なものがあると思いますが、 現状のグロービスにおいては、ユーザのリクエストに対して機械学習を行い、 すぐに結果を返す必要があるようなシステムは扱っておらず、 ある程度の時間をかけて学習、推定した結果を非同期にアプリケーションに連携するシステムのみを扱っています。 ゆえに、今のところは機械学習技術を利用したロジックを書くときに、速さを意識することはあまりありません。 一方で、空いている時間に競技プログラミングをやっていることもあり、 高速なコードについて考えたり、書いたりすることは個人的には好
仕事でPythonコンテナをデプロイする人向けのDockerfile (1): オールマイティ編 | フューチャー技術ブログ
BusterとかStretchという名前が見慣れない方もいるかもしれませんが、これはLinuxディストリビューションとしてシェアの大きなDebianのコードネームです。 Debianバージョンが少し古いStretchの方がちょびっとサイズが小さかったりはしますが、まあ実用的にはサポートが長い方がいいですよね。slimを使ってGCCとかのコンパイラを自前でダウンロードしている記事とかもたまに見かける気がしますが、マルチステージビルドであれば、そんなにケチケチしなくていいのと、パッケージダウンロードは逐次処理なので遅く、処理系が入ったイメージのダウンロードの方が高速です。並列で処理されるし、一度イメージをダウンロードしてしまえば、なんどもビルドして試すときに効率が良いです。また、多くのケースでネイティブのライブラリも最初から入っており、ビルドでトラブルに遭遇することはかなり減るでしょう。 Py
はじめてのFargate~FargateとDocker Hubを使ってJupyter Notebook環境を用意する~ | DevelopersIO
オンラインコミュニケーションを、多分人一倍満喫しております。 ▲ Slackが俺のホームタウンだぜ テキストベースのやり取りが大好きで、オンラインの住人になっているAWS事業本部のShirotaです。私の実体を覚えている人がいなくなるまで、各方面で努力していこうと思っています。オンライン快適！ 本日は「Fargate + Docker HubでJupyter Notebook環境を用意してみた」お話をしたいと思います。 今回、作業の前提となる準備の話が結構な分量を占めているので、実際の作業手順のみを手っ取り早く確認したい方は、目次から「FargateとDocker HubでJupyter Notebook環境を用意する」の項目に飛んで頂けますと作業内容が書かれた箇所に移動できます。 良かったらご活用下さい。 経緯からゆっくりとお付き合い下さる方はこのまま読み進めて下さい。 手軽に綺麗なJu
[アップデート]ElasticBeanstalkでAmazon Linux 2ベースのDocker, Corretto, Pythonが使えるようになりました！ | DevelopersIO
Elastic Beanstalkをご利用いただいている方に朗報です！ ElasticBeanstalkのプラットフォームでAmazon Linux 2ベースのDocker, Corretto（Java）, PythonがGAされました！ AWS Elastic Beanstalk Announces General Availability of Amazon Linux 2 Based Docker, Corretto, and Python Platforms さっそく試してみたいと思います！ やってみた Elastic Beanstalkのマネジメントコンソール画面から、アプリケーションを作成してみます。 アプリケーション名は適当につけます。 プラットフォームのブランチとして、Amazon Linux 2ベースのDocker, Corretto, Pythonが選択できるようになっ
![[アップデート]ElasticBeanstalkでAmazon Linux 2ベースのDocker, Corretto, Pythonが使えるようになりました！ | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/726da566bcad2b0004f3b30d99f01f10027d2e09/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2019%2F05%2Faws-elastic-beanstalk.png)
CloudMapperをDockerで動かして、AWSのネットワーク構成を可視化しよう。 - Qiita
こんにちは。 AWSいいですよね。 でも、AWSって一つ一つのサービスがしっかり役割分担されているので、いざ一つのシステムとしてネットワーク構成図がどうなっているのかをみようとすると頭がこんがらがっちゃうんです、私。 そんなときCloudMapperにお世話になりたくなります。READMEを読んでいただければですが、現在のAWSのネットワーク構成図を自動生成してくれるやつです。 ただ、何度かチャレンジしているのですが、いつも何かが足りなくてうまく動かないんです、私。最近は何をやるにもDockerでやっちゃっているのでローカル環境もあんまり汚したくなくて... CloudMapper公式や他の方々もDockerで動くようにソースコードを公開していたりするんですが、なんでかうまく行かなかったりしたので、今回は自分でDockerfileから作ってみようという記事です。 前提 AWSアカウントがあ
Serverless Framework+mangum+FastAPIで、より快適なPython API開発環境を作る - JX通信社エンジニアブログ
はじめに 最近ハイボールにハマっているSREのたっち(@TatchNicolas)です。 昨日オンライン開催されたJAWS DAYS 2020にて、JX通信社もサーバレスをテーマとして発表をしました。（by 植本さん） 発表でもありましたように、上記プロジェクトにおいて開発当時はスピードを優先してプロジェクトメンバーの手に馴染んでいて分担もしやすいフレームワークとしてFlaskを採用しました。 一方で、JX通信社としてはFlaskよりもFastAPIを使うプロジェクトが増えてきており、今後もその傾向は続く見込みです。 そこで、特設ページ作成やAPI提供など初動としての開発が一段落したのを機に、JAWS DAYSで発表した仕組みを今後のために発展させる検証をしたので紹介します。 TL; DR; JAWSでは Serverless Framework+awsgi+Flaskな構成でスピーディに
小さいプロダクト開発におけるGCP利用の勘どころ - 個人的なプロダクトを三日でローンチした話 - Lean Baseball
私個人の話なのですが. 最近は仕事でAWSやGCPのサーバレスアーキテクチャにふれる機会が増えた*1と同時に, 自分が気になる世の中のニュース（グルメとかいろいろ）だけをいい感じに集めてまとめて読みたい その中でも特に⚾, 速報とかいい感じに通知させたい という怠け者欲ライフハック欲が高まってきたので, GCP（とちょっとしたPythonスクリプト）でSlack Botを作りました. 趣味開発で雑にはじめた結果, 三日程度でできちゃった*2のでその知見をメモ代わりに残します. おしながき おしながき TL;DR 対象読者 作ったもの GCPをフル活用して実質三日でBotをローンチした Bot本体の開発 GCPの何を使うかで試行錯誤 プランA「GCEを使う」 プランB「Cloud Run + Cloud Scheduler」 採用した構成「Cloud Functions + Cloud Sc
Using Alpine can make Python Docker builds 50× slower
Introduction to Dockerizing for Production Improve your DevOps skills: learn an iterative process for Dockerizing your code. Get your free ebook Using Alpine can make Python Docker builds 50× slower by Itamar Turner-Trauring Last updated 21 Mar 2023, originally created 29 Jan 2020 When you’re choosing a base image for your Docker image, Alpine Linux is often recommended. Using Alpine, you’re told,
PostgreSQL の バグ修正状況を調べてみた。 - astamuse Lab
はじめに 初めてこちらのblogに登場いたします。データエンジニアのt-sugai です。 今年の1月頃からアスタミューゼにJOINしています。 前職はJavaをメインとしたアプリケーションエンジニア……だったと思うのですが、エンジニアはエンジニアでいっしょくたの組織でした。そして最近は運用やDBAのような仕事を任されることが多かったこともあり、アスタミューゼではデータエンジニアとして働いています。 今日はデータエンジニアらしくデータベースのお話をしようと思います。 アスタミューゼで利用されているPostgreSQL 国内外の特許の情報をはじめ、様々な技術情報を持っているアスタミューゼですが、RDBMSとしては主としてPostgreSQLを利用しています。 （もちろん、RDB以外のDBMSもデータの量や特性、利用目的に応じていろいろ使っているのですが、今回はRDBのお話です） 私が入社する
Python+uWSGI+Dockerで環境に応じてuwsgiプロセス/スレッド数を動的変更する - Qiita
はじめに PythonのWEBサーバを使ってる方には馴染みのuWSGIですが、Python+uWSGI+Docker環境を使っていると、マシンやコンテナスペックを変更したくなってくる場面があり、uWSGIの設定値も動的変更したくなりますよね。 ここでは現在本番稼働をしているPython+uWSGI+Docker環境で使用しているプロセス/スレッド数の動的変更方法を記載します。 動作環境 Django 3.0 uwsgi 2.0.17 Docker Image(python:3.6.5-alpine3.6) uWSGIの特徴 uWSGIの特徴として以下の特徴がありました。 uWSGIの設定値は.iniファイルで流し込むことができる uWSGIの.iniファイルには環境変数を流し込むことができる この特徴を使って.iniファイルを変更します。 前準備 app.iniには以下の内容で設定ファイル
Learning Go by porting a medium-sized web backend from Python
Learning Go by porting a medium-sized web backend from Python November 2017 Summary: To learn Go, I ported the backend of a small site I run from Python to Go, and had a fun, pain-free experience doing so. I’ve been wanting to learn Go for a while now: I like the philosophy of a language that’s small, has a gentle learning curve, and compiles very fast (for a statically-typed language). What pushe
Docker で Google AppEngine 開発 - Qiita
Google AppEngine 開発用の Docker Container を公開しました。 https://github.com/essa/docker-gae-python https://github.com/essa/docker-gae-python-extra docker-gae-python の方は、GAE sdk for python + ライブラリやコンパイラで、docker-gae-python-extra はそれに加えて、自分が使っているツールを詰めこんでいます。 使い方 どちらも、以下のように起動して、 sudo docker run -d -p 2022:22 -p 8080:8080 -v (プロジェクトルートへの絶対パス):/home/gae:rw essa/gae-python-extra /usr/sbin/sshd -D ホストから、http://l
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
WSL2とDockerとVSCodeのRemote Containersで最高の開発環境をつくる｜はやぶさの技術ノート