PythonのDockerfileをセキュアにするためのベストプラクティス - Qiita
はじめに PythonのDockerfileを作成する際、ネット上で適切な情報が見つからず、試行錯誤することがあります。そこで、ここでまとめてみます。 完成品 # 開発用ステージ FROM python:3.11.9-slim-bookworm AS developer ENV PYTHONUNBUFFERED=1 ENV PYTHONDONTWRITEBYTECODE=1 WORKDIR /app RUN apt-get update \ && apt-get install -y --no-install-recommends \ wget=1.21.3-1+b2 \ && apt-get -y clean \ && rm -rf /var/lib/apt/lists/* COPY requirements.txt ./ RUN pip install --no-cache-dir -
Dev Containersの始め方(2) : Python環境 | フューチャー技術ブログ
前回のエントリーでは、Dev Containersの動作原理を理解したのでそれにあわせたPython環境を作っていきます。 ベースの環境まずリポジトリのフォルダを作ります。python-devとします。 ここをVSCodeで開き、Dev Containersの設定をしていきます。左下のリモートのボタンを押して Add Dev Container Configuration Files… を選択します。 基本のPython3を選びます。公式を選んでおくのが吉。オプションでPythonバージョンを選びます。Apple Silliconは-busterついているのを選べって言ってますね。半年前にスクリーンショットを撮ったときは3.11までしかありませんでしたが、今は3.12も選べます。 Pythonのイメージをインストールすると、有名どころのツールはすでにインストール済みとなっていますこの辺りは
2023年 研究開発部 新卒技術研修 ~ 実践編 ~ - Sansan Tech Blog
こんにちは、研究開発部 Architectグループの藤岡です。 4/26（水）〜 4/28（金）で研究開発部内の技術研修を行ったので、その内容を公開します。 目次 目次 研修の目的 研修の概要 実践編の概要 アプリケーションを作成 バッチを作成 gokartとは パイプラインを実装 APIを作成 FastAPI とは APIを実装 ディレクトリ構成 実行 Webアプリを作成 Streamlitとは Webアプリを実装 Docker化 デプロイ ECRにイメージをプッシュ アプリケーション基盤 Circuitについて アプリのマニフェストを作成 研修終了後 終わりに 研修の目的 この研修の主な目的は、新卒社員がスムーズに業務に入れるようにすることです。 研究開発部にはさまざまなバックグラウンドを持つ研究員が入社するため、チーム開発の経験がない方もいます。 そのため、Gitの操作やプルリクエス
Dockerfileのベストプラクティスとセキュリティについて - エニグモ開発者ブログ
こんにちは、主に検索周りを担当しているエンジニアの伊藤です。 この記事は Enigmo Advent Calendar 2020 の 17 日目の記事です。 みなさんは適切なDockerfileを書けていますか？とりあえずイメージのビルドが出来ればいいやとなっていませんか？ 今回は自戒の意味も込めて、改めてDockefileのベストプラクティスについて触れつつ、 そもそもDockerfileを書かずにコンテナイメージをビルドする方法とコンテナセキュリティに関する内容についてまとめてみました。 Dockerfileのベストプラクティス イメージサイズは極力小さくしよう ビルドキャッシュを活用しよう Dockerfileに関する悩みどころ Dockerfileを書かないという選択肢 Buildpack Cloud Native Buildpacks CNBの仕組み デモ CNBのメリット セキ
Python Tips: Poetry の tips あれこれ
Python のパッケージ管理ツールの Poetry の tips です。 ライブラリ: Poetry Poetry はアプリケーション開発とパッケージ開発のどちらの用途にも利用できますが、私はアプリケーション開発でしか Poetry を使ったことがありません。そのため、以下にあげる tips はすべてアプリケーション開発に Poetry を利用するときの tips です。 本記事では Poetry のバージョン 1.0.0 を対象としています。 Poetry は仕様が比較的安定していますが、バージョンが上がると参考にならない場合もあるのでご注意ください。 目次 venv のファイルをプロジェクトディレクトリの下に置きたい venv を作らずグローバルにパッケージをインストールしたい アップデート可能なパッケージをチェックしたい Poetry 自体をアップデートしたい Docker コンテ
ML Pipeline事始め – kedro(+notebook)とMLflow Trackingで始めるpipeline入門 – - GMOインターネットグループ グループ研究開発本部
2020.07.06 ML Pipeline事始め – kedro(+notebook)とMLflow Trackingで始めるpipeline入門 – こんにちは。次世代システム研究室のT.S.です AI/機械学習が不可欠となった昨今、数多くの方がKaggleなどの分析コンペ参加から機械学習モデルの実験、そして本番環境への適用まで色々実施してらっしゃると思います。 私もその一員で、日々モデルの実験から本番機械学習基盤の構築まで色々な分野の機械学習関連業務に従事しております。 そうした中で（皆様も同じ悩みを抱えているかと思いますが）実験->本番適用->運用に渡って、色々な悩みを抱えています。 一例ですが、こん悩みがあります 実験を複数回繰り返した結果、実行結果とハイパパラメータの組み合わせがゴチャゴチャになる 実験時の処理がモジュール化していないため、処理順序の入れ替えや追加が困難 実験時
仕事でPythonコンテナをデプロイする人向けのDockerfile (2): distroless編 | フューチャー技術ブログ
なお、distrolessのイメージは2種類（3通りの名前）がありますが、Python 3.5はバグ修正はせず、セキュリティ修正のみでサポート期限が2020/9/13というステータスなので、本エントリーでは3.7の方のみを扱います。 gcr.io/distroless/python3: Python 3.5.3 gcr.io/distroless/python3-debian9: Python 3.5.3(上のイメージと同一) gcr.io/distroless/python3-debian10: Python 3.7.3 一応サンプル等もありますが、どれも1ファイルで構成されたサンプルスクリプトばかりです。前回のsite-packagesにコピーする方法を軽く試したところうまく動かず、シェルもpipもensurepipもないため、ビルドイメージにすることもできません。いろいろ調べた結果、
Diagramsを使ってsystem architecture図をアップデートし続ける - hatappi.blog
最近 Twitter を見ていたら Diagrams という Python 書いたら良い感じのシステム構成図ができるサービスが流れてきた。 diagrams.mingrammer.com プライベートのインフラ構成図は今まで Cacoo で描いていたけど、今回 Diagrams に移行した。 なぜ Diagrams で書くのか プライベートでは terraform だったり Kubernetes のマニフェストを1つのリポジトリで管理している。 AWS の構成や Kubernetes に変更を加える時はいつもそのリポジトリにコミットしてもろもろ終わった後に Cacoo の図を更新していた。 Cacoo は書きやすくて好きなのですが、自分としては図を更新する前の時点で達成感に満たされていつも終わっていました。 そしてどんどん実態と差分が広がり更新しなくなりました。 Diagrams を使うこ
Poetry + Intellijで開発環境を整える - Apitore blog
はじめに Poetryを使ってパッケージ管理しつつ、IDEはIntellijを使いたい。今回はそんな開発環境を整えました。 最新情報 Poetry + Docker + Intellijの開発環境を整える 背景 Pipenvの開発が止まっていて、色々とパッケージ管理がうまくいかなくなってきたことがあり、メンバーがPoetryに移行しました。それに伴い、現状の私の開発環境（Docker+Intellij）が動かなくなりました。原因はデフォルトではPoetryを使うと以下のようなコマンドを期待するからです。 $ poetry run python hoge.py 現在（2020/3/6）、IntellijではDockerであろうがなんであろうが上記のコマンドを受け付けることができない（やり方を知っている方がいれば教えてほしい）ので、別のやり方を模索しました。 別のやり方を見つけました。ヒントは
Cloud Run × Flaskでお手軽にマイクロサービスを実現する - Qiita
はじめに 個人開発でアプリ作成中なんですが、バックエンドをrailsで作っていました。 そんなある日。。。 こんな記事を見ました。 Firebaseでバックエンドエンジニア不在のアプリ開発 クックパッドが体感した、メリットと課題 Firebaseならバックエンドエンジニアを必要としない開発ができる ( ﾟдﾟ) ... マジカ これに感化されてCloud Functionでバックエンドを作ってました。 が ある理由でそれは辞めました。 なぜ、Cloud Functionを採用しなかったか 今回マイクロサービスをアーキテクチャとして採用し、さらに各機能を自分が作るのは嫌なので、BaaSをサービスと定義して自分はBFFだけ作ってやろうという腹でした。 それだったら、BaaS単位で共通のライブラリファイル作ったほうが、他のプロジェクトを立ち上げる時に楽だよね？となり、クラウドファンクションにそう
How We Deploy Python Code
We love Python at Nylas. The syntax is simple and expressive, there are tons of open source modules and frameworks available, and the community is welcoming and diverse. Our backend is written exclusively in Python, and our team frequently gives talks at PyCon and meetups. You could say we are super fans. However, one of Python’s big drawbacks is a lack of clear tools for deploying Python server a
pyenv+pipx+PoetryでPythonのきれいな開発環境を手に入れる - Qiita
以前話題になっていたこちらの記事の通りです。…というのも無価値な記事になってしまうので、多少解説をします。 My Python Development Environment, 2020 Edition こちらの記事の著者はWSLを使っていますが、私もOSX環境でもほぼこのまま使えています。 Why? I need to run multiple Python versions, isolated from the system Python. pyenv makes it easy to install, manage, and switch between those multiple Pythons. 様々なPythonのバージョンを切り替えるツールです。ちなみにもとの記事にある通り、pyenvは開発環境用に使い、アプリケーション実行環境にはDockerを利用すべきです。 参考記事
DockerでNext+Django(TypeScript+Python)の環境を作る - Qiita
はじめに DockerでNext+Django(TypeScript+Python)の環境を作ります。DjangoはREST frameworkを使います。 前回はNext(TypeScript)の環境を作りました。その続きとしていくため、Nextの環境については前回の記事を参考にしてください。 前回の記事: Qiita - DockerでTypeScript+Nextの環境を作る @syakoo 目標 目標としては、NextjsのバックエンドとフロントエンドからDjango REST frameworkとの通信とします。 Windows10 Home Visual Studio Code 1.38.1 Docker 19.03.1 docker-compose 1.24.1 Django 2.2.1 djangorestframework 3.10.3 django-cors-heade
Docker + MeCab + JupyterLabによる分析環境の構築 - UUUMエンジニアブログ
こんにちは、分析チームの門脇です。 日頃クリエイターに関するデータ分析業務を行う際、環境ごとのライブラリの管理が面倒だったり、形態素解析エンジンの導入、notebookの設定をやり直す必要があるなど何かと不便でした。 そこで今回は、Dockerを利用して、簡単にクリエイター分析環境を構築してみました。 Dockerについて Dockerはコンテナ型の仮想化環境のことで、Dockerfileに仮想環境に取り入れたいものの処理を記述することで、簡単に同一環境を再現でき、環境ごとに設定をやり直さなくて済むといったメリットがあります。 Dockerによる環境構築ついて詳しく知りたい方はこちらにわかりやすくまとめられています。 今回は記事の中でも紹介されているKaggleが提供しているDockerイメージをベースにDokerfileを作成していきます。 MeCabについて クリエイターについて分析を
Smaller Docker images with Conda // Jim Crist-Harif
Summary We provide a few tips for reducing the size of docker images that use Conda, reducing an example docker image to 15% of its original size. Introduction Conda is a useful tool for managing application dependencies. When combined with Docker for deployment you can have a nice workflow for reproducible application environments. If you're not careful though, you can end up with extremely large
pythonの環境構築戦争にイラストで終止符をどうやら打てない - Qiita
はじめに Pythonの環境構築は僕にとって、戦争でした。 如何せんツールが多すぎます。 インターネットで調べるとざっと挙げるだけで 元から入っているpython3 元から入っているpython3 + venv pyenv pyenv + pyenv-virtualenv pyenv + venv anaconda docker + python docker + anaconda ... 以上のような組み合わせが山程出てきます。 よく最近のゲームのキャラメイキングの 「組み合わせは無限大！」を思い出します。 この記事では、それぞれの環境構築の概念をイラスト画像でまとめようと思います。 環境構築のコマンド自体は取り扱わないためご注意下さい。 追記 2019/11/07 本記事はPython初心者による「概念のみ」に関する説明のため、ベストな環境構築や、すべて正確かつ詳細な内容は含んでないで
Pipenv と Docker を使った開発環境のベストプラクティス - kawasin73のブログ
イテレーションの速さがあなたの生産性を左右する。どうも、かわしんです。生産性の高いプログラマって１つ１つの試行が素早い（自動化しているかツールを使っている）ためにものすごいスピードで開発できていると思うんですよね。 さて、最近 Python で開発をしているのですが、世の中の Docker と Pipenv の開発環境を調べてもろくなものがなかったので、自分でテンプレートを作りました。いわゆる「俺の考える最強の Pipenv + Docker 開発環境」というやつです。 リポジトリはこちらになります。 github.com 特徴としては、以下の2つが大きいです。 pipenv install をコンテナ起動時に行うため、docker イメージを作り直す必要がない pipenv shell 相当の仮想環境のアクティベートを自動で行う なぜ Docker + Pipenv なのか Docker
Dockerでデータ分析環境を手軽に作る方法 - 天色グラフィティ
何かデータ分析を行わなければいけないとき、手軽に分析環境を用意したいというニーズがあります。 Jupyter Notebook上でnumpy、pandas、matplotlib、scikit-learnあたりが使えれば十分でしょうか。XGBoostやLightGBMといったライブラリも使えるようにしておきたいという人もいるかと思います。 一方、ローカルにいろいろなライブラリをインストールしていくと、次第に環境が汚れていってライブラリの衝突などが起こりやすくなってしまいます。 KaggleにはKernelという計算環境があり、そこには主要な機械学習ライブラリが予めインストールされています。データ分析をやっていく上で不自由はありません。今回はDockerとdocker-composeを使ってKaggle Kernelを手元に再現し、ポータブルな分析環境として使う方法を紹介します。 データ分析界
Docker上でSeleniumとHeadless ChromeとPython3を動かす - Qiita
自己紹介1 高橋 太郎 インターマン株式会社 社内エンジニア（FileMaker、インフラ周り、その他いろいろ） いま一番興味のある技術:Google Colaboratory 趣味でこんなもの作ってます。 500円で作る自転車用防犯カメラ お品書き MacでSeleniumを動かそう DockerでSeleniumを動かそう デモ 解説 MacでSeleniumを動かそう ある日、こんな依頼がありました 「ブラウザで毎日やっている作業があるんだけど自動化出来ない？」 「多分出来ますよ（SeleniumとPythonでやってみよう）」 MacでSeleniumを動かすのは結構簡単 前提としてHomebrewとPython3がインストール済みであること 動いたのでレビューしてもらおう 同僚の開発マシンはWindows 7 レビューのためにWindows用の手順書をつくるのはめんどくさい そう
Docker環境でPyTorch 〜画像解析〜 #01 環境構築編 - Qiita
はじめに 株式会社クリエイスCTOの志村です。 何回かに渡り、PyTorch(ディープラーニング)で画像解析をする実践で使えそうなコードを掲載していきたいと思います。 せっかくなのでDockerで環境構築をしていきます。 最終的にはキャプチャー認証を突破できるレベルまで持ってけたらと思っています。(できなかったらごめんなさい) 大前提として自分、AI絡みの裏の仕組みは全くと言っていいほど理解していませんから。 今となっては微分積分すら怪しいです。はい。 そんな感じですが、その辺の意味不明な計算式を勝手にやってくれるフレームワークがせっかくあるのですからあやかれば良いんです。 経緯 上田「PyTorchが正式リリースされたから他のフレームワークと何が違うのか触ってみよう」 志村「来たAI！！クリエイスもとうとうこの分野に手を出しちゃいますか！」 曽宮・モトキ「AI？それっておいしいんですか？
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
