Visual Studio Code と Docker コンテナを使って開発する - Pepabo Tech Portal
技術部データ基盤チームの @zaimy です。今回は、 Visual Studio Code（以下 VS Code）と Docker コンテナを使って開発環境を構築する方法を紹介します。 データ基盤エンジニアの開発環境として、Python を使用する単一コンテナを例に記述しますが、他の言語や Docker Compose を使う場合でも応用できます。 背景: M1 Mac (Monterey) に Python 3.8.12 をインストールできない 先日、業務で使用するマシンを Intel Mac から M1 Mac に切り替えたのですが、CPU アーキテクチャが異なることに加えて、OS のバージョンが上がったことで Apple Clang に下位互換性のない変更が入っており、業務上ある理由で必要な Python 3.8.12 のインストールが困難でした。 そこで、私の所属するチームは全員
使っているパソコンを変えても、開発環境を揃えたい時はDockerを使うと便利。ということでDockerでPython環境を作って色々なところで使いまわせるようにします。Tokyo AEC Industry Dev Groupというミートアップグループで行う（行った）ハンズオンワークショップの内容となっています。こちらDockerを初めて使う初心者用の記事となります。 ワークショップ自体は録画してYoutubeにアップしてあります。そちらもよろしければどうぞ。 Dockerとは Dockerとはシステム開発や運用に最近よく使われるコンテナ技術を提供するサービスの一つです。コンテナとは、アプリケーションの実行に必要な環境をパッケージ化して、いつでもどこからでも実行するための仕組みです。自分のコンピュータの環境を汚すことなく、隔離された環境を作ってそこでプログラムを動かすことができるのでトライア
PythonのコードをEXE化するには？PyInstallerやその他ツールの特徴や使い方 - アンドエンジニア - エンジニアのこと、エンジニアから。
この記事でわかること Pythonは、簡単に始められるインタープリター型のプログラミング言語です コードをEXE化すると、実行するPCにPythonの環境が不要となり、操作が簡略化できます EXE化にはツールが必要で、要望に合わせて色々なツールが公開されています 【関連記事】【Pythonのライブラリ管理ツール】pipインストールを徹底解説！Windowsでも簡単？ 【関連記事】Pythonで自動化できること7選！面倒な作業を効率化してより便利に 【関連記事】Anacondaの使い方は？Python環境の利用方法を解説！ 目次 1. PythonのコードをEXE化する 1-1. PythonのコードをEXE化するメリット 1-2. PythonのコードをEXE化するデメリット 1-3. PythonのコードをEXE化するツール 2. PythonのコードをEXE化するツールを比較する 2-
それぞれのツールに関する詳しい説明は本記事では行いません。詳しく知りたい方は、ツール名のリンクから公式ドキュメント等を参照してみてください。 上記の表に挙げたツール群にはそれぞれに特徴があります。pyenv、venv、pipのように単一機能に特化したものから、Condaのようにデータサイエンスや機械学習プロジェクトで使用される複雑なパッケージの依存関係や環境管理をサポートするツール、PoetryのようにPythonパッケージインデックス（PyPI）への公開をサポートするツールなど、開発シーンに合わせて選択することができます。 uvとは uvは2024年の2月中旬に発表されたばかりの新しいパッケージ管理ツールです。Rustで書かれており、ここ最近で飛躍的に使用されるようになったRust製のPythonリンター＆フォーマッター「Ruff」を開発しているAstral社によって提供されています[1
画像生成AI「Stable Diffusion」による画像生成や顔面高解像化などをコマンド一発で実行できる「ImaginAIry」
画像生成AI「Stable Diffusion」は文章(プロンプト)を入力するだけで好みの画像を生成してくれますが、ローカル環境でStable Diffusionを使う場合は複雑な初期設定が必要です。オープンソースで開発されているPythonパッケージ「ImaginAIry」なら、Stable Diffusionを用いた画像生成環境をpipで簡単に構築可能で、画像生成以外にもプロンプトによる画像編集や超解像機能も利用できてめちゃくちゃ便利そうなので、その機能をまとめてみました。 GitHub - brycedrennan/imaginAIry: AI imagined images. Pythonic generation of stable diffusion images. https://github.com/brycedrennan/imaginAIry ImaginAIryは「L
Ubuntu Weekly Recipe 第880回GPUに画像の文字を解析させる、あるいはPyTorch入門 今回はAI文章画像解析エンジンであるYomiTokuを通じて、GPUメーカーごとに用意されているPyTorchのインストール方法を紹介します。 PyTorchとGPU PyTorchに関しては本連載でも何度となく登場しており、直近だと第877回でした。筆者も文字起こしをする必要がある場合には使用してみたくなりました。 PyTorchと何かというのは、gihyo.jpの記事「機械学習フレームワークPyTorch、Linux Foundationの傘下プロジェクトに」でも軽く紹介されています。元々はMetaのプロジェクトであったのが現在は独立していること、機械学習用のフレームワークでGPUアクセラレーション機能をサポートしていることがわかります。 GPUアクセラレーションはGPU
Notes by djb on using Fil-C (2025) I'm impressed with the level of compatibility of the new memory-safe C/C++ compiler Fil-C (filcc, fil++). Many libraries and applications that I've tried work under Fil-C without changes, and the exceptions haven't been hard to get working. I've accumulated miscellaneous notes on this page regarding usage of Fil-C. My selfish objective here is to protect various
初めまして、株式会社Berryの齋藤です。 みなさまLambdaはやっておりますでしょうか。 Berryでも3Dデータの自動処理を行う上で数多くのLambda関数を作成、運用しています。 その中で3Dデータのプレビュー生成が必要になったため、blenderによるプレビュー生成を行うことにしました。 通常であればEC2を使い、レンダリングサーバーを立てることが一般的かと思いますが、費用面・運用面を考慮し、Lambdaによるサーバーレスなレンダリングサーバーを作成することにしました。 非常にニッチなユースケースですが、ざっと検索したところ日本語の情報が少なかったので、今回はblenderをLambda上で動かす方法を紹介したいと思います。 サンプルリポジトリ 前提条件 AWS CLIとAWSアカウントが設定済み Dockerインストール済み (x64のCPUで検証しています。armの場合はダウ
プライベートパッケージリポジトリのススメ - NTT docomo Business Engineers' Blog
この記事は、 NTT Communications Advent Calendar 2022 23 日目の記事です。 はじめに こんにちは、デジタル改革推進部の組橋です。普段は社内データの整備や分析をしています。 この記事では、社内ツールなどの自作ツールを管理する方法や関連するサービスを紹介します。 パッケージリポジトリとは パッケージ ソフトウェアにおけるパッケージとはいくつかの機能を1つにまとめて、管理しやすくしたものを指します。 例えば、Pythonのパッケージはpipコマンドでインストールできます。 pip install $PACKAGE_NAME リポジトリ リポジトリは、保管場所という意味があります。 パッケージリポジトリはパッケージの保管場所です。単にリポジトリというと最近はGitリポジトリを指すことが多いですが、これはソースコードの保管場所ですね。 例えば、Pythonの
How to improve Python packaging, or why fourteen tools are at least tw
There is an area of Python that many developers have problems with. This is an area that has seen many different solutions pop up over the years, with many different opinions, wars, and attempts to solve it. Many have complained about the packaging ecosystem and tools making their lives harder. Many beginners are confused about virtual environments. But does it have to be this way? Are the current
Python is Actually PortableUpdate (2024-04-15): The Python executable build process described in this post is from 2021, and both Cosmopolitan Libc and the surrounding tooling have improved since 2021. The build process is much simpler now, you can download Python 3.11.4 Actually Portable Executables built via Github Actions at https://github.com/ahgamut/superconfigure – one of the Python binaries
【目的別】コピペから始めるCython入門 ~はじめてのコンパイルから自作package化まで~ — HACK The Nikkei
データサイエンティスト(?)の青田です。これは Nikkei Advent Calendar 2021 の 25 日目の記事です。 はじめに 本記事では Cython を用いるときに発生しがちなつまずきポイントについて実用的な具体例を示す。つまずきポイントをほぼコピペで乗り越えられることを意識して執筆した。 すでに数多くのブログや公式ドキュメントがある中でこれを書いたモチベーションがある。 Cython はコンパイルしようとするだけでも 4 種類のやり方が存在し、型宣言の仕方は 3 種類の作法があり、numpy との連携方法は 2 種類存在する。 このように同じことをやろうとしたときの選択肢の多さが混乱を招いているように感じた。いろんな流派が存在するものの、ここでは自分の方法を目的別に示す。これにより、利用者の選択の時間を削減し、Cython を道具として使いやすくなるだろう。 本記事は以
使用するグラフィックボードはMSI GeForce RTX™ 3050 LP 6Gと玄人志向 RD-RX6400-E4GB/LPです。 グラフィックボードは高価なものでなくてもいいのですが、CPUに関してはそれなりのものでないと待ち時間が長くなります。今回使用したRyzen 7 5700Xは価格と性能のバランスが取れているように感じました。 SSDは検証機の都合でSATA接続のものにしましたが、大きなモデルはファイルサイズも大きいので、可能な限り高速のSSDにすると読み込み時間が大幅に短縮されるのでおすすめです。 ランタイムの準備 llama.cppのビルドに取りかかる前に、GPUごとのランタイムを準備します。 NVIDIAの場合 NVIDIAのGPUを使用している場合は、プロプライエタリなドライバーのインストールは必須です。インストールされているか確認しましょう（図1）。 図1 「
Apple Silicon 版の Mac で Miniforge を使ってサードパーティ製のパッケージをインストールする - CUBE SUGAR CONTAINER
これを書いている現在 (2021-11)、Apple Silicon 版の Mac を使って Python の開発環境を整えようとすると、なかなかしんどい。 しんどさの主な要因は、サードパーティ製のパッケージが Apple Silicon をまだサポートしていない場合が多い点にある。 たとえば、Python で機械学習をしようと思ったら誰でも一度は使ったことがあるはずの scikit-learn もそのひとつ。 現在の最新バージョン (1.0.1) でも、Apple Silicon の環境では pip を使った正攻法ではインストールできない。 ただし、以下のドキュメントを読むとわかるとおり、Apple Silicon の環境でインストールする唯一の方法として Miniforge を使うことが挙げられている。 scikit-learn.org Miniforge は、ざっくり言うと利用するリ
1. はじめに 2021年3月に、 「Let’s EncryptによるSSLサーバー証明書の取得、自動更新設定（2021年3月版）」 という記事を書きました。 この方法では、Let’s Encryptのクライアントコマンドのcertbotをインストールするために、Snap (Snappy) というソフトウェアパッケージ管理システムを使用しました。 しかし、このSnap (Snappy) 版certbotのしくみでは、以下の点が気になっていました。 Snap環境全体で1～2GBほどディスクを使用する。 証明書更新タイミングを制御できない。 更新処理のログがわかりにくい。 snapdが常駐することで、20MBほどメモリを使用する。 1. については、ディスクサイズが大きければ問題ないのですが、例えば、IDCFクラウドのように、ルートディスクのサイズがデフォルトで15GB固定となっていると、運用
OpenSSL 1.1.1 が必須なPython 3.10.x をAmazon Linux 2 にインストールする - サーバーワークスエンジニアブログ
どうも! swx-ochiai です。 Python 3.10.x をAmazon Linux 2 にインストールします。 ただし、プリインストールのOpenSSLバージョンが 1.1.1 未満の場合、インストールに失敗します。 そのため、この記事では、ハマりやすいポイントを取り除くためインストール方法をまとめました。 なお、表示されるバージョンおよび手順は執筆時点（2022/5）時点のものです。 紹介するインストール方法 なぜこの方法を紹介するのか yum の場合 : Python 3.7.10 amazon-linux-extras の場合: Python 3.8.5 Python 3.10.x インストール手順 構築例の環境 事前準備 : OpenSSL 1.1.1 のインストール 1. OpenSSLのバージョン確認 2. OpenSSL 1.1.1 をインストール 3. Open
perf の Python インタプリタを利用して KVM Exit/Entry のレイテンシを分析する - NTT docomo Business Engineers' Blog
この記事は、 NTT Communications Advent Calendar 2024 2 日目の記事です。 perf の Python インタプリタを使って KVM Exit/Entry のレイテンシを計測してみます。 はじめに KVM の仕組み CPU トレースを取得する perf をビルドする Python コードを書く 独自スクリプトを用いて perf.data を集計する まとめ 参考文献 はじめに こんにちは。 SDPF クラウド・仮想サーバーチームの杉浦 (@Kumassy_) です。 普段は OpenStack の開発・運用をしており、最近は仮想マシンの性能解析やトラブルシューティングなどに取り組んでいます。 perf は Linux のパフォーマンス解析に有用なツールです。 perf を使うことで、パフォーマンスカウンタの値を読んだり、プロファイリング、トレーシング
Cloud9 で SAM を利用し AWS サービス毎の請求額を毎日 Slack に通知する | DevelopersIO
Cloud9 を利用して AWS のサービス毎の料金を毎日 Slack に通知する仕組みを作成しました。 コーヒーが好きな emi です。 AWSサービス毎の請求額を毎日 Slack に通知するため、以下のブログ AWSサービス毎の請求額を毎日Slackに通知してみた を見ながら設定しようとしたのですが、手元の Windows 11 端末に AWS CLI、AWS SAM CLI、Python などの開発環境を整えるのが面倒…！！と思いました。 そこで、AWS Cloud9 を使って手軽に一時的な開発環境を構築し、AWS Serverless Application Model (SAM) でサーバレス通知システムを構築しました。 AWS Serverless Application Model (SAM) とは AWS SAM は、サーバーレスアプリケーション構築用のオープンソースフレー
2021/8時点での情報です。安定版になっていない内容が多く、一年もたったら役に立たなくなっていると思われます わざわざ怪しいタイトルをつけたので、信憑性はそんなもんです。 ほぼ作業メモですが、ちょっとハマりどころがあったのでまとめておきます 特に参考にしたサイト様 注意点 WSL2のGPU認識などを利用するためにはwindows insider programに登録して、開発段階のwindows updateを受け取る必要があり、環境が通常のwindowsと変わります。 実際私は今windows11相当の環境になっています… 環境概要 Windows + WSL2 + Docker(WSL2バックエンド)です。 WSL2バックエンドを使用することで、nvidia周りのドライバなどを頑張って準備しなくてもGPUを認識してくれます。 1.Windows Insider Programへの登録
After needing to do a deep dive on the venv module (which I will explain later in this blog post as to why), I thought I would explain how virtual environments work to help demystify them. Why do virtual environments exist?Back in my the day, there was no concept of environments in Python: all you had was your Python installation and the current directory. That meant when you installed something y
IMDSv1を使用しているか判断できるIMDSパケットアナライザーがリリースされました | DevelopersIO
IMDSv2のみ許可したいけどIMDSv1を使っているプロセスの判断がつかないな こんにちは、のんピ(@non____97)です。 皆さんはインスタンスメタデータ(以降IMDS)v2のみ許可したいけどIMDSv1を使っているプロセスの判断がつかないなと思ったことはありますか? 私はあります。 IMDSv2のみ許可することでSSRF攻撃を緩和することが可能です。 IMDSv2の詳細な動作や効果については、DevelopesIOの以下記事や徳丸先生の記事が参考になります。 EC2インスタンスのデフォルトの設定ではIMDSv2とIMDSv1どちらも有効化されていることが多いです。(デフォルトの設定はAMI次第) そのため、後からIMDSv1を無効化したい場合は、どのプロセスがIMDSv1を使っているのかを確認する必要があります。しかし、具体的にIMDSv1を使用しているプロセスを確認するメトリク
Ubuntu 24.04 開発・研究環境構築ガイド
【概要】本ガイドでは、Ubuntu 24.04 LTSにおける各種ソフトウェアのインストール手順を説明する。プログラミング環境（C/C++、Python、Java、R）、NVIDIA GPU環境（ドライバ、CUDA、cuDNN）、データベース（PostgreSQL）、人工知能・機械学習ライブラリ、3次元コンピュータグラフィックス・地理情報システム・メディア処理ツール、エディタ・統合開発環境などを扱う。 【この記事の対象読者】Ubuntu 24.04 LTS上で開発・研究を行いたい大学生や技術者。C/C++やPythonによるプログラミング、人工知能・機械学習、3次元コンピュータグラフィックス制作、データベース管理などの環境を構築したい人を対象としている。Windows 環境向けの情報は別ページ »で説明している。 【重要概念】 LTS (Long Term Support): 5年間のセキ
2022-09-27 I recently learnt that mypy has a compiler called mypyc. The compiler uses standard python type hints to generate c extensions automatically from python code. I found the idea very interesting as I have a library (Lagom - a dependency injection container) which is fairly extensively annotated with types. I liked the idea of getting a performance boost without having to rewrite any code
Press ← or → to navigate between chapters Press S or / to search in the book Press ? to show this help Press Esc to hide this help The PyO3 user guide Welcome to the PyO3 user guide! This book is a companion to PyO3's API docs. It contains examples and documentation to explain all of PyO3's use cases in detail. The rough order of material in this user guide is as follows: Getting started Wrapping
はじめに 自作PCでローカルLLMを動かすために、llama.cppを用いて量子化したモデルを動かす手法がある。ほとんどのローカルLLMはTheBlokeが量子化して公開してくれているため、ダウンロードすれば簡単に動かすことができるが、一方で最新のモデルを検証したい場合や自前のモデルを量子化したい場合など、TheBlokeに無いモデルを動かしたい時がある。 今回、私は以下のXwin-LM/Xwin-Math-70B-V1.0を検証したくて、llama.cppを用いて自前で量子化を行いました。その手法をまとめておく。 ちなみに、このモデルは、数学問題に特化しているモデルで、既存の数学問題に特化したローカルLLMの中でベンチマーク上は最も優秀なモデルとされている。[1] 私の PC のスペック[2] i7 13700K 3090 24GB DDR5 128GB Docker環境の準備 私はVS
【画像生成AI】クラウド最安!? GPUSOROBANでStable Diffusion WebUIを動かす【￥50/1h】｜カガミカミ水鏡🔞
【画像生成AI】クラウド最安!? GPUSOROBANでStable Diffusion WebUIを動かす【￥50/1h】 なしてワイはRTX A4000を買ってしまったんや…… こんにちは、画像生成はローカル構築勢のカガミカミ水鏡です。 Stable Diffusion WebUI Automatic1111（以下A1111）を楽しむには主に、ローカル（自前のPCで動かす）とクラウド（GPUサーバを時間借りする）の２通りがあります。 ローカルは構築が比較的お手軽だけど初期費用に20万円前後かかるし（GeForce搭載のゲーミングPCを持っていない場合）、更に画像生成沼にドハマリし、より速い・より学習できる環境を求めて上位のGPUに買い替えすると更に10万円前後も追加費用が…… あっちなみに俺はRTX3060Ti(8GB) 👉 RTX3060(12GB) 👉 RTX A4000(16
The 'eu' in eucatastrophe – Why SciPy builds for Python 3.12 on Windows are a minor miracle
This matrix would be a lot larger if it included historical OSes and less common architectures, where support with the respective compiler was often in a 1:1 relationship (i.e. that combination would cover a single cell in the matrix). The matrix also does not cover which programming languages a given compiler is able to process, but for simplicity, you can picture C/C++ here. Of course, GCC remai
PEP 594 – Removing dead batteries from the standard library | peps.python.org
PEP 594 – Removing dead batteries from the standard library Author: Christian Heimes <christian at python.org>, Brett Cannon <brett at python.org> Discussions-To: Discourse thread Status: Final Type: Standards Track Created: 20-May-2019 Python-Version: 3.11 Post-History: 21-May-2019, 04-Feb-2022 Resolution: Discourse message Table of Contents Abstract Rationale Deprecation schedule 3.11 3.12 3.13
【簡易版：Androidのブラウザで実現するpython環境】機械学習(pytorch, scikit-learn)や実用的なプログラミング(jupyterlab, pandas, matplotlib, strearmlit)の環境構築について
【経緯】簡易版：Androidのブラウザで実現するpython環境の紹介について 以前に紹介しておりましたTermuxをベースとしたjupyterlab環境について、Termuxをupgradeすると、pythonのバージョンまで上がってしまい、元のpython環境を再現できなくなってしまったようです。。 参考リンク：Termux Wiki Python – Termux Wiki 【一部内容を転載します】 Warning: upgrading major/minor version of Python package, for example from Python 3.8 to 3.9, will make all your currently installed modules unusable. You will need to reinstall them. However up
I started using uv because the benchmarks seemed too good to be true—10–100x faster than pip, resolves and installs in milliseconds. After reading the source code and the official resolver internals documentation, I understand why, and the answers are more interesting than just "it's written in Rust." This post traces every layer: from the repository structure, through what literally happens when
「ローカル＝自分のPCで動く」＋「LLM＝大規模言語モデル」 できることネット接続なしでAIを動かせる。 社外秘など外に出せないデータをローカルで読み込ませたり、全部自分でカスタムしたい場合に便利。 デメリット環境設定が必要。 GPT-4oほどの知性や感情表現はまだ無理。 必要スペックGPU（グラボ）：VRAM 8GB以上（最低）理想は12GB以上 RAM（メモリ）：16GB以上。理想は32GB ストレージ：SSD推奨、空き50GB以上 OS：Windows 10/11 or Linux 私のPCのスペックはこちらです↓ ローカルLLMに「NGワード」や「利用規約」はあるのか？ない。 →モデルの作者や配布元のライセンスや利用規約に従う必要あり。 モデル本体はオープンソースで、使う場所は自分のPCの中。クラウド側にデータが送られないから、「誰に監視されてるわけでもない」。 動かす自由はあるけ
Windows 11のWSL2（Ubuntu 22.04）でGPUを使う際にPyTorch, CuPy, TensorFlowを全て使おうと思ったら少し詰まった部分もあったのでメモとして残しておきます。 ※以下「WSL2」＝「WSL2にインストールしたUbuntu」です バージョン一覧（2023/7/7時点）Windows 11 22H2 WSL2 Ubuntu 22.04 Nvidia Driver 536.40 CUDA 11.7.1 cuDNN 8.6.0 (for CUDA 11.x) Python 3.11.4 PyTorch 2.0.1 CuPy 12.1.0 TensorFlow 2.13.0 Windows 11での設定それぞれの詳細は省略しますが、以下の設定を行います。 Enable NVIDIA CUDA on WSLが参考になります。 Nvidia Driverのイン
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
DockerでPython実行環境を作ってみる - Qiita
Rust製のPythonパッケージ管理ツール「uv」を使ってみよう | gihyo.jp
第880回 GPUに画像の文字を解析させる、あるいはPyTorch入門 | gihyo.jp
Notes by djb on using Fil-C (2025)
AWS Lambdaにblenderを載せてサーバーレスなレンダリングサーバーを作る
Python is Actually Portable | Blog Needs a Name
第872回 百度（Baidu）の新しいMoEモデルを、安価なGPUで動作させる | gihyo.jp
Let’s EncryptによるSSLサーバー証明書の取得、自動更新設定（Snapを使用しない版）
【2021/08メモ】windows+dockerでGPU対応の機械学習環境をつくる
How virtual environments work
Making python fast for free - adventures with mypyc
Introduction - PyO3 user guide
llama.cppでHuggingFaceにあるモデルを自分で量子化して動かす方法
How uv Works Under the Hood | Noos - Where Thought, Code, and Craft Converge
初めてのローカルLLM（導入～実行）｜tunamayo
WSL2でGPUを使う（PyTorch, CuPy, TensorFlow）｜Koji Iino