はじめに 2021年、Pythonで複数の暗号系ライブラリを開発してPyPIで公開してきました。その過程で、setuptools、flit、poetryと、幾つかのパッケージ管理をわたり歩き、GitHub上でのCI/CDも色々試す中で私的なべスプラが定まってきたので、2022年初に備忘録としてまとめておきます。 具体的には、pyenv、poetry、pre-commit、tox、GitHub Actions を活用し、低コストで（＝なるべく自動で）、高品質のプロダクトをPyPIにデプロイする方法・設定を共有します。個別のツールの記事はよく目にするのですが、開発ライフサイクル全体をカバーする記事がなかなか無かったので。 開発環境の整備 - pyenvで複数のPythonバージョンでの開発環境を整備 パッケージ管理 - poetry/pyproject.tomlでの一元的なパッケージ管理 静的
ローカルで動く大規模言語モデル(Rinna-3.6B)を使ってあなただけのAIパートナーを作ろう - Qiita
はじめに はじめまして。株式会社ずんだもんのアルバイトエンジニアのinadaです。 今日は誰でも作れるずんだもんと題してローカルPCにずんだもんAIを作ります。この記事はそのチュートリアル記事です。 (誰でもと書いてますが、RTX 3060(12G)搭載以上のPC推奨です。CPUマシンでも出来る部分はありますが非推奨です。RTX 3060(12G)のグラボは5万ぐらいで買えるので持ってなければ買っちゃいましょう。) 対象読者/記事の範囲 ローカルPCで動かせる大規模言語モデルを、学習用のデータの用意から、学習、動かすところまで一通りどんなものか、お試ししてみたい人。 自分だけの世界にただ一人だけのうちの子、またはパートナー(うちの嫁)を作り育てたい。そんな沼にはまりたい、興味がある人。 AIの仕組みや用語は当記事では解説しません。AIの用語(モデル, loss, epoch, checkp
こんにちは。電通総研コーポレート本部システム推進部の山下です。 最近はChatGPTなどのLarge Language Model(LLM)を利用したAIが話題ですね。 そのLLMを応用したRetrieval-Augmented Generation(RAG)という技術があります。 これは、LLMに文書検索などを用いて関連する情報を与えて回答させることで、 LLMが知識として持っていない内容を回答させたり誤った情報を答えてしまうハルシネーションを抑止する技術です。 今回はこのRAGをLlamaIndexというライブラリを使ってローカル環境で実装する方法について紹介します。 なぜローカル環境でLLMを利用したいのか 大変便利なツールのLLMですが、利用が難しいこともあります。 例えば、機密情報を取扱いたい、外部インターネットへの接続に制限が掛かっているといった場合です。 最終的にOpenAI
Ubuntu Weekly Recipe 第880回GPUに画像の文字を解析させる、あるいはPyTorch入門 今回はAI文章画像解析エンジンであるYomiTokuを通じて、GPUメーカーごとに用意されているPyTorchのインストール方法を紹介します。 PyTorchとGPU PyTorchに関しては本連載でも何度となく登場しており、直近だと第877回でした。筆者も文字起こしをする必要がある場合には使用してみたくなりました。 PyTorchと何かというのは、gihyo.jpの記事「機械学習フレームワークPyTorch、Linux Foundationの傘下プロジェクトに」でも軽く紹介されています。元々はMetaのプロジェクトであったのが現在は独立していること、機械学習用のフレームワークでGPUアクセラレーション機能をサポートしていることがわかります。 GPUアクセラレーションはGPU
Notes by djb on using Fil-C (2025) I'm impressed with the level of compatibility of the new memory-safe C/C++ compiler Fil-C (filcc, fil++). Many libraries and applications that I've tried work under Fil-C without changes, and the exceptions haven't been hard to get working. I've accumulated miscellaneous notes on this page regarding usage of Fil-C. My selfish objective here is to protect various
初めまして、株式会社Berryの齋藤です。 みなさまLambdaはやっておりますでしょうか。 Berryでも3Dデータの自動処理を行う上で数多くのLambda関数を作成、運用しています。 その中で3Dデータのプレビュー生成が必要になったため、blenderによるプレビュー生成を行うことにしました。 通常であればEC2を使い、レンダリングサーバーを立てることが一般的かと思いますが、費用面・運用面を考慮し、Lambdaによるサーバーレスなレンダリングサーバーを作成することにしました。 非常にニッチなユースケースですが、ざっと検索したところ日本語の情報が少なかったので、今回はblenderをLambda上で動かす方法を紹介したいと思います。 サンプルリポジトリ 前提条件 AWS CLIとAWSアカウントが設定済み Dockerインストール済み (x64のCPUで検証しています。armの場合はダウ
How to improve Python packaging, or why fourteen tools are at least tw
There is an area of Python that many developers have problems with. This is an area that has seen many different solutions pop up over the years, with many different opinions, wars, and attempts to solve it. Many have complained about the packaging ecosystem and tools making their lives harder. Many beginners are confused about virtual environments. But does it have to be this way? Are the current
使用するグラフィックボードはMSI GeForce RTX™ 3050 LP 6Gと玄人志向 RD-RX6400-E4GB/LPです。 グラフィックボードは高価なものでなくてもいいのですが、CPUに関してはそれなりのものでないと待ち時間が長くなります。今回使用したRyzen 7 5700Xは価格と性能のバランスが取れているように感じました。 SSDは検証機の都合でSATA接続のものにしましたが、大きなモデルはファイルサイズも大きいので、可能な限り高速のSSDにすると読み込み時間が大幅に短縮されるのでおすすめです。 ランタイムの準備 llama.cppのビルドに取りかかる前に、GPUごとのランタイムを準備します。 NVIDIAの場合 NVIDIAのGPUを使用している場合は、プロプライエタリなドライバーのインストールは必須です。インストールされているか確認しましょう（図1）。 図1 「
最近マザーボードを入れ替えたことにより、PCIe 5.0にネイティブで対応しました。SSDはグラフィックボードごとに分けています。 なおセキュアブートはオフにしています。 インストールするUbuntuのバージョンは24.04.3 LTSです。 GeForce RTX 5060 Tiに必要なパッケージをインストールする ではGeForce RTX 5060 TiをUbuntuで使えるようにしていきます。とはいえ例として取り上げるのはGeForce RTX 5060 Tiではあるものの、5000シリーズであれば同じ設定で使用できるはずではあります。 筆者は今まで古いGeForceしか使ってこなかったので知らなかったのですが、最新のGeForce 5000シリーズではオープンソース版のカーネルモジュールを使用する必要があります。以前GeForce 3000シリーズでオープンソース版のカーネルモジ
perf の Python インタプリタを利用して KVM Exit/Entry のレイテンシを分析する - NTT docomo Business Engineers' Blog
この記事は、 NTT Communications Advent Calendar 2024 2 日目の記事です。 perf の Python インタプリタを使って KVM Exit/Entry のレイテンシを計測してみます。 はじめに KVM の仕組み CPU トレースを取得する perf をビルドする Python コードを書く 独自スクリプトを用いて perf.data を集計する まとめ 参考文献 はじめに こんにちは。 SDPF クラウド・仮想サーバーチームの杉浦 (@Kumassy_) です。 普段は OpenStack の開発・運用をしており、最近は仮想マシンの性能解析やトラブルシューティングなどに取り組んでいます。 perf は Linux のパフォーマンス解析に有用なツールです。 perf を使うことで、パフォーマンスカウンタの値を読んだり、プロファイリング、トレーシング
Starting with 0.3.0, Astral’s uv brought many great features, including support for cross-platform lock files uv.lock. Together with subsequent fixes, it has become Python’s finest workflow tool for my (non-scientific) use cases. Here’s how I build production-ready containers, as fast as possible. I’m keeping this post up-to-date with my own production use of uv – see History. Currently, this post
ポイントはCPUファンの高さで、DeskMeetシリーズは58mmまでの制限があり、手裏剣2も58mmでした。 つまり、RD-RX9060XT-E16GB/DFは、上からも斜めにしても入らないということになります。実際には上からは入ったのですが、ブラケットが傷だらけになりました。全くおすすめしません。 上から入れようとしているところが図1です。 図1 上から入れようとするとブラケットが邪魔をして入らない 横から滑り込ませようとすると、CPUクーラーが邪魔をして奥まで行きません（図2）。 図2 横から滑り込ませようとしているところ そこで、CPUクーラーを高さ39mmのSCSK-3000（Shuriken3）に変更したところ、何の苦もなく入れることができました（図3）。 図3 横から滑り込ませてなんの苦もなく入ったところ というわけで、DeskMeetシリーズでRD-RX9060XT
2021/8時点での情報です。安定版になっていない内容が多く、一年もたったら役に立たなくなっていると思われます わざわざ怪しいタイトルをつけたので、信憑性はそんなもんです。 ほぼ作業メモですが、ちょっとハマりどころがあったのでまとめておきます 特に参考にしたサイト様 注意点 WSL2のGPU認識などを利用するためにはwindows insider programに登録して、開発段階のwindows updateを受け取る必要があり、環境が通常のwindowsと変わります。 実際私は今windows11相当の環境になっています… 環境概要 Windows + WSL2 + Docker(WSL2バックエンド)です。 WSL2バックエンドを使用することで、nvidia周りのドライバなどを頑張って準備しなくてもGPUを認識してくれます。 1.Windows Insider Programへの登録
After needing to do a deep dive on the venv module (which I will explain later in this blog post as to why), I thought I would explain how virtual environments work to help demystify them. Why do virtual environments exist?Back in my the day, there was no concept of environments in Python: all you had was your Python installation and the current directory. That meant when you installed something y
WSL2 の Ubuntu にデフォルトで入っているバージョン以外の Python を試したくなったので、複数バージョンを使えるようにする方法を調べてみました。 どうも、 Python では環境を管理するためにいろんな方法があるようで、このあたりの記事に表の形でよくまとまっていました。 Pythonの仮想環境構築 pyenv、pyenv-virtualenv、venv、Anaconda、Pipenv。私はPipenvを使う。 - Qiita ちなみに、 pyenv および venv についての説明はこちらの記事がわかりやすかったです。 似ているようで意外と違う。venvとpyenvの使い分け。 これらを読んでみたところ、 Python 自体のバージョンを切り替えるには、 pyenv を使うのがよさそうです。pyenv を使わない場合は、 OS 上に複数バージョンをインストールして、 alt
IMDSv1を使用しているか判断できるIMDSパケットアナライザーがリリースされました | DevelopersIO
IMDSv2のみ許可したいけどIMDSv1を使っているプロセスの判断がつかないな こんにちは、のんピ(@non____97)です。 皆さんはインスタンスメタデータ(以降IMDS)v2のみ許可したいけどIMDSv1を使っているプロセスの判断がつかないなと思ったことはありますか? 私はあります。 IMDSv2のみ許可することでSSRF攻撃を緩和することが可能です。 IMDSv2の詳細な動作や効果については、DevelopesIOの以下記事や徳丸先生の記事が参考になります。 EC2インスタンスのデフォルトの設定ではIMDSv2とIMDSv1どちらも有効化されていることが多いです。(デフォルトの設定はAMI次第) そのため、後からIMDSv1を無効化したい場合は、どのプロセスがIMDSv1を使っているのかを確認する必要があります。しかし、具体的にIMDSv1を使用しているプロセスを確認するメトリク
Ubuntu 24.04 開発・研究環境構築ガイド
【概要】本ガイドでは、Ubuntu 24.04 LTSにおける各種ソフトウェアのインストール手順を説明する。プログラミング環境（C/C++、Python、Java、R）、NVIDIA GPU環境（ドライバ、CUDA、cuDNN）、データベース（PostgreSQL）、人工知能・機械学習ライブラリ、3次元コンピュータグラフィックス・地理情報システム・メディア処理ツール、エディタ・統合開発環境などを扱う。 【この記事の対象読者】Ubuntu 24.04 LTS上で開発・研究を行いたい大学生や技術者。C/C++やPythonによるプログラミング、人工知能・機械学習、3次元コンピュータグラフィックス制作、データベース管理などの環境を構築したい人を対象としている。Windows 環境向けの情報は別ページ »で説明している。 【重要概念】 LTS (Long Term Support): 5年間のセキ
2022-09-27 I recently learnt that mypy has a compiler called mypyc. The compiler uses standard python type hints to generate c extensions automatically from python code. I found the idea very interesting as I have a library (Lagom - a dependency injection container) which is fairly extensively annotated with types. I liked the idea of getting a performance boost without having to rewrite any code
Press ← or → to navigate between chapters Press S or / to search in the book Press ? to show this help Press Esc to hide this help The PyO3 user guide Welcome to the PyO3 user guide! This book is a companion to PyO3's API docs. It contains examples and documentation to explain all of PyO3's use cases in detail. The rough order of material in this user guide is as follows: Getting started Wrapping
Docker/docker-composeのインストール Dockerのインストールはこちらを参考にしてください。 プロジェクトの作成 まず、任意のディレクトリを作成し、その中に以下の３つのファイルを作成します。 Dockerfile.llama Dockerfile docker-compose.yml Dockerfile.llama # ビルドステージ ARG CUDA_IMAGE="12.5.0-devel-ubuntu22.04" FROM nvidia/cuda:${CUDA_IMAGE} # 外部からのアクセスを許可するために、ホストを0.0.0.0に設定する必要がある ENV HOST 0.0.0.0 # 必要なパッケージのインストールと OpenCL の設定 RUN apt-get update && apt-get upgrade -y \ && apt-get ins
はじめに 自作PCでローカルLLMを動かすために、llama.cppを用いて量子化したモデルを動かす手法がある。ほとんどのローカルLLMはTheBlokeが量子化して公開してくれているため、ダウンロードすれば簡単に動かすことができるが、一方で最新のモデルを検証したい場合や自前のモデルを量子化したい場合など、TheBlokeに無いモデルを動かしたい時がある。 今回、私は以下のXwin-LM/Xwin-Math-70B-V1.0を検証したくて、llama.cppを用いて自前で量子化を行いました。その手法をまとめておく。 ちなみに、このモデルは、数学問題に特化しているモデルで、既存の数学問題に特化したローカルLLMの中でベンチマーク上は最も優秀なモデルとされている。[1] 私の PC のスペック[2] i7 13700K 3090 24GB DDR5 128GB Docker環境の準備 私はVS
【画像生成AI】クラウド最安!? GPUSOROBANでStable Diffusion WebUIを動かす【￥50/1h】｜カガミカミ水鏡🔞
【画像生成AI】クラウド最安!? GPUSOROBANでStable Diffusion WebUIを動かす【￥50/1h】 なしてワイはRTX A4000を買ってしまったんや…… こんにちは、画像生成はローカル構築勢のカガミカミ水鏡です。 Stable Diffusion WebUI Automatic1111（以下A1111）を楽しむには主に、ローカル（自前のPCで動かす）とクラウド（GPUサーバを時間借りする）の２通りがあります。 ローカルは構築が比較的お手軽だけど初期費用に20万円前後かかるし（GeForce搭載のゲーミングPCを持っていない場合）、更に画像生成沼にドハマリし、より速い・より学習できる環境を求めて上位のGPUに買い替えすると更に10万円前後も追加費用が…… あっちなみに俺はRTX3060Ti(8GB) 👉 RTX3060(12GB) 👉 RTX A4000(16
【簡易版：Androidのブラウザで実現するpython環境】機械学習(pytorch, scikit-learn)や実用的なプログラミング(jupyterlab, pandas, matplotlib, strearmlit)の環境構築について
【経緯】簡易版：Androidのブラウザで実現するpython環境の紹介について 以前に紹介しておりましたTermuxをベースとしたjupyterlab環境について、Termuxをupgradeすると、pythonのバージョンまで上がってしまい、元のpython環境を再現できなくなってしまったようです。。 参考リンク：Termux Wiki Python – Termux Wiki 【一部内容を転載します】 Warning: upgrading major/minor version of Python package, for example from Python 3.8 to 3.9, will make all your currently installed modules unusable. You will need to reinstall them. However up
前回の記事で、EVO-X2 (Ryzen AI Max+ 395) に Ubuntu 24.04＋ROCm を導入しました。今回は、ROCm（HIP/rocBLAS）有効の llama.cpp をビルドしてGPU実行できる状態にして、ローカルLLMを動作させ、モニタを実施します。 1. ゴール Python 仮想環境を作って モデル取得系を隔離 Hugging Face から Phi-3.5 Mini (GGUF) をダウンロード llama.cpp を GPUオフロード段階的に 実行（-ngl 1 → 8 → 16 → 32） rocm-smi で温度／電力／利用率／VRAM を 軽量モニタ 生成速度（tok/s）を比較し確認 2. Python 仮想環境のセットアップ いろいろ始める前に、Python仮想環境(venv)を整備します。なぜかというと、 huggingface_hub や
Windows 11のWSL2（Ubuntu 22.04）でGPUを使う際にPyTorch, CuPy, TensorFlowを全て使おうと思ったら少し詰まった部分もあったのでメモとして残しておきます。 ※以下「WSL2」＝「WSL2にインストールしたUbuntu」です バージョン一覧（2023/7/7時点）Windows 11 22H2 WSL2 Ubuntu 22.04 Nvidia Driver 536.40 CUDA 11.7.1 cuDNN 8.6.0 (for CUDA 11.x) Python 3.11.4 PyTorch 2.0.1 CuPy 12.1.0 TensorFlow 2.13.0 Windows 11での設定それぞれの詳細は省略しますが、以下の設定を行います。 Enable NVIDIA CUDA on WSLが参考になります。 Nvidia Driverのイン
2022年、新年あけましておめでとうございます！ 本年もマイペースに記事を書いていければと思っています。 はじめに 前回の記事 でWindowsにCUDAとPyTorchを導入したのですが、YOLOXを利用しようとしたところWindows特有のバグに引っかかってしまい、泣く泣くDockerに戻ってきました・・・。 ただ、Dockerを立ち上げて、Jupyter Notebookにアクセスし、コーディングするのは面倒だと思ったので、VSCodeのRemoteContainers機能を利用して実行できるようにしました。 作業に移る前に・・・ WindowsでDocker+GPUを利用する際は の記事を参考にして実装しました。mosamosaさんありがとうございます！！ なにか手順に詰まった際は、本記事と上記記事を参考にしてもらえると！ VSCodeの準備 VSCodeは からダウンロード＆イン
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Pythonでの開発・CI/CDの私的ベストプラクティス2022
LlamaIndexを使ってローカル環境でRAGを実行する方法 - 電通総研 テックブログ
第880回 GPUに画像の文字を解析させる、あるいはPyTorch入門 | gihyo.jp
Notes by djb on using Fil-C (2025)
AWS Lambdaにblenderを載せてサーバーレスなレンダリングサーバーを作る
第872回 百度（Baidu）の新しいMoEモデルを、安価なGPUで動作させる | gihyo.jp
第891回 ミドルレンジのグラフィックボードで生成AI入門 | gihyo.jp
Production-ready Python Docker Containers with uv
第868回 UbuntuでAMD Radeon RX 9060 XTを使用する | gihyo.jp
【2021/08メモ】windows+dockerでGPU対応の機械学習環境をつくる
How virtual environments work
WSL2 に pyenv + venv 環境を作ってみた - プログラマーのメモ書き
Making python fast for free - adventures with mypyc
Introduction - PyO3 user guide
ローカルLLMでGraphRAGを実装して「クリスマスキャロル」を分析してみた - Sun wood AI labs.2
llama.cppでHuggingFaceにあるモデルを自分で量子化して動かす方法
GMKtec EVO-X2でllama.cppをビルドしてローカルLLMを動かす
WSL2でGPUを使う（PyTorch, CuPy, TensorFlow）｜Koji Iino
Windows11+Docker+VSCodeでGPUを利用する