Ubuntu Weekly Recipe 第880回GPUに画像の文字を解析させる、あるいはPyTorch入門 今回はAI文章画像解析エンジンであるYomiTokuを通じて、GPUメーカーごとに用意されているPyTorchのインストール方法を紹介します。 PyTorchとGPU PyTorchに関しては本連載でも何度となく登場しており、直近だと第877回でした。筆者も文字起こしをする必要がある場合には使用してみたくなりました。 PyTorchと何かというのは、gihyo.jpの記事「機械学習フレームワークPyTorch、Linux Foundationの傘下プロジェクトに」でも軽く紹介されています。元々はMetaのプロジェクトであったのが現在は独立していること、機械学習用のフレームワークでGPUアクセラレーション機能をサポートしていることがわかります。 GPUアクセラレーションはGPU
目次 OpenID Connectとは 用語 OpenID Connectを試してみる OP側の準備 - AWS Cognito ユーザープールと最初のクライアントを作成する 作成されたパラメータを確認する ディスカバリ ユーザープールにユーザを追加する RP側の準備 - Pythonアプリ 実施 認証の流れ ログインする トークンをリフレッシュする トークンを失効させる ログアウトする IDトークンの形式 サンプルコード リンク OpenID Connectとは SSO(シングルサインオン)を実現するプロトコルのひとつです。 例えば、食べログ に Google アカウントでログインすることができますが、ここでも OpenID Connect が使用されています。 OIDC と略されることもあります。 類似の仕様に OpenID 2.0 がありましたが、OpenID 2.0 の進化系が O
gpt-ossモデルのサービングにおけるリクエスト処理性能評価 ― NVIDIA H100・A100・L4の比較 - ペパボ研究所ブログ
ペパボ研究所 研究員／プリンシパルエンジニアの三宅（@monochromegane）です。 2025年8月、OpenAIよりオープンウェイトモデルとしてgpt-ossが公開されました。 これらのモデルは、軽量ながら既存の強力なモデルに匹敵する性能を示しており、gpt-oss-120bはo4-miniと、gpt-oss-20bはo3-mini と同水準のベンチマーク結果を達成したと報告されています。 また、これらはApache 2.0ライセンスのもとで提供され、単一GPUで効率的な推論が可能である点が特徴として示されています。 こうした特性は、AI施策のコスト削減や適用範囲の拡大に寄与すると見込まれ、多くの組織で関心を集めていると想像されます。 一方で、サービス環境におけるこれらの言語モデルの導入には、モデルの出力精度や生成内容の妥当性だけでなく、サービング時のリクエスト処理性能が重要な要素
AI自作レビュー、「USBケーブルの種類を見分けるAIモデル」をトレーニングしてAIカメラを作ってみた【Raspberry Pi AI Camera】
2024年9月に登場した「Raspberry Pi AI Camera」は、カメラセンサー内にAI処理用のプロセッサを内蔵しており、カメラそのものにAIモデルを読み込ませてAIカメラとして使うことができます。ドキュメントも充実しており、比較的簡単にAIモデルを自作できそうだったので、実際に「USBケーブルの種類を見分けるAIモデル」をトレーニングして実行してみました。 Raspberry Pi AI Camera – Raspberry Pi https://www.raspberrypi.com/products/ai-camera/ Raspberry Pi -Ultralytics YOLO ドキュメント https://docs.ultralytics.com/ja/guides/raspberry-pi/ SONY IMX500 - Ultralytics YOLO Docs h
How to improve Python packaging, or why fourteen tools are at least tw
There is an area of Python that many developers have problems with. This is an area that has seen many different solutions pop up over the years, with many different opinions, wars, and attempts to solve it. Many have complained about the packaging ecosystem and tools making their lives harder. Many beginners are confused about virtual environments. But does it have to be this way? Are the current
初心者でもできる！HuggingFaceモデルをGGUF形式に変換しOllamaで使う手順 - uepon日々の備忘録
最近、AIのことは一応触ってはいますが、ちっともわからない状況です🫠 先日までOllamaを使用していたのでローカルLLMについてはなんとなく分かってきた様でもありという状況ですが、OllamaはGGUF形式のモデルが使えるとはいえ、すべてのモデルがGUFF形式で公開されているというわけはありません。 リポジトリ内には拡張子が無いモデルのファイルがあって…これ何？って感じです。なんとなく分かってきたのはHuggingFaceにで公開されているモデルはHFって呼ばれるモデルのようですが…。どこかに名言されてるんでしょうか🙇 ということで、HuggingFaceに公開されているHFモデルをなんとかしてOllamaでも使用可能なGGUF形式に変換できないかという内容でチャレンジしてみたいと思います。 （2024.09.11）Ollamaに作成したGGUF形式のモデルをpullする方法のリンク
公開日：2022年8月23日 最終更新日：2023年1月16日 はじめに 環境構築 実行方法 学習済みパラメーター「sd-v1-4.ckpt」のダウンロード リポジトリのクローン 「sd-v1-4.ckpt」の移動 いよいよ実行 結果 つづき 動作確認できたその他の環境 CUDA 11.3.1 1 2 CUDA 11.6.2 1 2 VRAM不足に直面したら 更新履歴（2022年10月11日） バージョン2.1 はじめに最近「DALL-E2」や「Midjourney」など文章から画像を生成するAIが流行っています。 その一つが今回紹介する「Stable Diffusion」です。 「Stable Diffusion」の特徴はオープンソースで公開されていることであり、ローカル環境で実行可能です。 もちろんWeb上で簡単に試すことも可能で、こちらにデモンストレーションが公開されています。 hu
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 個人的な話になるけど、20年前は Linux ばかり使っていた。当時は「ディストリビューションガー」「ウィンドウマネージャーガー」って言ってたけど、10年ぐらい前からMacを使い始め「全部Appleにお任せでいいんじゃね？」となってしまってからは、Linux や Ubuntu の事はすっかり頭から消えて無くなってしまっていた。 ところが最近、どうしても Linux を使わなきゃいけない事態が発生し、10年ぶりに Ubuntu を入れてみたら「あれ？Ubuntu もやっぱり楽しくない？」と思ってしまった。でもしばらく Mac OSX しか
使用するグラフィックボードはMSI GeForce RTX™ 3050 LP 6Gと玄人志向 RD-RX6400-E4GB/LPです。 グラフィックボードは高価なものでなくてもいいのですが、CPUに関してはそれなりのものでないと待ち時間が長くなります。今回使用したRyzen 7 5700Xは価格と性能のバランスが取れているように感じました。 SSDは検証機の都合でSATA接続のものにしましたが、大きなモデルはファイルサイズも大きいので、可能な限り高速のSSDにすると読み込み時間が大幅に短縮されるのでおすすめです。 ランタイムの準備 llama.cppのビルドに取りかかる前に、GPUごとのランタイムを準備します。 NVIDIAの場合 NVIDIAのGPUを使用している場合は、プロプライエタリなドライバーのインストールは必須です。インストールされているか確認しましょう（図1）。 図1 「
概要 WSLにて現在実行しているものを一覧出力 WSLにて特定のイメージをインポートする 作った仮想マシンを停止したい場合 作った仮想マシンを削除したい場合 作った仮想マシンをエクスポートしたい場合 WSLが利用するメモリ量を制限したい場合 一般ユーザの作成 仮想マシンに特定のユーザでログインする ロケールを調整する C言語の環境を作る Pythonの環境を作る Goの環境を作る dotnetの環境を作る Java の環境を作る JavaでSpring Bootの環境を作る Flutterの環境を作る 補足 PowerShell (pwsh) の環境を作る 参考資料 概要 最近は、docker とかで環境構築したりするのがデフォルトになっているかもしれませんが、WSL2とVSCodeの組み合わせもとても便利なので、個人的にはよく利用しています。 WSL関連の記事を見ていると、大抵ストアから
Windows10でWindows Terminalを設定し、AWS CLIv2をインストールするまでの手順を公開します。 DA事業本部コンサルティングチームのnkhrです。入社して新しいPCの設定を行ったので、手順を公開します。 Windowsでの開発環境設定は、Microsoft公式ドキュメントに役割ごとの開発環境マニュアルがあるので参考になると思います。 このブログでは以下の設定を記載しています。 Windows Terminal設定 PowerShell7のインストール TerminalでのPowerShellの外観カスタマイズ (PowerLineの設定) WSL (Ubuntu)のインストール Pipenvの設定 (Pythonのパッケージ管理・仮想環境管理ライブラリ) vim for windowsのインストール AWS CLIのインストールと設定 Windows Termi
GitHub ActionsはGitHubのCI/CDプラットフォームです。ワークフローを定義し、ビルドやテストを自動化できます。GitHub Actionsのワークフローを実行する環境をrunnerと呼び、runnerを動かす方法は大きく2種類あります。GitHub提供のrunnerと、自分で用意(セルフホスト)したrunnerです。この記事では以下の方法を解説します。 Amazon ECSでセルフホストrunnerを動かす GitHub ActionsでコンテナイメージをビルドしAmazon ECRにプッシュする 環境構築に使用したDockerfileやTerraformはこちらのmoriryota62/selfhosted-runner-on-ecsで公開しています。諸事情あってterraformはus-east-2前提ですがそのままap-northeast-1でも使えるはずです。全
distroless imageを実用する
distroless image distrolessは、Googleが提供している、本当に必要な依存のみが含まれているcontainer imageです。そこにはaptはおろかshellも含まれておらず、非常にサイズの小さいimageとなっています。余計なプログラムが含まれていないことは attack surfaceの縮小にも繋がり、コンテナのセキュリティについての事業を展開しているSysdig社が公開しているDockerfileのベストプラクティスとしてもdistroless imageを使うことが推奨されています。 また先日、inductorさんがこのようなブログ記事を書き話題になりました。この記事からdistroless imageのことを知った方も多いと思います。その中で僕が趣味で作った distroless-ruby を取り上げてくださり、ありがたいことに僕の所有しているものの
WSL2 の Ubuntu にデフォルトで入っているバージョン以外の Python を試したくなったので、複数バージョンを使えるようにする方法を調べてみました。 どうも、 Python では環境を管理するためにいろんな方法があるようで、このあたりの記事に表の形でよくまとまっていました。 Pythonの仮想環境構築 pyenv、pyenv-virtualenv、venv、Anaconda、Pipenv。私はPipenvを使う。 - Qiita ちなみに、 pyenv および venv についての説明はこちらの記事がわかりやすかったです。 似ているようで意外と違う。venvとpyenvの使い分け。 これらを読んでみたところ、 Python 自体のバージョンを切り替えるには、 pyenv を使うのがよさそうです。pyenv を使わない場合は、 OS 上に複数バージョンをインストールして、 alt
Ubuntu 24.04 開発・研究環境構築ガイド
【概要】本ガイドでは、Ubuntu 24.04 LTSにおける各種ソフトウェアのインストール手順を説明する。プログラミング環境（C/C++、Python、Java、R）、NVIDIA GPU環境（ドライバ、CUDA、cuDNN）、データベース（PostgreSQL）、人工知能・機械学習ライブラリ、3次元コンピュータグラフィックス・地理情報システム・メディア処理ツール、エディタ・統合開発環境などを扱う。 【この記事の対象読者】Ubuntu 24.04 LTS上で開発・研究を行いたい大学生や技術者。C/C++やPythonによるプログラミング、人工知能・機械学習、3次元コンピュータグラフィックス制作、データベース管理などの環境を構築したい人を対象としている。Windows 環境向けの情報は別ページ »で説明している。 【重要概念】 LTS (Long Term Support): 5年間のセキ
【画像生成AI】クラウド最安!? GPUSOROBANでStable Diffusion WebUIを動かす【￥50/1h】｜カガミカミ水鏡🔞
【画像生成AI】クラウド最安!? GPUSOROBANでStable Diffusion WebUIを動かす【￥50/1h】 なしてワイはRTX A4000を買ってしまったんや…… こんにちは、画像生成はローカル構築勢のカガミカミ水鏡です。 Stable Diffusion WebUI Automatic1111（以下A1111）を楽しむには主に、ローカル（自前のPCで動かす）とクラウド（GPUサーバを時間借りする）の２通りがあります。 ローカルは構築が比較的お手軽だけど初期費用に20万円前後かかるし（GeForce搭載のゲーミングPCを持っていない場合）、更に画像生成沼にドハマリし、より速い・より学習できる環境を求めて上位のGPUに買い替えすると更に10万円前後も追加費用が…… あっちなみに俺はRTX3060Ti(8GB) 👉 RTX3060(12GB) 👉 RTX A4000(16
【簡易版：Androidのブラウザで実現するpython環境】機械学習(pytorch, scikit-learn)や実用的なプログラミング(jupyterlab, pandas, matplotlib, strearmlit)の環境構築について
【経緯】簡易版：Androidのブラウザで実現するpython環境の紹介について 以前に紹介しておりましたTermuxをベースとしたjupyterlab環境について、Termuxをupgradeすると、pythonのバージョンまで上がってしまい、元のpython環境を再現できなくなってしまったようです。。 参考リンク：Termux Wiki Python – Termux Wiki 【一部内容を転載します】 Warning: upgrading major/minor version of Python package, for example from Python 3.8 to 3.9, will make all your currently installed modules unusable. You will need to reinstall them. However up
自動売買bot「Freqtrade」で始める仮想通貨取引：特徴と活用法ガイド｜ユニコ🦄 AIエージェント開発 ＆ Obsidianの人
Freqtradeの概要と重要性Freqtradeとは？Freqtradeとは、仮想通貨の自動売買を行うためのオープンソースのトレードボットです。Pythonで開発された無料のツールであり、主要な暗号資産取引所（仮想通貨取引所）に対応しています。ユーザーは自分でサーバーやPC上に設置して動かすため、APIキーを外部サービスに預ける必要がなく、セキュリティ面でも安心です。Freqtradeは24時間365日市場を監視し、人間の介在なしに売買を実行できるため、手動取引では捉えきれないチャンスも逃しません。また、Telegramを介したリモート操作や通知、Web UI（FreqUI）による管理機能も備え、離れた場所からでもボットの状況確認や指示が可能です。 自動売買ボットの必要性と利点仮想通貨市場は昼夜を問わず動き続け、急激な価格変動が頻繁に起こります。こうした市場で利益を上げるには、素早い判断
Win10 ノートを初期化して環境構築し直したので, 環境構築メモです. はじめに Win10 で Python を扱う場合, Win10 側で実行するか, WSL を利用して Linux 環境で実行するかという選択肢があります. 多くのライブラリは Linux 向けに作成されているので, WSL を利用するのがおすすめです. そうすると, 次に WSL1 と WSL2 という選択肢があります. WSL2 のメリットは主にファイル I/O が爆速であることと, docker が使えることでしょうか. 逆にデメリットとしてメモリ食い虫であること, Win10 側のタスクマネージャーの情報量が減ることがあります. メモリがカツカツなのでなければ WSL2 のほうが良いと思いますが, どちらでも構いません. Linux 環境構築 WSL2 の導入 公式の Windows 10 用 Windows
【Python入門】Windows10+pyenv+venvで最強のPython開発環境を構築する【2021年版】 - とりゅふの森
こんにちは、とりゅふです。今回はPythonの開発環境構築についてまとめました。 本日のテーマはこちら！ 1つの端末で複数のプロジェクトを独立した開発環境で開発できるようにする 面倒な環境構築を手順化し、チームメンバーに共有できるようになる Pythonのインストール、ライブラリのインストール自体は簡単ですが、プロジェクト毎に使っているPythonのバージョンが違ったり、ライブラリが違ったりと、環境の管理がなかなか面倒だったりします。 そういったPythonの環境を、 pyenvとvenvといった仮想環境を作成できる機能を利用し、複数のPython環境を管理する方法についてご紹介します。 今回はWindowsでUbuntu 20.04を動かし（Windows Subsystem for Linux)、その上にPython仮想環境を構築します。 pyenvとは venvとは pyenv、ve
Ubuntu でよく使うコマンドまとめ｜npaka
Ubuntu でよく使うコマンドをまとめました。 ・Ubuntu 22.04 1. バージョンの確認1-1. Ubuntuのバージョンlsb_release -aNo LSB modules are available. Distributor ID: Ubuntu Description: Ubuntu 22.04.5 LTS Release: 22.04 Codename: jammy1-2. CUDA Toolkit のバージョンCUDAアプリやライブラリをコンパイルするときに使用するライブラリのCUDAバージョン。 nvcc --versionnvcc: NVIDIA (R) Cuda compiler driver Copyright (c) 2005-2024 NVIDIA Corporation Built on Thu_Mar_28_02:18:24_PDT_2024 Cu
Windows 11のWSL2（Ubuntu 22.04）でGPUを使う際にPyTorch, CuPy, TensorFlowを全て使おうと思ったら少し詰まった部分もあったのでメモとして残しておきます。 ※以下「WSL2」＝「WSL2にインストールしたUbuntu」です バージョン一覧（2023/7/7時点）Windows 11 22H2 WSL2 Ubuntu 22.04 Nvidia Driver 536.40 CUDA 11.7.1 cuDNN 8.6.0 (for CUDA 11.x) Python 3.11.4 PyTorch 2.0.1 CuPy 12.1.0 TensorFlow 2.13.0 Windows 11での設定それぞれの詳細は省略しますが、以下の設定を行います。 Enable NVIDIA CUDA on WSLが参考になります。 Nvidia Driverのイン
Google Cloud (GCP) を使った kaggle の環境構築メモ - 🍣😺BLOG
はじめに GCE (Google Compute Engine) で kaggle 用の環境構築をしたいと思い、自分なりの環境構築をしてみました。その際にいくつかハードルがあったので備忘録としてこの記事を書きました。 kaggle 用とありますが、kaggle docker image などは特に使わずなので、その辺りは目的・用途に合わせて適当に変更ください。 今回は以下のようなイメージの環境を作りたいと思っています。 instance 内で vscode の devcontainer を使って環境を作る poetry を使う pytorch を GPU で動かす kaggle からのデータのロードとデータセットのアップロードは kaggle api を使う 学習済みモデルやその他データは全て GCS (google cloud storage) におく インスタンスの作成 最初にインスタ
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
第880回 GPUに画像の文字を解析させる、あるいはPyTorch入門 | gihyo.jp
とほほのOpenID Connect入門 - とほほのWWW入門
画像生成AI「Stable Diffusion」をローカル環境で実行する - パソコン関連もろもろ
UbuntuをMacOSXみたいにする話 - Qiita
第872回 百度（Baidu）の新しいMoEモデルを、安価なGPUで動作させる | gihyo.jp
WSL2とVSCodeで欲しい環境を好きなだけ作る - いろいろ備忘録日記
WindowsPC開発用の初期設定～AWS CLIインストールまで～ | DevelopersIO
ECSでGitHub Actionsのセルフホストrunnerを動かす | Fintan
WSL2 に pyenv + venv 環境を作ってみた - プログラマーのメモ書き
WSL2でPython環境構築 (2021年3月版) - 鴨川のはりねずみ
WSL2でGPUを使う（PyTorch, CuPy, TensorFlow）｜Koji Iino