無料で画像生成AI「Stable Diffusion」をWindowsに初心者でも簡単にインストールして使える＆img2imgにも対応した「Artroom Stable Diffusion」使い方まとめ
2022年8月に一般公開された画像生成AI「Stable Diffusion」を使って画像を生成するには、NVIDIA製GPUを搭載したローカル環境にコマンドラインでインストールするか、Google Colaboratory(Google Colab)などのオンライン実行環境を使う必要があります。ただし、コマンドラインでのインストールは知識が必要で敷居が高く、Google Colabは計算量制限の問題が存在します。「Artroom Stable Diffusion」はクリックするだけでWindows環境にインストール可能で、img2imgにも対応しています。 GitHub - artmamedov/artroom-stable-diffusion https://github.com/artmamedov/artroom-stable-diffusion Stable Diffusion
NVIDIAが、GPU向けのコンピューティングプラットフォームとして提供している「CUDA」のソフトウェア利用許諾契約(EULA)の中で、翻訳レイヤーを通じてNVIDIA以外のハードウェアプラットフォームで実行することを禁止していることがわかりました。もともとこの条項はNVIDIAのサイト上で公開されているオンライン版のEULAには含まれていましたが、インストールしたCUDAのドキュメントにも含まれるようになったとのことです。 License Agreement for NVIDIA Software Development Kits — EULA https://docs.nvidia.com/cuda/eula/index.html Nvidia bans using translation layers for CUDA software — previously the prohi
Now TaskMatrix supports GroundingDINO and segment-anything! Thanks @jordddan for his efforts. For the image editing case, GroundingDINO is first used to locate bounding boxes guided by given text, then segment-anything is used to generate the related mask, and finally stable diffusion inpainting is used to edit image based on the mask. Firstly, run python visual_chatgpt.py --load "Text2Box_cuda:0,
はじめに GW にかわいい水冷PCをつくりました。 今度こそ、完成！ pic.twitter.com/P7RsOz167K— bebebe (@__bebebe) May 4, 2020 写真だと青っぽく写ってしまうのですが、白ベースでピンクに光る水冷PCです。Splatoon の amiibo も載せてみました。かわいい。 せっかくなので、使ったパーツや組み立て過程を紹介していきます。 かわいいPCをつくりたい方の参考になれば幸いです。 はじめに 要件 パーツ一覧 それぞれのパーツについて ケース GPU CPU マザーボード メモリ・ダミーメモリ ファン 電源 SSD・HDD 本格水冷キット 組み立て こうすればよかったと思う手順 実際の組み立てでは GPUが入らない 水冷経路はできるだけその他のパーツと離しておくべきだった その他 調整 水冷ポンプのモーター音 LEDの色 ラジエータ
過去のブーム（並列プログラム）の現状を考える
みんな割と未来の予言はよくするが、あんまりその結果を振り返らんよなぁ。 現在のディープラーニングのブームをどう捉えるか、というか、 プログラマのキャリアという点でどう接していくか、を考えるにあたり、 過去のブームを考えてみるのは良いんじゃないか、という気がした。 最近並列GCや並行GCの章を読んでいて、 一昔前の大きなブームとしてはParallel computingがあったなぁ、と思い出した。 ということでこの事について、専門にしてなかった部外者プログラマの目にどう映ったかを記しておきたい。 なお、「XXXだと言われていた」はあんまりソースとかを確認したりはしてません。 なんとなく自分はそう聞いていた気がしたしそう思ってた、程度のものです。 かつて思っていたことと当時の状況 Parallel computingはだいたい10年くらい前の時点ではその後の大きなトレンドとして明らかに存在して
WSL2 のインストール，WSL2 上への Ubuntu のインストールと利用（Windows 11 対応の記事）（Windows 上）
【概要】 WSL 2のインストールとUbuntuの利用手順を解説する．まず、Windowsの機能の有効化から始める．WSL 2 のインストールが終わったら，管理者としてコマンドプロンプトを実行し、「wsl --list --online」コマンドでWSLの一覧を取得できる．「wsl --update」コマンドを実行してWSLを更新できる．Ubuntu 22.04 のインストールは、「wsl --install -d Ubuntu-22.04」コマンドである．インストール時にユーザ名とパスワードの設定が求められる．CUDA ToolkitやcuDNN、PyTorch、TensorFlowのインストールや動作確認、Ubuntu上でのセットアップ手順やアプリケーションのインストール方法については別のページで詳しく説明している．以上がWSL 2のインストールとUbuntuの利用手順の概要である．
国立情報学研究所が作ったLLM-JP 13Bが公開されていたので早速試してみた。色々なモデルが公開されているが、全部盛りっぽい 「llm-jp/llm-jp-13b-instruct-full-jaster-dolly-oasst-v1.0」を試す。 マシンはもちろんドスパラ製Memeplexマシン(A6000x2)だ。 import torch from transformers import AutoTokenizer, AutoModelForCausalLM tokenizer = AutoTokenizer.from_pretrained("llm-jp/llm-jp-13b-instruct-full-jaster-dolly-oasst-v1.0") model = AutoModelForCausalLM.from_pretrained("llm-jp/llm-jp-13b
Google Colabで「GPT-NEOX-20B」による日本語テキスト生成を試したのでまとめました。 【注意】「GPT-NEOX-20B」を動作させるには、「Google Colab Pro/Pro+」のプレミアム (A100 40GB) と「Google Drive」のスタンダード以上が必要です。 1. GPT-NEOX-20B「GPT-NEOX-20B」は、EleutherAIが提供するオープンソースの200億パラメータの言語モデルです。Pileデータセットで学習されています。 2. Colabでの実行Google Colabでの実行手順は、次のとおりです。 (1) 新規のColabのノートブックを開き、メニュー「編集 → ノートブックの設定」で「GPU」の「プレミアム」を選択 (2) Googleドライブのマウント。 # Googleドライブのマウント from google.c
この記事は「自動運転システムをエッジデバイスに組み込むための技術」を3回に分けて紹介するTURINGのテックブログ連載の第3回の記事「詳解V4L2 (video for linux2)」です。 第1回の「C++でOpenCV完全入門！」、第2回の「OpenCVをNPPにした結果→10倍高速に！」もぜひご覧ください！ はじめに こんにちは。TURING株式会社（以下、TURING）で、インターンをしている東大B3の中村です。 TURINGは、完全自動運転EVを作ることを目的に設立されたベンチャー企業です。自動運転システムとそれを搭載したEV車の開発を行っています。 TURINGの自動運転システムは、カメラからの映像入力を肝としています。これまではOpenCVを入力のインターフェイスとして利用していました。OpenCVを使用していたのは、 buildや使用法についての情報が多い コードが簡単に
損失関数・不均衡 不均衡データにおけるsampling ランク学習のListNetをChainerで実装してみた 不均衡データへの決定打となるか！？「Affinity loss」の論文を読む、実装する 不均衡データを損失関数で攻略してみる 解説編：オーバーサンプリング手法解説 (SMOTE, ADASYN, Borderline-SMOTE, Safe-level SMOTE) LightGBMでランキング学習 半教師あり学習のこれまでとこれから Struggling with data imbalance? Semi-supervised & Self-supervised learning help! 深層学習 転移学習：機械学習の次のフロンティアへの招待 ディープラーニングの判断根拠を理解する手法 DNC (Differentiable Neural Computers) の概要 +
NVIDIAが開発・提供するGPU向けの汎用並列コンピューティングプラットフォームである「CUDA」を超える生産性と高速コード記述が可能になるようなオープンソースのニューラルネットワーク向けプログラミング言語「Triton」が公開されました。非常に効率的なカスタムディープラーニングプリミティブを作成するための言語コンパイラとなっており、GitHub上で開発リポジトリが公開されています。 Introducing Triton: Open-Source GPU Programming for Neural Networks https://www.openai.com/blog/triton/ OpenAI debuts Python-based Triton for GPU-powered machine learning | InfoWorld https://www.infoworld.
現在公開中のWindows 10プレビュー版Build 20161（Dev Channel）では、WSL2（Windows Subsystem for Linux 2）からNVIDIA GPUが利用できるようになった。 とはいえ、現状のWSL2自体にはグラフィックス描画機能はなく（XをWindows 10側に入れれば、WSL2側からGUIアプリケーションを起動できる）、GPUを使ってLinuxでゲームとはいかないのだが、GPUを計算に利用することができる。 マイクロソフトは、将来的にWSL2でのGUIアプリケーションのサポートを計画しており、これはその前段階になるものだ。どのような形でのサポートになるのかは不明だが、少なくとも、これでWSL2側からWindowsが管理しているGPUへのアクセスが可能になる。 特にメリットがあるのがDockerを使った開発やAI関連のコンテナーの利用である。
喋り声を手本に、より自由で高品位な表現を実現する新たなAI音声合成システム、Seiren Voiceをドワンゴが発売開始｜DTMステーション
5月17日、ドワンゴがSeiren Voice（セイレンボイス）という、これまでにない新たなAI音声合成システムの販売を開始しました。これは、従来のTTS（テキスト to スピーチ）と呼ばれる文字を入力して音声合成とは異なり、人が喋った声を入力し、その発音の仕方、イントネーションやスピード、間の取り方などを、トレースするかのようにターゲットのキャラクタの声に置き換え、非常に高品位な音声合成を実現する、というものです。 今回、その第一弾製品として、「結月ゆかり」、「琴葉 茜・葵」が、それぞれ19,800円（税込）でダウンロード販売の形でスタート。Windows10/11用となっていますが、動作させるにはNVIDIAのある程度のスペックを持ったGPUを搭載していることが必須となっています。そのため、体験版もリリースされており、これを使うことで実際に自分のPC環境で動作させることが可能なのかチェ
Neural Audio Codec を用いた大規模配信文字起こしシステムの構築 - Mirrativ Tech Blog
こんにちは ハタ です。 最近Mirrativ上に構築した配信の文字起こしシステムを紹介したいなと思います 音声からの文字起こしは、各社SaaSでAPI提供されているものがあると思いますが、今回紹介するものはセルフホスト型(自前のGPUマシンを使う)になります 構築していく上で色々試行錯誤したのでそれが紹介できればなと思っています どんなものを作ったか 前提知識: 配信基盤 前提知識: Unix Domain Socket Live Recorder Archiver DS Filter VAD Filter NAC / Compress Transcriber NAC / Decompress Speach To Text コンテナイメージ まとめ We are hiring! どんなものを作ったか 今回作ったものは Mirrativで配信されるすべての音声を対象に文字起こしを行う シス
Linux GUIアプリがWindows 10にもたらす価値 - 阿久津良和のWindows Weekly Report
レポート Linux GUIアプリがWindows 10にもたらす価値 - 阿久津良和のWindows Weekly Report Windows 10 バージョン2004は、ファイルI/Oのパフォーマンスを改善し、Linuxカーネルの機能を呼び出すシステムコールの互換性を大きく高めたWSL 2（Windows Subsystem for Linux 2）を搭載する。Docker DesktopのホストもHyper-V仮想マシンからWSL 2へ移行したことで、Windows 10 Homeエディションでも開発環境を整えることが可能になった。 Docker Desktopの設定画面。Dockerと統合するLinuxディストリビューションを選択できる WSL 2で動作するDebian GNU/Linuxでhello-worldコンテナを実行した状態 Windows 10とLinuxを併用する環
ハイパラ管理のすすめ -ハイパーパラメータをHydra+MLflowで管理しよう- - やむやむもやむなし
機械学習をやっている人なら誰もが遭遇したであろうこの光景 (※写真はPyTorchのLanguage ModelのExampleより) Pythonのargparseでシェルから引数を受け取りPythonスクリプト内でパラメータに設定するパターンは、記述が長くなりがちな上、どのパラメータがmodel/preprocess/optimizerのものなのか区別がつきにくく見通しが悪いといった課題があります。 私は実験用のパラメータ類は全てYAMLに記述して管理しています。 YAMLで記述することでパラメータを階層立てて構造的に記述することができ、パラメータの見通しがぐっとよくなります。 preprocess: min_df: 3 max_df: 1 replace_pattern: \d+ model: hidden_size: 256 dropout: 0.1 optimizer: algo
機械学習ワークフロー管理ツールであるKubeflowのPipelines機能を使って日本語テキスト分類の実験管理を行います。 この記事ではKubeflowのチュートリアルに従ってKubeflowのクラスタを構築してPipelinesを動かし、最後に日本語のデータセットをKubeflow Pipelinesに実際に乗せて機械学習のワークフロー管理を行うところまでまとめていきます。 Kubeflow Kubeflowとは Pipelinesとは GKEでKubeflowクラスタの構築 クラスタ構築 Workload Identityの設定 Pipelinesの基本的な使い方 Pipeline/Experiment/Run PipelineとComponent PipelineとDSL 実験管理としてのKubeflow Pipelines 日本語テキスト分類 with Pipelines Pip
Kubernetesにおけるコンテナ起動時間高速化に向けた検討 - Preferred Networks Research & Development
本投稿はPFN2022 夏季国内インターンシップに参加された江平智之さんによる寄稿です。 はじめに PFN2022 夏季国内インターンシップに参加していた江平智之です。現在修士１年で、大学では分散システムやクラウド技術について研究しています。 今回のインターンシップでは、「JP04. Kubernetesにおけるコンテナ実行環境の改善」というテーマでコンテナ起動時間の高速化に取り組みました。 背景 PFNでは機械学習基盤としてKubernetesクラスタを使用しており、リサーチャやエンジニアはKubernetesクラスタ上のPod内で機械学習やシミュレーションなどの計算を行っています。スケジューラによってノードにアサインされた後にPod内にコンテナが起動されますが、ノード上にコンテナイメージのキャッシュがない場合にコンテナ起動が遅いという問題がありました。計算はPFNの研究開発における主要
LLMプロダクト開発者がMac Studioを買ってローカルLLMを触るべき理由という記事を書きました。 mutaguchiさんのツイートを見て、LLMプロダクトの開発とはどういうものなのかを知らない人も多いのかなと気づいたので、そこらへんを記事として書いてみます。 https://t.co/4WvjuuoGnC 「LLMプロダクト開発者がMac Studioを買ってローカルLLMを触るべき理由」の記事のはてブコメント見てたんだけど、ほとんど理解されてなかったのが興味深い。 ・プロプライエタリなLLMでは、ランニングコストが嵩み、これを利用したサービスは成立しづらい… — mutaguchi (@mutaguchi) April 24, 2024 商用LLM APIとローカルLLMって使い方が全然違う気がしてる。 商用LLM APIって、機微情報を送らないこと、規約違反テキストを送らないこ
R&D チームの徳田（@dakuton）です。 最近は画像とテキストの狭間にいます。 今回記事のまとめ 簡単にまとめると以下のとおりです。 いくつかの超解像(高解像度化)モデルがOpenCV extra modules(opencv_contrib)インストール + コード数行記述で導入可能 超解像に限らず、文字が一定サイズ以上になるような前処理 -> OCR解析 を実施すると、OCR精度改善につながることがある 超解像による見た目の滑らかさに比例して、OCR精度改善につながるわけではない 低計算コストな画像拡大から超解像に変更する恩恵は発生しにくい テスト条件を変えた場合、違った結果になる可能性あり(用いるOCRエンジン、画像の劣化条件、OpenCV未提供の後発モデル利用など) 実験内容 利用するOCRエンジンの実行条件は変えずに、前処理部分のみ変更した場合のOCR精度・速度変化を調べま
「Waifu Diffusion v1.2」が二次元キャラの画像生成が得意らしいということで試してみました。 ・Diffusers v0.3.0 ・Waifu Diffusion v1.2 【最新版の情報は以下で紹介】 1. Waifu Diffusion v1.2「Waifu Diffusion v1.2」は、「Stable Diffusion」を二次元イラストのデータセットでファインチューニングして作られた画像生成AIです。Danbooruの画像で学習しています。 2. Colabでの実行Colabでの実行手順は、次のとおりです。 (1) 新規のColabのノートブックを開き、メニュー「編集 → ノートブックの設定」で「GPU」を選択。 (2) パッケージのインストール。 # パッケージのインストール !pip install diffusers==0.3.0 transformers
※ この記事は以前私が Qiita に書いたものを、現状に合わせて更新したものです。(内容、結構変わりました) ※ 2021/01/08 CUDA Toolkit 11.2 のリリースに伴い、「NVIDIA ドライバのインストール」節を更新しました。 ※ 2020/09/24 CUDA Toolkit 11.1 のリリースに伴い、「NVIDIA ドライバのインストール」節を更新しました。 エヌビディアの佐々木です。 この記事では、Docker 等のコンテナで GPU を利用するための「NVIDIA Docker」の現状を紹介します。 「Docker で GPU を使うためにあちこち調べてみたけれど、nvidia-docker コマンドを使えばよいとか、--rutime=nvidiaオプションが必要とか、はたまた Docker が標準で GPU をサポートしたとか、色々な情報があってよくわか
nerman: AllenNLP と Optuna で作る固有表現抽出システム - クックパッド開発者ブログ
事業開発部の @himkt です．好きなニューラルネットは BiLSTM-CRF です． 普段はクックパッドアプリのつくれぽ検索機能の開発チームで自然言語処理をしています． 本稿では，レシピテキストからの料理用語抽出システム nerman について紹介します． nerman の由来は ner (固有表現抽出 = Named Entity Recognition) + man (する太郎) です． クックパッドに投稿されたレシピから料理に関する用語を自動抽出するシステムであり，AllenNLP と Optuna を組み合わせて作られています． （コードについてすべてを説明するのは難しいため，実際のコードを簡略化している箇所があります） 料理用語の自動抽出 料理レシピには様々な料理用語が出現します． 食材や調理器具はもちろん，調理動作や食材の分量なども料理用語とみなせます． 「切る」という調理
Stable DiffusionをDocker Desktopで簡単に使い始める方法 ‣ Pocketstudio.Net
Stable DiffusionをWindowsのDocker Desktopで比較的簡単にはじめる手順をまとめました。ほぼ、自分の覚書です。 確認した環境は、Windows 10 Pro、21H2、build 19044.2846＋16GB RAM+NVIDIA GeForce RTX 2060 SUPER＋WSL2(Ubuntu)+Docker Desktop 4.18.0(104112) です。 どうして Stable Diffusion のために Docker Desktop を使うのか？ 楽してセットアップしたいからです。AUTOMATIC1111/stable-diffusion-webui というウェブ用 UI は既にありますが、動かすためには環境構築等いくつかの手順が必要です。ですが、この面倒な作業を省略してできる Stable Diffusion WebUI Docker
「GeForce RTX 3070 Founders Edition」レビュー。RTX 2080 Tiに劣らない性能で消費電力と価格は低い優れたGPUだ
RTX 2080 Tiに劣らない性能で消費電力と価格は低い優れたGPU GeForce RTX 3070 Founders Edition Text by 宮崎真一 Turing世代のハイエンド製品だった「GeForce RTX 2080 Ti」（以下，RTX 2080 Ti）の性能を凌駕するAmpere世代の「GeForce RTX 3080」（以下，RTX 3080）は，インパクトがかなり大きかった。しかし，いくら高い性能を発揮するとはいえ，10万円前後という価格のグラフィックスカードには，おいそれとは手が出ない人は多いだろう。 そんなゲーマーが待ち望んでいるのは，Ampere世代のミドルハイクラスとなる「GeForce RTX 3070」（以下，RTX 3070）ではないだろうか。 GeForce RTX 3070 Founders Edition メーカー：NVIDIA 価格：49
本内容は、技術書典7 合同本『機械学習の炊いたん2』収録の、「エッジで機械学習」記事を公開したものです。内容は2019年9月時点の調査等に基づきます。 最近Raspberry Pi 4の検証結果などをみていると、エッジ、かつCPUでもそれなりの速度で動くケースもみられます。またこの後にM5StickV(K210)などを触りましたが、専用チップも使い所があります。今後、それらの動きもできれば補足したいと思います。 9/12-22に開催された技術書典9では、新刊『機械学習の炊いたん3』を頒布しました。私は、「AIエンジニア、データサイエンティストのための経営学、ソフトウェア工学」を寄稿しています。他にも機械学習のビジネス、エンジニアリング、数理までもりだくさん。気になられたら、ぜひご覧ください! 他にも、技術書典9「機械学習、データ分析」系の新刊リスト - Qiitaの通り、たくさんの本が出品
前モデル買った人のことを思うと切なすぎる：Nvidia RTX 2060／2070 Super レビュー2019.07.08 19:00110,165 Alex Cranz - Gizmodo US ［原文］ （ そうこ ） ほんのちょっとの差なのに…。 今年1月にでた同シリーズのNvidia GPUを買った人が涙目必至という新商品Nvidia RTX 2060 Super GPU、米Gizmodo編集部がさっそくレビューしてきました。 今年の1月、Nvidia RTX 2060 GPUが発売された時、前モデルから価格が2倍近い、パフォーマンスは悪くないけど驚くこともないとレビューしていました。が、それでも買った人はいるでしょう。買っちゃった人には本当悪いけど、Nvidia RTX 2060 Super GPUがでました。 2060に350ドル使っちゃった人はもちろん、もっと高い2070や
Transformerによる時系列データ予測のご紹介 - Platinum Data Blog by BrainPad
本記事は、当社オウンドメディア「Doors」に移転しました。 約5秒後に自動的にリダイレクトします。 発展を続ける「自然言語処理」技術。その中でも幅広く使用される深層学習モデルTransformerは、自然言語処理以外の音楽生成や物体検出などの領域でも適用できます。本ブログでは、 Transformerを時系列データに適用する方法をご紹介します。 こんにちは、AIソリューションサービス部の井出と申します。 この記事では、特に自然言語処理分野で幅広く使用される深層学習モデルTransformerを時系列データへ適用する方法に関してご紹介します。 以前の記事では、Transformerの構造や特徴などについて、自然言語処理分野の機械翻訳を例としてご紹介しております。はじめに、こちらの記事をご一読していただくことで、より本記事でご紹介する内容に対する理解が深まるかと思います。 Transform
コードなしでWeb3コンテンツなどを開発することができるプラットフォーム・thirdwebの創設者であるadammaj氏が、「経験なしで2週間でゼロからGPUを構築した」と報告しています。 I've spent the past ~2 weeks building a GPU from scratch with no prior experience. It was way harder than I expected. Progress tracker in thread (coolest stuff at the end)👇 pic.twitter.com/VDJHnaIheb— adammaj (@MajmudarAdam) ◆ステップ1：GPUアーキテクチャの基礎を学ぶ adammaj氏はまず、最新のGPUがアーキテクチャレベルでどのように機能しているのかを理解しようとしたそうで
- はじめに - 今回、技術書典11に「Rustによる機械学習概覧」というタイトルで、所属企業であるエムスリー株式会社の執筆チームより出る「エムスリーテックブック3」に文章を寄稿した。 執筆チームからの熱いコメントは以下。 販売ページは以下。 techbookfest.org 本ブログは、エムスリーテックブック3を企画して立ち上げてから、自分で同人誌を書くまでのお気持ちを綴った、所謂ポエムである。 - はじめに - - Rustによる機械学習への想い - - エムスリーテックブック3の立ち上げ - - おわりに - - Rustによる機械学習への想い - ポエムといえば自分語り、自分語りといえばポエム。まず思い出に浸ろう。 私が機械学習を初めて実装したのは高専の頃。あの時はC/C++とJava、C#なんかを使って、何とかアルゴリズムを理解して実験していた。VisualStudioの起動に悠
はじめに Pytorchでコードを書き始めるとき、乱数固定やデータローダー、モデルの訓練や学習結果の取得等、毎度色々なサイトを参照するのは面倒だと思い、現時点の個人的ベストプラクティス・テンプレートを作成してみました。 今後のバージョンアップや便利なライブラリの登場で変わるかもしれませんげ、現在はこれで落ち着いています。 個人的な備忘録も兼ねて、前半に簡単な解説付きのコードと最後に全コードを載せています。 もっと便利な書き方やライブラリなどあれば、コメントいただけると嬉しいです。 テンプレート（解説付き） 1. ライブラリインポートと初期設定 torchやよく利用するライブラリ(numpy, matplotlib)のインポート モデルの訓練時（for文）の進捗を表示するtqdmライブラリ（jupyter notebookとコマンドライン版） 進捗表示は待ち時間の見積もりやエラーに気づくこと
The Windows Subsystem for Linux BUILD 2020 Summary
This year at an all virtual BUILD conference we had many exciting announcements for the Windows Subsystem for Linux (WSL)! This blog post gives you a summary of all the WSL news, including what’s available now and what you can expect in the future. WSL’s BUILD news at a glance Available this month Support for WSL 2 distros is coming this month in the Windows 10 May 2020 Update Docker Desktop relea
Supercomputing Contest 2013/GPUプログラミング資料 - Supercomputing Programing Contest Official Site
2023-09-13 SupercomputingContest2023 2023-09-06 Supercomputing Contest News News/sc230906 2023-09-01 News/sc230830 2023-08-28 News/sc230828 SupercomputingContest2023/本選結果 2023-08-01 MenuBar 2023-06-29 News/sc230629 SupercomputingContest2023/予選結果 2023-06-12 SupercomputingContest2023/予選・認定問題Ｑ＆Ａ 2023-06-01 SupercomputingContest2023/問題および関連ファイル群更新履歴 2023-05-31 News/sc230531 2023-05-30 News/sc230530 20
機械学習エンジニアの吉田です。 夏ですね。7月はLayerXエンジニアブログを活発にしよう月間 です。 昨年バクラクOCRの機械学習モデルの検証から本番投入までの取り組みについて記事を書きました。 tech.layerx.co.jp その後、運用する中で新たな課題が生まれたり、負債を解消するために当初の開発環境を見直しアップデートしてきました。 今回は機械学習周辺の技術スタックに焦点を当ててその変遷について紹介したいと思います。 MLチームでは各サービスからのリクエストを処理するAPIやデータ基盤、社内のアノテーションツールなどの開発も行っており、これらは主にGo, TypeScriptで開発されていますが今回は対象外としています。 技術スタックの変遷 本番リリース時と現在の主な技術スタックの比較です。 リリース時 現在 言語 Python Python パッケージ管理 pip Poetr
1.はじめに 今までのFaceSwapは、個別に学習プロセスが必要なため処理に時間がかかるのが難点でした。今回ご紹介するのは、個別の学習プロセス無しでFaceSwapを実現するSberSwapという技術です。 2.SberSwapとは？ 下記の図は、SberSwapのモデル図でAEI-Netと呼ばれており、３つの部分で構成されています。 １つ目がIdentity Encoderで、画像XsからベクトルZidを求めます。２つ目がMulti-level Attributes Encoderdで、U-Netと同様な構造を持ち画像Xtから特徴Zattを取り出します。そして、３つ目がAAD Generatorで、これらの情報から目的とする画像を生成します。 3.コード コードはGoogle Colabで動かす形にしてGithubに上げてありますので、それに沿って説明して行きます。自分で動かしてみたい
地方拠点の一つ、九州支社に所属しています。サーバ・ストレージを中心としたSI業務に携わってましたが、現在は技術探索・深堀業務を中心に対応しています。 2018年に難病を患ったことにより、定期的に入退院を繰り返しつつ、2023年には男性更年期障害の発症をきっかけに、トランスジェンダーとしての道を歩み始めてます。 【IIJ 2022 TECHアドベントカレンダー 12/8（木）の記事です】 Whisperの追加学習に挑む2022年の冬 2022年アドベントカレンダー企画だそうです。 いかがお過ごしでしょうか。 私はもう興味を引くものに没頭するしか楽しみがないもんで、PCに向かってぼんやり面白いネタはないかなーと探す日々です。 最近はすっかりディープラーニングにズブズブで、とうとう数式かくのが面倒なあまり手書き入力のためのペンタブレットを買いました。てへ。 今回は9月から10月にかけてStabl
AppleとNvidiaの関係、終焉へ
AppleとNvidiaの関係、終焉へ2019.11.26 12:3078,657 Alex Cranz - Gizmodo US ［原文］ （ 塚本直樹 ） すっかりAMD派なAppleです Nvidia（エヌビディア）とApple（アップル）の長期的な関係の名残も、まもなく消え去ります。Nvidiaは今週月曜日にCUDAプラットフォームの次期アップデートのリリースノートを公開し、｢CUDAアプリケーションを開発・実行するためのCUDA 10.2（ツールキットとNVIDIAドライバ）は、macOSをサポートする最後のリリースです｣と明かしました。 つまり、将来のCUDAはApple製品をサポートせず、これによりハッキントッシュのコミュニティを含む多くのプロフェッショナルな業界が影響を受けることになります。 CUDAはライバル製品にない強さCUDAとは、プログラムがNvidiaのハードウェ
はじめに トレーニー（筋トレを愛している人）の多くが習慣化している「自撮り（肉体）」。トレーニング後にパンプした肉体を撮りためて、後で見返すのが至福のときですよね。さらに、撮りためた画像をタイムラプスのようにアニメーションで表示させたら、より筋肉の成長が手に取るようにわかりますよね！ この記事はディープラーニングを使って、肉体のタイムラプスを劇的に見やすくした話を書いています。 まずは結果から 2017/12～2020/3の体の変化 ※データサイズの都合上、画像をクロップ&圧縮しています。 目次 1.手作業での補正 1-1.そのまま表示 1-2.位置の固定 1-2-1.乳首おへそ座標付与ツール 1-2-2.動画作成 2.ディープラーニングを用いた自動補正 2-1.アノテーションデータ作成 2-2.学習 2-3.未知画像への適用 2-4.後処理 2-4-1.各ピクセルの出力値が閾値以下のもの
JetsonにEdge TPUにM5StickV で、エッジAI用やるには何を選べばいいの？ - masato-ka's diary
1. 概要 追記 公開当初Jetson Nanoの性能表記に誤記があったため修正しています。 最近組み込みデバイス（以下エッジと表現）で画像認識や音声認識、センサ情報の処理といったディープラーニングを利用した処理を実行することが容易になっている。低消費電力で、高速にディープラーニングを処理するためのエッジAI用アクセラレータが各社から発売されていることがその理由の一つだろう。 こういった、エッジAI用のアクセラレータは各社によってその使用や対応フレームワーク、利用できるディープラーニングのネットワーク構成に違いがある。どれも同じように利用できるわけではない。自分でエッジAI用アクセラレータを利用しようとしたときにいくつか調べてみた内容をメモがわりに残してみる。ちなみに個人で遊べるものを中心にしてるので、産業的にどうなのかは知らない、悪しからず。。。 あとこのブログではAndroid Thi
生成AIは今までのAIと何が違うのか？なぜいま盛り上がっているのか？｜梶谷健人 / 新著「生成AI時代を勝ち抜く事業・組織のつくり方」
世界中で大きな盛り上がりを見せる「生成AI」。 生成AIを活用したChatGPTが史上最速で月間ユーザー数1億人を突破し、TIME誌の表紙を飾ったことは、その勢いを象徴する出来事だろう。 だが、ここで以下の2つの問いが浮かぶ。 生成AIは今までのAIと明確に何がちがうのか？ なぜ今このタイミングで生成AIがここまで盛り上がっているのだろうか？ この記事では上記2つの問いを海外のいくつかの記事を参考にしつつ解説していく。 生成AIと今までのAI技術との関係性まず生成AI技術とこれまでのAI技術との関係性を概観しておこう。 広い意味でのAI技術として、データの特徴を学習してデータの予測や分類などの特定のタスクを行う機械学習が生まれ、その中でデータの特徴をマシン自体が特定するディープラーニング技術が発展した。 そして、生成AIはこのディープラーニング技術の発展の延長上にある技術だと言える。 そし
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
NVIDIAがCUDAを他のハードウェア上で実行することを禁止
GitHub - chenfei-wu/TaskMatrix
かわいい水冷PCをつくったので自慢させてください - bebebe note
注目の日本語大規模モデルLLM-JP 13Bを試す(JSON吐けた)｜shi3z
Google Colab で GPT-NEOX-20B による日本語テキスト生成を試す｜npaka
詳解V4L2 (video for linux 2)
機械学習・アルゴリズム関連まとめ - Qiita
オープンソースのニューラルネットワーク向けプログラミング言語「Triton」をOpenAIが公開
Windows 10のWSL2からGPUが使えるようになった (1/2)
Kubeflow Pipelinesで日本語テキスト分類の実験管理 - やむやむもやむなし
LLMプロダクト開発とはどういうものなのか？｜erukiti
OCR前処理としてのOpenCV超解像 - OPTiM TECH BLOG
Google Colab で はじめる Waifu Diffusion v1.2｜npaka
NVIDIA Docker って今どうなってるの？ (20.09 版)
エッジで機械学習ってなんだろう -ブラウザ、スマホ、IoT機器での推論を概観する- - Qiita
前モデル買った人のことを思うと切なすぎる：Nvidia RTX 2060／2070 Super レビュー
「ゼロからGPU開発」に経験なし＆わずか2週間で成功した猛者が登場
Rustによる機械学習概覧を技術書典11に寄稿するまでの軌跡 - Stimulator
Pytorch Template 個人的ベストプラクティス（解説付き） - Qiita
バクラクMLチームの技術スタックの変遷 - LayerX エンジニアブログ
SberSwapで、個別の学習プロセス無しでFaceSwapを実現する | cedro-blog
OpenAI Whisper に追加学習をさせる試み | IIJ Engineers Blog
ディープラーニングで肉体変化のタイムラプスを劇的に見やすくした - Qiita