GitHub - karpathy/LLM101n: LLM101n: Let's build a Storyteller
What I cannot create, I do not understand. -Richard Feynman In this course we will build a Storyteller AI Large Language Model (LLM). Hand in hand, you'll be able create, refine and illustrate little stories with the AI. We are going to build everything end-to-end from basics to a functioning web app similar to ChatGPT, from scratch in Python, C and CUDA, and with minimal computer science prerequi
グラフニューラルネットワークの予測結果を解釈してみよう - NTT Communications Engineers' Blog
この記事は、NTTコミュニケーションズ Advent Calendar 2023 11日目の記事です。 はじめに こんにちは。コミュニケーション&アプリケーションサービス部の石井です。 今年はAI分野においては LLM1 の話題で持ちきりの一年でしたが、そんな LLM とは全く関係のないグラフニューラルネットワーク（以下、GNN）の説明性に関する手法である GNNExplainer を題材に扱っていこうと思います。 GNN2 とはグラフで表現された構造化データを深層学習で扱うためのニューラルネットワーク手法の総称です。グラフデータはさまざまな事象を表現できる可能性を秘めていて、GNN の予測結果を解釈できれば、人との関係性把握やマーケティングへの応用など幅広い活用が期待できると思っています。GNN に興味がない方もこんな技術があるのかと深く考えずに読んでもらえればと思います。 本記事で扱う
Mojo 🔥— NEW Language for AI (FIRST Look)より概要Chris Lattner氏が開発したプログラミング言語MojoはPythonを基盤としており、Pythonのスピードの問題を解決し、CやC++のパフォーマンスとAIモデルのプログラマビリティを組み合わせた言語である。また、Pythonの互換性があるため、Pythonの知識を活かしてMojoを使用することができる。 ハイライト💻 MojoはPythonを基盤としており、Pythonのスピードの問題を解決し、CやC++のパフォーマンスとAIモデルのプログラマビリティを組み合わせた言語である。 💾 MojoはPythonと互換性があるため、Pythonの知識を活かしてMojoを使用することができる。 🚀 Mojoは並列処理をサポートし、複数コアでの処理が可能であり、パフォーマンスを向上させることがで
「Google Colab」での「Llama 3」のファインチューニングを試したので、まとめました。 【注意】Google Colab Pro/Pro+のA100で動作確認しています。 1. Llama 3「Llama 3」は、Metaが開発したオープンモデルです。 2. 学習Colabでの学習手順は、次のとおりです。 (1) Colabのノートブックを開き、メニュー「編集 → ノートブックの設定」で「GPU」の「A100」を選択。 (2) パッケージのインストール。 # パッケージのインストール !pip install -U transformers accelerate bitsandbytes !pip install trl peft wandb !git clone https://github.com/huggingface/trl %cd trl(3) 環境変数の準備。 左
以下の記事が面白かったので、簡単にまとめました。 ・GaLore: Advancing Large Model Training on Consumer-grade Hardware 1. GaLore「GaLore」は、「NVIDIA RTX 4090」などの家庭用GPU上で、Llamaなどの最大7Bパラメータを持つモデルの学習を容易にします。これは、学習プロセス中のオプティマイザの状態と勾配に従来関連付けられていたメモリ要件を大幅に削減することによって実現されます。 2. オプティマイザ状態でのメモリ効率オプティマイザ状態は、特にAdamのような適応最適化アルゴリズムでは、モデルの学習中のメモリフットプリントの重要な部分を占めます。「GaLore」は、オプティマイザによって処理される前に、勾配を低次元の部分空間に投影することでこの問題に対処します。これにより、これらの状態を保存するため
NVIDIAの時価総額がIntelを上回る
NVIDIAの時価総額が、Intelを初めて大きく上回り、2510億米ドルに達した。NVIDIAの株価は記事執筆時点で420米ドル前後の高値をつけ、会計年度の初めから現在まで79％成長している。一方のIntelの株価は同期間で2.4％下落した。NVIDIAの時価総額は、半導体メーカーとしては、TSMCとSamsung Electronicsに次ぐ3位となっている。 NVIDIAは2020年5月に、2021年度第1四半期（2020年4月26日を末日とする）の業績を発表。売上高は30.8億米ドルで、前年同期比で39％増加、前期比では1％の減少だった。 世界中でステイホームが推奨あるいはルールになり、消費者が自宅で過ごす時間が長くなっていることから、ゲーム用ハードウェアの需要が伸びている。 NVIDIAが今回のマイルストーンを達成したのも、2020年秋に発売されるゲーム機に向けたGPU需要の楽観
「GeForce RTX 2080 SUPER」レビュー。RTX 2080 SUPERの実力をRTX 2080 TiおよびRTX 2080無印と比べてみた
RTX 2080 SUPERの実力をRTX 2080 TiおよびRTX 2080無印と比較 ZOTAC GAMING GeForce RTX 2080 SUPER Twin Fan Text by 宮崎真一 2019年7月23日22：00，NVIDIAのハイエンド向け新型GPU「GeForce RTX 2080 SUPER」（以下，RTX 2080 SUPER）搭載グラフィックスカードの販売が解禁となった。 RTX 2080 SUPERの仕様については，7月2日の発表時にレポートを掲載済みであるが，搭載カードのレビューに進む前に，軽くおさらいをしておこう。 ZOTAC GAMING GeForce RTX 2080 SUPER Twin Fan（型番：ZT-T20820F-10P） メーカー：ZOTAC Technology 販売代理店想定売価：9万1800円（※2019年7月23日現在）
近年は対話型AIのChatGPTや画像生成AIのStable Diffusionなど、さまざまなAIが登場して世間の注目を集めています。これらのAIを開発するために使用される機械学習ソフトウェアの過去10年の変遷について、半導体分野のアナリストであるディラン・パテル氏が解説しています。 How Nvidia’s CUDA Monopoly In Machine Learning Is Breaking - OpenAI Triton And PyTorch 2.0 https://www.semianalysis.com/p/nvidiaopenaitritonpytorch ◆TensorFlow対PyTorch 数年前の機械学習フレームワークエコシステムではGoogleのTensorFlowがフロントランナーであり、機械学習業界を支配する準備ができているように見えたとパテル氏は指摘。ま
主張 ほぼタイトルで完結しています。 Anacondaでは余計なパッケージが多すぎるという場合には、Minicondaで必要なパッケージだけをインストールすればいいと思います。 主張の理由 定期的に初心者向けにPythonの環境構築の記事が投稿されています。 そして、その多くで一緒にTensorflowかPytorchもインストールしていると思います。 環境構築で問題になるのがCUDAです。 CUDAのバージョンとTensorflowやPytorchのバージョンを正しく選んでインストールする必要があります。 これは、以下のような面倒くささがあると思います。 単純に対応するバージョンを調べてインストールするのが面倒くさい ついでにCuDNNのインストールも面倒くさい 迂闊にTensorflowやPytorchのバージョンを上げられない 複数のバージョンのTensorflowやPytorchを
自分の過去ツイートでrinna/japanese-gpt-neox-3.6bをfinetuningして「俺tter」を生成する｜松xRのnote
Windows環境でLLMをPEFTでファインチューニングしようとしたとき、ほぼ必ずbitsandbytesというライブラリのエラーに悩まされると思うのですが、こちらの記事ではその対処法が書いてあります。助かりました。 そして、npakaさんの上記の記事を参考に、Google Colabではなくローカルで動かしたという感じです。 キャラクター性が一貫したLLMを作るための最初のテストに最適「一貫したキャラ性を持った回答をするAIを作りたい」 「でもライセンスの問題もなくキャラ性を保ったままそれなりの規模があるデータセットなんて無い」 「自分のツイートを使えばいいのでは💡」 そんなことを考えて、自分（@matsu_vr）の過去ツイートで、日本語LLMのrinna/japanese-gpt-neox-3.6bをファインチューニングしたところ、思った以上に「俺っぽい」ツイートを生成することがで
Since our launch of the Mojo programming language on May 2nd, more than 120K+ developers have signed up to use the Mojo Playground and 19K+ developers actively discuss Mojo on Discord and GitHub. Today, we’re excited to announce the next big step in Mojo’s evolution: Mojo is now available for local download – beginning with Linux systems, and adding Mac and Windows in coming releases. While the Mo
独自のデータセットでGPTのような大規模言語モデルを簡単にファインチューニングできるライブラリ「Lit-Parrot」をGoogle Cloud Platformで使ってみた
特定の分野についての知識を増やす場合など、大規模言語モデルの出力を特定の方向に寄せる場合に利用されるのがファインチューニングで、これはモデルをゼロから構築するのに比べてはるかに少ないデータセット＆はるかに少ないコストでトレーニングできる手法です。「Lit-Parrot」はファインチューニングを簡単に行えるようにしたライブラリとのことなので、実際に使ってどれくらい簡単なのかを試してみました。 lit-parrot/scripts at main · Lightning-AI/lit-parrot · GitHub https://github.com/Lightning-AI/lit-parrot How To Finetune GPT Like Large Language Models on a Custom Dataset - Lightning AI https://lightnin
Google Colaboratory上でYOLOを動かして画像認識させてみた – Kazuki Room ～ モノづくりブログ ～
Google ColaboratoryというGPUを無料で使えるサービスを使って画像認識させてみたいなと思ったので実際にやってみました。 日本語の情報はまだ少ないようなので少し苦労しましたがなんとかできました。 Colab上で画像認識させてみた結果がこちら。 人もコップも椅子も時計も全て認識してくれています。うん、いい感じです。 Google Colaboratory上の環境はこちらのページの通りに実施したらできました。ありがたやありがたや。今回は「darknet」というフレームワークを使用していますが、「Keras」を使用して動かす方法もあるようです。 ※以下のリンクではCUDA8.0をインストールするとなっていますが、この部分についてはインストールせずに既にインストールされている最新のCUDAをそのまま使用したほうがよさそうです。（2020/1/20追記） GitHub – ivang
Google の FLAN-20B with UL2 を動かしてChatGPT APIのように使ってみる！ - Qiita
Google の FLAN-20B with UL2 を動かしてChatGPT APIのように使ってみる！言語モデルflanUL2YiTay こんにちは！逆瀬川 ( https://twitter.com/gyakuse )です！ 今日は昨日公開されたFLAN-20B with UL2を使ってChatGPT APIのように会話をしてみたいと思います。 概要 Google BrainのYi Tayさんらが開発した新しく公開された言語モデルのFLAN-20B with UL2を使ってChatbotみたいな対話をしてみるテストです。 翻訳を組み合わせて実現します。デカ言語モデルが手元で動いてめちゃくちゃ嬉しさがあります。 Google Colab Colab ProのプレミアムGPUでないと動きません 使い方 ランタイム > ランタイムのタイプを変更からGPU / プレミアムとする A100 4
2024/5/3フリー公開します！！！ 新しいアプリを作ったので機能の紹介です。こちらのアプリは現在（2024/4/30時点）でfanboxのみで公開（ソースコード自体はgithubで公開）しています。 3日後の2024/5/3にはフリー公開しますので、それまでお待ちください。 全体公開しました！ 【DL先】ファンボックスで支援者様にのみ先行公開しています！ https://drive.google.com/file/d/1DuKeDAgRbmOaaN6W0THEwBOrxBL0q708/view?usp=sharing 予備URL： https://www.dropbox.com/scl/fi/mrthkwbzcvcug21p19a0t/AI_Assistant.zip?rlkey=mfglok7a3eqwc3loe7bzzri0n&st=1ceftuja&dl=0 【必要スペック】理論
Llama3，Phi-3などの対話型人工知能（大規模言語モデル）をパソコンで動かす - Qiita
かつては大規模言語モデルは，メモリを大量に消費し，大量のGPUが必要なため個人レベルで動かすものではありませんでした．しかし，2024年にLlama3 7BやMixtral 8x7b, Phi-3 smallなどChatGPT-3.5レベルの能力を持ち軽量で無料の大規模言語モデルが登場してきました．それだけではなく，これらの大規模言語モデルをコマンド一つでインストールするが出来るようにもなりました．2024年から，大規模言語モデル（対話型人工知能）を自宅で気軽に動かせる時代になったと言えます． この記事に対話型人工知能をパソコンにインストールする方法とその結果を書きます． 環境 前提としている環境 私は人工知能の研究をしているため，すでにLinux(Debian 12)上でPython3とCUDAが動く環境を整えています．以下の記事はLinuxの使用を前提にしています． パソコンのスペック
RTX 3070よりも性能は向上したが…… 「GeForce RTX 3070 Ti」は“Ti”に相応しいのか？
RTX 3070よりも性能は向上したが…… 「GeForce RTX 3070 Ti」は“Ti”に相応しいのか？（1/4 ページ） 日本時間の6月10日22時、NVIDIAの新型GPU「GeForce RTX 3070 Ti」を搭載するグラフィックスカードの販売が解禁される。同社によると、想定販売価格は税込みで8万9980円からになるという。 →NVIDIAがデスクトップ向け「GeForce RTX 3080 Ti」「GeForce RTX 3070 Ti」を発表 6月3日から順次発売 →「GeForce RTX 3080 Ti」の国内想定価格は約17.6万円 「GeForce RTX 3070 Ti」は約9万円 GeForce RTX 3080 Ti Founders Editionに続き、ITmedia PC USERと筆者はNVIDIAが自社設計したグラフィックスカード「GeForc
Pytorch-lightning+Hydra+wandbで作るNN実験レポジトリ - Higu`s diary
Kaggle Advent Calender2020の 11日目の記事です。 昨日はhmdhmdさんのこちらの記事です! 2020年、最もお世話になった解法を紹介します - Qiita 明日はarutema47さんの記事です! (後ほどリンクはります) 本記事では、深層学習プロジェクトで使用すると便利なライブラリ、 Pytorch-lightningとHydraとwandb(Weights&Biases)について紹介したいと思います。 対象読者 Pytorchのボイラープレートコードを減らせないか考えている 下記ライブラリについては聞いたことあるけど、試すのは億劫でやってない 書いてあること 各ライブラリの役割と簡単な使い方 各ライブラリを組み合わせて使う方法 各ライブラリのリファレンスのどこを読めばよいか、更に勉強するにはどうすればよいか また、上記3つのライブラリを使用したレポジトリを
R&D チームの徳田（@dakuton）です。 今年のGWあたりにCUDAのGPG更新アナウンス(NVIDIA Technical Blog: Updating the CUDA Linux GPG Repository Key)がありました。記載に従い利用環境の反映作業をしてみたところ、特にDockerイメージ向けの反映については記事に触れられていない範囲でのハマリポイントがいくつかあることがわかったため、対策についてまとめておきます。 参考(GitHub issue) NVIDIA/nvidia-docker(Public GPG key error #1631) 影響を受けているプロジェクト例 TensorFlow (Tensorflow docker image has outdated keys #56085) TorchServe (Improvements to docker
「GeForce RTX 3090」レビュー。8Kでのゲームプレイを謳うRTX 30シリーズ最強GPUの実力をZOTAC製「RTX 3090 Trinity」で検証する
8Kでのゲームプレイを謳うRTX 30シリーズ最強GPUの実力は？ GeForce RTX 3090 （ZOTAC GAMING GeForce RTX 3090 Trinity） Text by 宮崎真一 Ampereアーキテクチャによる新世代の幕開けとしては，十分なインパクトを残したNVIDIAの新型GPU「GeForce RTX 3080」（以下，RTX 3080）。その高性能ぶりは記憶に新しいが，GeForce RTX 30シリーズの最上位モデルとなる「GeForce RTX 3090」（以下，RTX 3090）の発売が始まり，レビューもようやく解禁となった。 RTX 3090とはどのようなGPUなのだろうか。今回は，ZOTAC Technology（以下，ZOTAC）製のグラフィックスカード「ZOTAC GAMING GeForce RTX 3090 Trinity」（以下，ZO
2021/04/21 PR 独自路線を行く孤高のBlenderアニメーション作家 安田現象氏がクリエイター向けPC「raytrek」を検証 [PR] セル調の3DCGと高度な演出による独自のアニメーション作品を作り続ける安田現象氏。モデリングからアニメーション、コンポジットまでを一人で行う同氏の制作スタイルが確立された背景と、使用するPCスペックのこだわりについて話をきいた。 TEXT＿神山大輝／ Daiki Kamiyama（NINE GATES STUDIO） PHOTO＿竹下朋宏／Tomohiro Takeshita INTERVIEW＿阿部祐司／Yuji Abe（CGWORLD） INFORMATION 安田現象新設スタジオで求人中！ 詳しくはこちら cgworld.jp/jobs/30622.html 「自分自身の作品をアニメ化したい」という想い 安田現象デモリール2020 CG
GitHub - NVIDIA/multi-gpu-programming-models: Examples demonstrating available options to program multiple GPUs in a single node or a cluster
This project implements the well known multi GPU Jacobi solver with different multi GPU Programming Models: single_threaded_copy Single Threaded using cudaMemcpy for inter GPU communication multi_threaded_copy Multi Threaded with OpenMP using cudaMemcpy for inter GPU communication multi_threaded_copy_overlap Multi Threaded with OpenMP using cudaMemcpy for itner GPU communication with overlapping c
WhisperのモデルをONNXに変換する方法について記述する。 Whisperのモデル WhisperのモデルはPyTorchを使ってPythonで実装されている。 そのため、実行にはPyTorchをインストールしたPython環境が必要になる。 環境構築なしでスタンドアロンで利用できると用途が広がる。 また、アプリへの組み込みも行いやすくなる。 ONNXモデル ONNXは、ニューラルネットワークの標準ファイルフォーマットである。 モデルをONNXにすると、ONNX Runtimeなどの推論用のライブラリを使って推論できる。 推論用のライブラリは、組み込みで使うことを意図しているので、スタンドアロンのアプリに組み込むことができる。 ONNXへの変換 WhisperのモデルからONNXへの変換は、pytorch.onnxを使って行う。 ただし、Whisperは、デコーダのループ処理で、前の
GCPでできるだけ安くディープラーニング
私は仕事でも趣味でもディープラーニングをしています。趣味ではいつもGoogle Colaboratoryを使ってお金をかけずにディープラーニングしていたのですが、Colabは1日12時間ほどしかGPUを使えず、しかも頻繁に学習タスクを回していると弱いGPUしか利用できなくなるので、進捗があまりよくありませんでした。そこで、お金を使って進捗を出すことを考えました。 Google Cloud Platform（GCP）なら、ちょっと弱めのGPU（Tesla T4）を1時間あたり約12円で借りられます。これならまあ趣味の予算で可能だと感じたので実際にやってみたのですが、GCPは思った以上に複雑で、わかりづらい点が多くありました。そこでこのブログでは、GCPに登録するところから、１コマンドでディープラーニングできる環境を構築するまでの方法を紹介します。 手順Google Cloud Platfor
CUDA on WSL
» 1. NVIDIA GPU Accelerated Computing on WSL 2 v12.4 | PDF | Archive CUDA on WSL User Guide The guide for using NVIDIA CUDA on Windows Subsystem for Linux. 1. NVIDIA GPU Accelerated Computing on WSL 2 WSL or Windows Subsystem for Linux is a Windows feature that enables users to run native Linux applications, containers and command-line tools directly on Windows 11 and later OS builds. CUDA suppor
1997年にリリースされた無料のフィルタリングツール「AviUtl」は、プラグインを導入することで高度な動画編集機能を獲得できるのが特徴です。そんなAviUltは基本的にCPUでフィルタ処理を行っているところを、GPUによる処理に切り替えるプラグインを導入することで処理を高速化することが可能です。 GPU化で処理を高速化するプラグインの1つが、柳氏の開発した「Boostプラグイン」です。 Aviutl Plugin 配布 Boost プラグイン : Aviutl研究所 https://aviutl.techblog.jp/archives/aviutl_plugin_boost.html 以下のムービーでBoostプラグインが解説されています。 Aviutl Plugin配布！AviutlをGPU動作化して超高速にするAviutl Boost！ - ニコニコ動画 通常時だと65分44秒かか
NVIDIA Releases Open-Source GPU Kernel Modules | NVIDIA Technical Blog
NVIDIA is now publishing Linux GPU kernel modules as open source with dual GPL/MIT license, starting with the R515 driver release. You can find the source code for these kernel modules in the NVIDIA/open-gpu-kernel-modules GitHub page This release is a significant step toward improving the experience of using NVIDIA GPUs in Linux, for tighter integration with the OS, and for developers to debug, i
リアルタイムに物体認識できるYOLOですが、最近YOLOv3が登場しました。 これを使って、試しに簡単な動画解析プログラムを組んでみます。 さて、私は、趣味でバイクに乗っていて、ドライブレコーダー代わりに、安価なアクションカメラを付けて、動画を撮影することがあります。 ただ、車載動画は撮影しても、長すぎて全部見返すことはほとんどありません。いいシーンだけ抜き出してくれればなぁと常々思っています。 ところで、バイク同士がすれ違うときに、軽く手を降るなど挨拶する文化があり、YAEH(ヤエー)と呼ばれています。 市街地ではほとんどないですが、ツーリングスポットでお互い集団だと時々ヤエーされたりします。 youtubeには多くのヤエー動画がアップロードされてます。 YOLOを使って、バイクとのすれ違いシーンをうまく切り出すことができれば、「YAEH（っぽいところ）動画」を自動的に作ることができそう
高速化が趣味＆仕事なので、最近よく目にするJAXの速度が気になってました。このため、今回は日ごろ使っているPyTorchと比較したので、その結果のまとめを紹介します。 結論 結果だけ知りたい方が多いだろうと思ったので先に結論から書くと、私のPyTorch力では力及ばず、今回の検証では JAXのほうがPyTorchの2.2倍速い という結果でした。ここから詳しく評価について説明します。 評価方法 今回、JAXとPyTorchを比較するにあたり、この前紹介したSmooth Smith Watermanのコードを利用しました。Smooth Smith Watermanについて知りたいという方は以下の記事をご覧ください。 この記事で紹介したJAXコードは論文の著者が頑張って高速化した結果なため、十分最適化された結果であるという認識です。このため、今回はPyTorchのコードを私が作成し、測定を行い
はじめに 前回の記事で Xwin-LM-70B-V0.1 と Llama-2-70B の出力結果の比較しました。今回は Open Interpreter のバックエンドとして Xwin-LM-70B-V0.1 を使ってみます。 私の PC のスペック[1] i7 13700K 3090 24GB DDR5 128GB 準備 llama-cpp-python を CUDA を有効にしてインストールする。 sudo apt install -y build-essential cmake python3 python3-pip python-is-python3 \ && CUDA_PATH=/usr/local/cuda FORCE_CMAKE=1 CMAKE_ARGS='-DLLAMA_CUBLAS=on' \ pip install llama-cpp-python --force-re
「GeForce RTX 3080 Founders Edition」レビュー。Ampere世代のハイエンドGPUはRTX 2080 Tiをあらゆる面で圧倒する
Ampere世代のハイエンドGPUはRTX 2080 Tiをあらゆる面で圧倒する GeForce RTX 3080 Founders Edition Text by 宮崎真一 2020年9月16日22：00，NVIDIAの新世代GPU「GeForce RTX 3080」（以下，RTX 3080）搭載のNVIDIA製グラフィックスカード「GeForce RTX 3080 Founders Edition」（以下，RTX 3080 Founders Edition）の性能に関する情報が解禁となった。 GeForce RTX 3080 Founders Edition メーカー：NVIDIA 価格：699ドル（約7万3900円，税別） 既報のとおり，RTX 3080は，Ampereアーキテクチャを採用したGPUで，従来の「GeForce RTX 2080 SUPER」（以下，RTX 2080 S
OBS WebSocketの設定 OBSのWebSocket機能を有効にします。WebSocket機能は比較的新しい機能で、使ったことがない方も多いと思います。LAN内のコンピュータからOBSの各種プロパティを取得・変更できます。各種プログラミング言語から直接APIを呼べるので、「音声認識の結果を即時に画面に反映する」ような、頻繁に変更される値の更新に適しています。 設定方法は、OBSのメニューから「ツール」-「obs-websocket設定」をクリックし、出てきたダイアログの一番上のチェックボックス「WebSocketサーバーを有効にする」をオンにします。そして「パスワードを生成する」を押します。後述のプログラムで定数として使用します。これでWebSocket機能を使用できるようになります。 Pythonのプログラムから字幕変更 PythonのプログラムからOBSにWebSocketで接
AIイラスト。文字通りAIによって生成されたイラストで、今や人間の絵師の立場を食いかねないほどに発展を見せている技術です。 敷居が高く思えるかもしれませんが、ミドル程度のゲーミングPCを持っている人であれば無料でも環境構築が可能なので、個人でも余裕で運用していくことが可能なものとなっています。 今回はそんなAIイラストのローカル環境構築方法を解説していきます。 必要なPCスペック 導入手順 必要なものをダウンロード、インストールしていく GitでAutomatic1111のダウンロードを行う 学習データのダウンロードを行う webui-user.batを実行 まとめ 必要なPCスペック Nvidia製のGPU VRAM 以上4GB 基本的にはこの条件を満たしたデスクトップパソコンであれば、普通に動くと思います。流石にグラボ以外骨董品を使っているようなあまりにも極端な構成だと駄目かもしれませ
はじめに 本記事はDeep learning論文紹介のAdvent Calender 2019の6日目の記事です。 本記事ではコンピュータビジョンのトップカンファレンスであるICCV2019でBest paperに選ばれたSin GANの論文について紹介し、公式のGitHubを色々触ってみようと思います。 SinGANは１枚の訓練データのみを学習に用いるので、気軽に画像生成を試すことができます(画像サイズにもよりますがGoogle colabratoryのGPUでおよそ1~5時間程度)。後半ではGoogle Colabratoryを用いて実際に画像生成を行っているのでぜひ試してみてください。 【SinGAN公式】 ・arxiv ・Github 【Qiitaの記事】 ・【論文解説】SinGAN: Learning a Generative Model from a Single Natura
RWKVを論文と実装から読み解く
RWKVとは 昨今GPTをはじめとしたtransformerベースの大規模言語モデルが流行しています．transformerの重要な要素であるSelf-Attentionは，長距離の依存関係を学習するできるというメリットがある一方で，シーケンス内のすべての要素と他のすべての要素との依存関係を計算するために，計算量とメモリ使用量がシーケンス長の二乗（つまり、トークンの数の二乗）に比例してしまうという問題があります． 一方でRNNベースのモデルは，メモリと計算要件の面で線形にスケールしますが、並列化と拡張性の制限からtransformerと同等の性能を達成することが困難です． そこで，transformerの効率的な並列学習と，RNNの効率的な推論の両方を兼ね備えたモデルとしてRWKV（Receptance Weighted Key Value）という新たなモデルアーキテクチャーが提案されまし
CUDAコアが前世代に比べ2倍以上の増加し、RTコアもTensorコアも刷新されたGeForce RTX 30シリーズ。GeForce RTX 3080は9月17日より販売解禁となる。なお、写真のFounders Editionの国内正式販売はない 2020年9月2日、NVIDIAのCEO、ジェンスン・ファン氏は先日オンラインで開催した「GeForce Special Event」において、既存のGeForce RTX 20シリーズの性能をはるかに上回る（と主張する）「Ampereアーキテクチャー」と、それを採用した「GeForce RTX 30シリーズ」を発表した。非常に多くの内容を40分程度にまとめた超高濃度かつハイスピードなセッションだった。 今回はそのGeForce Special Eventに続き、プレス向けに開催された「GeForce RTX 30-Series Tech Se
2021年7月16日午前3時頃（日本時間）に公開されたAlphaFold ver.2（以下、断りがない限り単純にAlphaFoldと書く）の論文について。 論文は https://www.nature.com/articles/s41586-021-03819-2 実装は https://github.com/deepmind/alphafold 執筆した日本語総説が出ました：AlphaFold2までのタンパク質立体構造予測の軌跡とこれから Update Information （2023年4月5日） AlphaFold バージョン2.3.2以降で、alphafoldの実行コマンドにおいて、構造最適化（relax）の引数指定が--run_relaxから--models_to_relax=all/best/noneに変更されています。allはすべての構造について構造最適化を実行、bestは最
- はじめに - 最近、PythonのパッケージインストーラーであるpipをRustで書き直したripというツールが公開された。 github.com ripのREADME.mdには、flaskを題材に依存解決とインストールが1秒で終わるようなgifが貼られている。 この速さは一体どこから来ているのか調べた。 - はじめに - - 宣伝 - - ripの成り立ち - Anaconda mamba-org prefix.dev - condaがinstallで行うこと - - mambaでの速度改善 - - ripに応用されたこと - - おわりに - - 宣伝 - 来週開催の技術書典15で「エムスリーテックブック５」が出ます。 私の内容は「自作Python Package Manager入門」で、CLIツールの作り方から始まって40ページでPyPIの仕様やその背景となっている要素を把握しな
初めに Google Colaboratory で動かしていることを前提。 自分は Colab Pro にしているので、VRAMあたりで無料版の人は実行できないものがあるかも その際は出力する画像数とかを減らせばいけると思います。 出力する先をGoogle Driveにしたり、画像をいっぱい生成したりできるようにまとめてる記事が 見当たらなかったので作成。 セットアップ ほぼここを参照 本家の見た方が本質の理解には繋がるかも # パッケージのインストール !pip install diffusers==0.2.4 transformers scipy ftfy python-ulid # トークン変数の準備 YOUR_TOKEN="huggingfaceから取得した自分のトークン" from diffusers import StableDiffusionPipeline from tor
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
👀✨革命的なAI言語誕生！Pythonの35,000倍速いMojoが登場！｜だいち
Google Colab で Llama 3 のファインチューニングを試す ｜npaka
GaLore - 家庭用ハードウェアでの大規模モデルの学習｜npaka
ChatGPTやStable Diffusionを生み出した「機械学習ソフトウェア」の10年間の流れを専門家が解説
Pythonでの機械学習の環境構築にAnacondaはいかがでしょうか - Qiita
「WSL 2」にCUDA対応など3つの新機能 ～「Windows 10」Build 20150がDevチャネルに。ISOイメージファイルも／「マップ」アプリの地図データは“TomTom”ベースへ
Modular: Mojo🔥 - It’s finally here!
お絵描き補助AIアプリ『AI-Assistant』全体公開！｜とりにく
NVIDIA DockerイメージのGPGキー更新に関する備忘録 - OPTiM TECH BLOG
独自路線を行く孤高のBlenderアニメーション作家 安田現象氏がクリエイター向けPC「raytrek」を検証
WhisperのモデルをONNXにする - TadaoYamaokaの開発日記
AviUtlのフィルタ処理をGPU使用で高速化するプラグインが登場
YOLOv3+pythonで車載動画中のバイクを認識し動画にする - Qiita
JAXとPyTorch、どっちが速いのか検証してみた - まったり勉強ノート
Xwin-LM-70B-V0.1をOpen Interpreterから使ってみる。
Whisperを使ったリアルタイム音声認識と字幕描画方法の紹介 | さくらのナレッジ
AIイラスト導入方法 ローカル環境で構築できる方法をわかりやすく解説 - 格安ガジェットブログ
【SinGAN】たった１枚の画像から多様な画像生成タスクが可能に - Qiita
GeForce RTX 30-Series Tech SessionsでわかったAmpereが超進化した理由 (1/4)
AlphaFold (ver.2.3.2) インストール - Qiita
mambaやripのinstallが何故早いのか調べたメモ - Stimulator
Stable Diffusion を Google Colabで実行する際に便利なコード