初めに、論文発表元のGithubからソースコードを取得します %cd /content !git clone https://github.com/CompVis/latent-diffusion.git 次にライブラリをインストールします。 %cd /content !git clone https://github.com/CompVis/taming-transformers !pip install -e ./taming-transformers !pip install omegaconf>=2.0.0 pytorch-lightning>=1.0.8 torch-fidelity einops import sys sys.path.append(".") sys.path.append('./taming-transformers') from taming.models
![[Latent Diffusion] AIでテキストから画像を生成する](https://cdn-ak-scissors.b.st-hatena.com/image/square/6706790eb9410b1ef92e43f8816afc6e44db04b1/height=288;version=1;width=512/https%3A%2F%2Fblogger.googleusercontent.com%2Fimg%2Fb%2FR29vZ2xl%2FAVvXsEirH4niWQQXpBqo7BhSe5lUHIdTCKpaUe2kqFwsL6FSbvn07DkGNxn2zM0yh5MZ85kuwMeR2YlsjIxxRy5zrb-hHoB0LrQEc9bDVC3S43_xXxgv4RnLrEYsMVQxgWkv9K1YAT-aKdoAjDmjFrQo0WZINi63fUdoqzgov_wVqCLOB54vVp_67PzETkUeHg%2Fw1200-h630-p-k-no-nu%2F%25E3%2582%25A2%25E3%2582%25A4%25E3%2582%25AD%25E3%2583%25A3%25E3%2583%2583%25E3%2583%2581.png)
ゲストにkotoneさんを招き、ディープラーニング、機械学習とそのアルゴリズムや計算用マシンについて話しました。Show notes 機械学習 (Wikipedia) ディープラーニング(深層学習) (Wikipedia) ニューラルネットワーク (Wikipedia) パーセプトロン (Wikipedia) GPU (Wikipedia) ディープラーニング入門 Chainer チュートリアル 株式会社 Preferred Networks Chainer NVIDIA CUDA-X GPU-Accelerated Libraries for AI and HPC Preferred Networks、1024個のGPUでディープラーニングの世界最高速を実現と発表 NARUTO -ナルト- 疾風伝 ナルト全巻セット ImageNet…学習用の画像データセット 畳み込みニューラルネット(W
大規模言語モデルを動作させるには、演算処理にGPUを使用するため、グラフィックスメモリ(VRAM)の容量が重要になります。「VRAM Estimator」はさまざまなモデルで必要となるVRAMの容量をシミュレーションで予測するウェブアプリです。 VRAM Calculator https://vram.asmirnov.xyz/ VRAM Estimatorにアクセスするとこんな感じ。 左上の「Running Parameters」で演算内容を指定します。Inference(推論)の場合、Precision(精度)でbf16/fp16か、fp32を選択し、Sequence Length(シークエンス長)・Batch Size(バッチサイズ)・Number of GPUs(GPU数)を指定できます。 Training(学習)の場合、Precisionで「mixed(混合精度)」か「full(
《有料サービス》《新しい情報》《よいマシン》がパソコンを上手に使う条件だ 去年の途中くらいまでは、Intel Core i5 2.30GHzでもまるで困らなかったのが、ちょっとそれでは足りないと感じるようになってきた。そこで、ひさしぶりに新しいコンピューターを導入。ふだん持ち歩くノートPCとして、HP ProBook 635 Aero G8を2週間ほど前から使っている。 要するに、みんながコンピューターで使いたいソフトウェアが大きく変わりはじめているのがいまだと思う。SteamやVRChat、UnityやUnreal Engine、MetaMaskなど。3Dゲームで世界的にヒット中のRoblox、フォトグラメトリの3DF Zephyrは、触りはじめたところだ。 新しいマシンがノートPCである理由は、リモートワークの日々が続いているからだ。自宅からがほとんどだが、秋葉原からほど近い3331に
NVIDIAのGeForceファミリーは現在、ミドルクラス以下がコスト志向のGTX 16シリーズ、メインストリーム～ハイエンドは付加機能と性能を重視したRTX 20シリーズという2系統の製品ラインが存在する。どちらもTuringアーキテクチャーなのだが、リアルタイムレイトレーシング（DXR）の処理の一部を実行するRTコアと、AIを利用した描画負荷軽減機能と言える「DLSS（Deep Learning Super Sampling）」を提供するTensorコアは、上位のRTX 20シリーズだけに実装されている。 DXRはRTコアを持たなくてもCUDAコアを利用して処理できる（ただし、一部モデルのみ。そして、遅い）が、DLSSについてはTensorコアのないGeForceでは動かせない。ゆえに、RTX 20シリーズの真の強みは、DLSSであると言っても良いだろう。 今回、NVIDIAはこのDL
AUTOMATIC1111 WebUIをチューニングしよう！WebUIの高速化を解説！(2023.6.13追記）｜とーふのかけら
AUTOMATIC1111 WebUIをチューニングしよう！WebUIの高速化を解説！(2023.6.13追記） はじめに今回は、AUTOMATIC1111版WebUI（以下WebUI）の高速化にフォーカスを当ててお伝えします。 WebUIは日々更新が続けられています。 最新版ではバグなどがある場合があるので、一概に更新が正義とは限りません。 但し、新しいPythonパッケージに適用するように更新されていることが多く、その恩恵を受けるためにも正しくチューニングしましょう！ 今回は、とても技術的な要素が多く出てきます。 コーヒーでも飲みながらゆっくり読んでみてください。 [2023/6/13追記] 本記事はA1111WebUI v1.2.0以前の情報となります。 v1.3.0以降では、最適化項目が拡張されていますので、本記事の内容は現在の情報よりも古いものになります。 準備はいいですか？ P
Making LLMs even more accessible with bitsandbytes, 4-bit quantization and QLoRA
LLMs are known to be large, and running or training them in consumer hardware is a huge challenge for users and accessibility. Our LLM.int8 blogpost showed how the techniques in the LLM.int8 paper were integrated in transformers using the bitsandbytes library. As we strive to make models even more accessible to anyone, we decided to collaborate with bitsandbytes again to allow users to run models
NVIDIAからお借りした「GeForce RTX 3080 Founders Edition」の化粧箱。同社の日本公式サイトにも情報が出ているものの、販売する予定はまったくないとのこと。欲しければ個人輸入するか、並行輸入品を待つしかない NVIDIA曰く、4K＆最高画質ゲーミングを可能にする「GeForce RTX 3080」。そのの発売日（9月17日）が目前に迫っている。前世代比でCUDAコア数が2倍以上、RTコアもTensorコアも新世代になったGeForce RTX 3080のベンチマーク結果が気になる人も多いと思うが、今はまだ性能を明らかにすることはできない。 だが、今回の検証用にとNVIDIAから借り受けた「GeForce RTX 3080 Founders Edition」（以降、RTX 3080 FEと略）の“開封の儀”をお届けするとともに、同社のプレス向けセッション「Ge
④AI_Assistant.exeを実行exeファイルをそのままダブルクリックで起動できます。 VRAMが6GB以下の場合 AI_Assistant_lowVRAM.batから実行した方が動作が早いかもしれません（未検証。誰か報告して） LoRAを使いたい場合 AI_Assistant_exUI.batから実行。 ※上級者向け オプションとして、以下の引数を指定することで、起動時の言語を指定できます。ショートカットやbatファイルをご利用下さい。 AI_Assistant.exe --lang=jp AI_Assistant.exe --lang=en AI_Assistant.exe --lang=zh_CNさらに引数を追加することで、Stable Diffusion Web UIに対するオプションを追加できます。 また、以下の引数を追加することで拡張UIを表示できます（現在、i2iタブ
The economic advantages of portability are very great. In many segments of the computer industry, the dominant cost is development and maintenance of software. Dennis Ritchie and Stephen Johnson 1978 … many insist that C is the programming language and that it will last forever. Byte Magazine 1983 The August 1983 issue of Byte Magazine devoted its cover, and a large part of its editorial content,
はじめての自然言語処理 Fusion-In-Decoder でクイズに答えるモデルを作る | オブジェクトの広場
今回は Fusion-In-Decoder を使ってクイズに答えるモデルを作ります。以前から Wikipedia 等の外部情報を参照できるテキスト生成モデルを試してみたいと思っていました。Fusion-In-Decoder の発表は 2020 年なので少し前のモデルですが、T5 ベースで手軽に試せるサイズ感ですので、日本語で試してみましょう。 1. はじめに 今回紹介する Fusion-In-Decoder（以下、FiD ）1 は Meta AI (当時は Facebook AI Research) が発表した Open Domain question Answering タスクを解くテキスト生成モデルです。 じつは、以前から外部情報を参照できるテキスト生成モデルを試してみたくて2、 Google の RETRO3 の論文を読んでたんです。 なのですが、外部情報のサイズ感が 1000 B
米NVIDIAは4月12日（現地時間）、オンラインで年次カンファレンス「GTC 2021」を開催し、多数の新製品を発表した。本稿ではその一部を簡単に紹介する。詳細は各項目にある公式ブログのリンクを参照されたい。 初のデータセンター向けCPU「Grace」 CPU「Grace」（コードネーム）は、昨年9月に買収を発表した英Armの技術を採用する独自CPU。数十億ものパラメータを含むAIモデルのトレーニングで現在ボトルネックになっているCPUの問題を解するために、GPUと緊密に結合できるCPUとして開発したとしている。AIトレーニングで、現在最速とされるサーバの10倍の性能を提供するという。 Grace搭載のスーパーコンピュータを米HPE（Hewlett Packard Enterprise）が構築し、2023年にスイス国立スーパーコンピューティングセンター（CSCS）と米エネルギー省ロスアラ
「GeForce RTX 3090 Founders Edition」の化粧箱と中身。残念ながら本邦における正式流通はないので、欲しい方は個人輸入か並行輸入業者を利用するしかない 2020年9月24日22時、NVIDIAはAmpere世代のエンスージアスト向けGPU「GeForce RTX 3090」（以降、RTX 3090）を搭載したビデオカードの販売を解禁した。ほんの1週間前にはフラッグシップモデルであるGeForce RTX 3080（以降、RTX 3080）が発売し、流通在庫があっという間に捌けたほどの人気を見せた。しかし、RTX 3080よりも上のスペックを誇るRTX 3090の実力を見てからどちらを買うか判断したいと考えている人も少なくないはずだ。 RTX 3090の立ち位置についてはGeForce RTX 30シリーズ発表イベントの詳報で解説した通り、従来のTITANポジショ
AI画像生成のガチャ打率を高めるキホンのキ「モノを消すだけじゃない！LamaCleanerの簡単で多様な高コスパ修正」を公開しました。 LamaCleanerは高コスパで応用性の高い修正法です。 「なんか消せるヤツ？」で使わないのはもったいない！ 液タブなしのマウス操作でOKです。https://t.co/hNZBp55CqC pic.twitter.com/OSbAd7j4TA — Zuntan (@Zuntan03) May 21, 2023 Download raw fileからダウンロード出来ます ※2023/05/25 追記 GitHubにサインインしないとダウンロードボタンが出ないようです ソースコードをコピーして自分でtxtファイルからbatファイルを作成しても大丈夫です ダウンロードダウンロードしたファイルはインストールしたい所に移動してください batの保存場所にLama
NVIDIAがRTX 3050と同じGPUを搭載するRTX A1000とRTX A400を発表。ロープロファイルかつシングルスロットで最強GPUに？ NVIDIAではロープロファイルGPUとしてGeForce RTX 4060やその前にはRTX A2000などが発売され、これらのグラフィックカードがロープロファイル規格を満たすグラフィックカードとして非常に高い性能を持っていました。 しかし、これらグラフィックカードはロープロファイルではあるものの、2スロットで小型かつ薄型デスクトップには入らないケースもありましたが、NVIDIAではAmpere GPUを搭載したロープロファイルかつシングルスロットのRTX A1000とRTX A400の2モデルを発表しました。 NVIDIA RTX A1000およびRTX A400はRTXシリーズとしてリリースされているため、ゲーミング向け製品ではありませ
The new NVIDIA A100 GPU based on the NVIDIA Ampere GPU architecture delivers the greatest generational leap in accelerated computing. The A100 GPU has revolutionary hardware capabilities and we’re excited to announce CUDA 11 in conjunction with A100. CUDA 11 enables you to leverage the new hardware capabilities to accelerate HPC, genomics, 5G, rendering, deep learning, data analytics, data science
ナカシャクリエイテブ株式会社
当社にもNVIDIA Jetson AGX Xavier※がやって来ました！ Nanoと比較して、どれくらいの性能をマーク出来るのか。早速、試してみましょう。 ※Xavier：エグゼビアとか、ザビエルとか呼ばれていますね。例の宣教師みたいでちょっと面白いので、私はザビエルと呼んでいます。 Jetson AGX Xavierとは？ NVIDIA JETSON AGX Xavier NVIDIAがリリースしているディープラーニングコンピュータで、10W-30Wという省電力で動作し、最大で 32 TOPSの演算性能を持つ。 従来のTX2と比較して20倍の性能と、10倍のエネルギー効率と謳われています。 金属のしっかりとした筐体と、最新のUSB3インタフェースを2つ、USB2端子が1つ、HDMI、GPIO、イーサネット、電源スイッチ、リセットスイッチ、microSDカード用のスロットなどの豊富なイ
MINISFORUM UM790 Proを注文した後、AMDもROCmというソフト（NVIDIAのCUDAに該当するもの）を提供していることを知った。このAMD ROCmを使うことで、UM790 Proで動作が期待できるAI関連ソフトについて書きたい。 ROCmでMNIST ROCｍについて正確に知りたい方は本家のページを見ていただきたい。 www.amd.com ROCｍを使ってAMDのGPUでMNIST（文字（数字）認識の機械学習サンプルプログラム）を動作させた報告を幾つか見つけた。まず下記サイトではノートPCのRyzenのAPU(CPU+iGPU)で無理やりであるがMNISTを動かした様子。 blog.ingage.jp こちらはAMDのGPUとして何を使ったかはわからないが、やはりMNISTを動作させている。 qiita.com 基本的にはこちらに書いてある通りにやれと書かれている
Generative Dog Images Generative Dog Images kaggleのGANのコンペに参加したので、自分自身の振り返りも兼ねてまとめてみます。 GANの詳しい説明等は他の人の記事を御覧ください。 GANについて概念から実装まで ～DCGANによるキルミーベイベー生成～ 今さら聞けないGAN（1） 基本構造の理解 また、僕自身機械学習初学者でkaggleが強いわけでは無く、残り2週間でのスプリント参加だったのでしっかりしたGANコンペの記事を見たい方は下の方がとても楽しくまとめてくれています。 Generative Dog Images 参加動機 画像処理の勉強 フレームワーク(PyTorch)への慣れの為 コンペ概要 kaggleにとっておそらく初となるGANコンペ 期間2019年6月28日~8月14日 20579枚の犬の画像 120の犬種と犬のBoundi
「Google Colab」で「Rinna-3.6B」のLoRAファインチューニングを試したのでまとめました。 【注意】Google Colab Pro/Pro+ の A100で動作確認しています。VRAMは14.0GB必要でした。 1. Rinna-3.6B「OpenCALM-7B」は、「サイバーエージェント」が開発した、日本語LLMです。商用利用可能なライセンスで公開されており、このモデルをベースにチューニングすることで、対話型AI等の開発が可能です。 「Rinna-3.6B」は、「Rinna」が開発した、日本語LLMです。商用利用可能なライセンスで公開されており、このモデルをベースにチューニングすることで、対話型AI等の開発が可能です。 2. 学習「Google Colab」で「Rinna-3.6B」のLoRAファインチューニングを行います。データセットは@kun1em0nさんの「k
RTX 40 SUPERの第1弾「GeForce RTX 4070 SUPER」の実力を検証。上位のRTX 4070 Tiに迫るゲームもあり
上位のRTX 4070 Tiに迫るゲームもある優秀なGPU NVIDIA GeForce RTX 4070 SUPER Founders Edition Text by 宮崎真一 既報のとおり，米国時間2024年1月8日にNVIDIAは，デスクトップPC向けの新型GPU「GeForce RTX 40 SUPER」シリーズを発表した。その1番手となる「GeForce RTX 4070 SUPER」（以下，RTX 4070 SUPER）のレビューが解禁となった。 GeForce RTX 4070 SUPER Founders Edition メーカー：NVIDIA メーカー想定売価：599ドル（約8万6800円，税別，国内未発売） 早速，NVIDIA純正のリファレンスモデルである「GeForce RTX 4070 SUPER Founders Edition」を用いて，そのポテンシャルを確かめ
(2021/06/19) 2021年の PyTorch Lightning については PyTorch Lightning 2021 (for MLコンペ) - Qiita にまとめました。 0. 導入 深層学習フレームワークはいずれも開発が非常に速く盛り上がっている分野だと思います。 TensorFlow や jax 等もある中、つい先日 PFN のニュースもあり、PyTorch もより盤石となりそうです。おそらくこれからも PyTorch ユーザーは増えると思われます(Chainer にもあった公式 Trainer が PyTorch 内に実装されるとこの記事の存在が危ぶまれるので、そこには触れないこととします)。 しかし PyTorch は自由度が高い一方、学習周りのコード(各 epoch のループ周りとか)は個々人に委ねられており、非常に個性豊かなコードとなりがちです。 これらのコ
MLOps年末反省会: Triton Inference Server を深層学習モデル推論基盤として導入したので振り返る | CyberAgent Developers Blog
MLOps年末反省会: Triton Inference Server を深層学習モデル推論基盤として導入したので振り返る この記事は CyberAgent Developers Advent Calendar 2022 の5日目の記事です。 AI事業本部でソフトウェアエンジニア（機械学習 & MLOps領域）をしている yu-s (GitHub: @tuxedocat) です1。現在は 極予測LP という、広告ランディングページの制作をAIにより刷新するという目標のプロダクトに関わっています。 この記事では本プロダクトのMLOpsの取り組みのうち、特に深層学習モデルをデプロイして運用する基盤についての技術選定を振り返ってみます。 タイトルにあるとおり Triton Inference Server というOSSの推論基盤を導入しました。 前置き: プロダクトやチームなどの環境と経緯 本記
NVIDIAの新アーキテクチャー“Ada Lovelace”を使用した新GeForceの時代が、10月12日22時より始まろうとしている。今回発売される「GeForce RTX 4090」（以下、RTX 4090）は、Ada Lovelace世代のフラッグシップであり、ゲーマーとクリエイターの双方をターゲットにしたエンスージアスト向けモデルだ。 本邦での予価はNVIDIA公式から29万8000円“より”と発表済みだが、本稿執筆時点（10月10日）では具体的な価格情報は入ってきていない。高額な製品にも関わらず秋葉原では深夜販売も予定されており、超ハイパワーGPUへの関心の高さが窺える。 GeForce RTX 40シリーズ（以下、RTX 40シリーズ）は、TSMCの5nm（NVIDIA的には4N）プロセスで製造されているほか、設計的にはCUDAコアよりもRTコアやTensorコアの強化がポイ
NVIDIA次世代GPU「GeForce RTX 3090/3080/3070」が登場。RTX20シリーズの2倍の性能に飛躍！！ : 自作とゲームと趣味の日々
2020年09月04日00:40 （注：商品価格は執筆当時のものです。販売ページリンクにはアフィリエイトを含みます） NVIDIA次世代GPU「GeForce RTX 3090/3080/3070」が登場。RTX20シリーズの2倍の性能に飛躍！！ wisteriear コメント(2) Ampereのコードネームを冠する2020年最新のNVIDIA次世代GPU、最上位ウルトラハイエンドモデル「GeForce RTX 3090」を筆頭に「GeForce RTX 3080」や「GeForce RTX 3070」が正式発表 タグ ：#NVIDIA_Ampere_RTX_30#GeForce_RTX_3070#GeForce_RTX_3080#GeForce_RTX_3090 スポンサードリンク Ampereのコードネームを冠する2020年最新のNVIDIA次世代GPU”GeForce RTX 30
Replicate ChatGPT Training Quickly and Affordable with Open Source Colossal-AI
February 14, 2023 Replicate ChatGPT Training Quickly and Affordable with Open Source Colossal-AI We recently released new open source code for Colossal-AI, which enables you to use it as a framework for replicating the training process of OpenAI’s popular ChatGPT application optimized for speed and efficiency. With Colossal-AI's efficient implementation of RLHF (Reinforcement Learning with Human F
【組み込み系エンジニア200人調査】業務でよく使う言語は「C」、OSは「Windows」。「AI」技術がトレンドの今、一番学びたいのは「Python」 - fabcross for エンジニア
【組み込み系エンジニア200人調査】業務でよく使う言語は「C」、OSは「Windows」。「AI」技術がトレンドの今、一番学びたいのは「Python」 ポイント 組み込み系エンジニアがよく使っている言語は「C」（32.5％）、「C++」（24.0％）、「Microsoft Visual Basic」（22.5％） 最も好きなプログラミング言語は自由度が高く、使い慣れている「C」 今、学びたいのは「Python」「C++」「Java」 業務でよく使っているOSは「Windows」（69.0％）、「Linux」（26.5％）、「iOS」（19.5％） 好きなOS1位は、最も普及していて汎用性の高い「Windows」 これから学びたいOSは「Windows」「iOS」「Linux」 エンジニアが注目しているトレンド技術は「AI」（55.5％） 調査概要 エンジニアのためのキャリア応援マガジン「f
ドワンゴで声変換などを研究開発している、廣芝です。 もう12月ですが、進捗どうですか。 進捗を上げるには色んな方法があると思いますが、人に見られているとやる気が出る、もしくは人から意見をもらうとやる気が出るという方は、多くいらっしゃると思います。そういうときにぴったりな方法があります。 自分の作業の様子を生放送で配信するということです。 僕はこの生放送駆動開発を1日1時間やる、ということをずっと続けており、3ヶ月前に1000日を突破しました。長くこれを続けるうちに、いろんな気付きやコツがありました。この開発スタイルは結構面白いと思うので、布教も兼ねて、自分の生放送駆動開発の環境を紹介したいと思います。 参考までに、1000日に及ぶ配信でできあがった成果物をいくつか紹介します。 ディープラーニングの力で結月ゆかりの声になってみた ディープラーニングの力で人工知能になって結月ゆかりと会話してみ
（23/9/1 更新）AUTOMATIC1111簡単導入！PythonもGitも必要無しのスタンドアローンセットアップ法｜niel
（23/9/1 更新）AUTOMATIC1111簡単導入！PythonもGitも必要無しのスタンドアローンセットアップ法 ■AUTOMATIC1111 WebUIとはAUTOMATIC1111氏という方が作った『お絵描きAI StableDiffusionをわかりやすく簡単に使う為のWebUI型（ブラウザを使用して操作するタイプ）のアプリケーション』のことです。 機能も豊富で更新も頻繁にあり、Windowsローカル環境でStableDiffusionを使うなら間違いなくコレです。本記事はその素晴らしいWebUIを公式とは違う方法で簡単に導入する為の、やや初心者向けの解説記事です。 ■本記事の導入方法の特徴１．PythonとGitインストール不要！PythonやGitのややこしいインストール作業は必要ありません。全て内包済みの専用セットを用意してあるので、それをダウンロードしてセットアップを
CUDA C/C++ Basics
© NVIDIA Corporation 2011 CUDA C/C++ Basics Supercomputing 2011 Tutorial Cyril Zeller, NVIDIA Corporation © NVIDIA Corporation 2011 What is CUDA? CUDA Architecture Expose GPU computing for general purpose Retain performance CUDA C/C++ Based on industry-standard C/C++ Small set of extensions to enable heterogeneous programming Straightforward APIs to manage devices, memory etc. This
Liquid Warping GAN with Attention で、動画の人に合わせて、静止画の人を動かす | cedro-blog
HOMEAI（人工知能）Liquid Warping GAN with Attention で、動画の人に合わせて、静止画の人を動かす 1.はじめに 2018年に、Everybody Dance Now という、ダンスの達人の動画があれば、普通の人が達人と同じ様に踊る動画を生成できるディープラーニング の技術が提案され、ビックリしたことを覚えています。 それから2年が経ち、技術はもう一段レベルアップしました。当時の出力画像はボケボケでしたが、かなりシャープなものに改善されて来ました。今回は、その技術 Liquid Warping GAN with Attention をご紹介します。 ＊この論文は、2020.11に提出されました。 2.Liquid Warping GAN with Attention とは？ Liquid Warping GAN with Attention とは、リファ
Mary Jo Foley （Special to ZDNET.com） 翻訳校正： 石橋啓一郎 2022-05-23 06:30 MicrosoftのLinuxグループは以前から、社内で利用するためだけのLinuxディストリビューションを持っていることを公言してきた。「CBL（Common Base Linux）-Mariner」と呼ばれるこのディストリビューションは、「Windows Subsystem for Linux GUI」「Azure Kubernetes Service（AKS）on Azure Stack HCI」「Azure Percept」など、Microsoftのさまざまな製品で使われている。しかし実は、Microsoftが社内で利用している自社開発したLinuxディストリビューションには、それとは別に「CBL-Delridge（CBL-D）」と呼ばれるものが存在し
AMDの最優先事項は「ROCm(Radeon Open Compute platform)」の発展だとAMD幹部が明言、オープンソースのプログラミング言語「Triton」の採用でNVIDIAに反撃へ
アメリカの半導体メーカー「AMD」はCPUシリーズの「Ryzen」やGPUシリーズ「Radeon」の開発や製造を行っています。そんなAMDは自社の最優先事項について、「機械学習向けGPU環境やプラットフォームのROCmがAMDにおける最も優先度が高い事業です」と述べています。 ROCm Is AMD’s No. 1 Priority, Exec Says - EE Times https://www.eetimes.com/rocm-is-amds-no-1-priority-exec-says/ これまでAMDのROCmは、競合企業であるNVIDIAのGPU向けソフトウェア「CUDA」に大きな遅れを取っていたとのこと。そこで、AMDでは2022年からROCmの開発をAMD内における最優先事項に設定し、AMDがこれまで培ってきたソフトウェア開発などのノウハウを詰め込んだ新しい組織を立ち上げ
更新履歴 2023年5月7日 「oasst1-89k-ja」データセットを追加して対話システムに対応しました。1024トークンまで会話履歴を保存できます。 前回のモデルで行った質疑応答の正答率は今回のモデルで下がりました。「日本で一番広い湖は？」が91%から89%、「世界で一番高い山は？」が84%から73%に下がりました。（対話は分けた方が良かったのか、それともoasst1の質が良くないとか） 2023年4月13日 「japanese-gpt-1b」モデルを「databricks-dolly-15k-ja」データセットでRLHF (人間のフィードバックからの強化学習)Instruction Tuningしました。 dolly-japanese-gpt-1b 1.3Bパラメータの日本語GPT-2モデルを使用した対話型のAIです。VRAM 7GB または RAM 7GB が必要で、問題なく動作
週刊Railsウォッチ: SorbetのRuby AOTコンパイラが公開、「Compiler Explorer」にRubyが追加、Ractorで非同期通信ほか（20210823後編）｜TechRacho by BPS株式会社
週刊Railsウォッチについて 各記事冒頭には🔗でパーマリンクを置いてあります: 社内やTwitterでの議論などにどうぞ 「つっつきボイス」はRailsウォッチ公開前ドラフトを（鍋のように）社内有志でつっついたときの会話の再構成です👄 お気づきの点がありましたら@hachi8833までメンションをいただければ確認・対応いたします🙏 TechRachoではRubyやRailsなどの最新情報記事を平日に公開しています。TechRacho記事をいち早くお読みになりたい方はTwitterにて@techrachoのフォローをお願いします。また、タグやカテゴリごとにRSSフィードを購読することもできます（例:週刊Railsウォッチタグ） 🔗Ruby 🔗 SorbetのRuby AOTコンパイラ（Ruby Weeklyより） 元記事: Sorbet Compiler: An experime
新型iPad Proに搭載されたA12Zは、GPUコア数が7コアだったA12Xに、「1コア追加して8コアにしたもの」と報じられてきましたが、実際は、「無効になっていた1コアを有効にしたもの」のようです。 A12XのGPUコア数は7コアか8コアか A12ZはA12Xでは無効にされていた1コアを有効にして、もとからあった8コア全てを使えるようにしたものだと、Notebookcheckが報じています。 A12XのGPUコア数を検証 NotebookcheckはTechInsightsにA12ZとA12XのSoCダイの分析を依頼し、下記の報告を受け取りました。 A12Xは8基のGPUコアを備えていることを確認しました。A12Zについても解析を行い、A12Xとの違いを確認する予定です。 TechInsights シニア・テクノロジー・フェロー ユウゾウ・フクザキ 特別な手法ではない Notebook
WSL2 is available on Windows 11 outside of Windows Insider Preview. Please read the CUDA on WSL user guide for details on what is supported Microsoft Windows is a ubiquitous platform for enterprise, business, and personal computing systems. However, industry AI tools, models, frameworks, and libraries are predominantly available on Linux OS. Now all users of AI - whether they are experienced profe
内容にもとづいたアニメ推薦のための Contrastive Learning による埋め込み作成 - kirarajump-tech
創作+機械学習 Advent Calendar 2021 12日目の記事です。昨日は Xiong Jie さんの 超ニッチな二次元画像用リアルタイム超解像モデルを学習させた でした。 adventar.org 2022/11/11 追記: 本記事で紹介した技術がバンダイナムコグループで活用されています。 www.wantedly.com 2022/1/10 追記: 本記事が優秀賞としてノミネートされ、賞金10,000円を頂きました！大切に使います💰 https://kivantium.hateblo.jp/entry/advent-calendar-2021-result 先に結論が知りたい人へ 以下のサイトにアクセスしてみてください。 8x7k.github.io はじめに 皆さんは新しくアニメを見ようと思った時にどのような基準で作品を選択するでしょうか？ 一つの典型的なパターンとして
安くなってきた中古ゲーミングノートPCを使いローカル生成AIのStable-Diffusion ForgeをCUDAでチューニングしてみた。FP8＋LCM Turbo＋HyperTileで3.8秒〜15.4秒/枚とそこそこ高速。CPU対比5倍速。古いGPUでもオススメ
Kapper@Linuxガジェヲタ＆異世界小説家＆生成AI＆電子工作大好き @kapper1224 という事で中古ゲーミングノートブックPC＋CUDA＋Stable-Diffusion Forge＋FP8＋LCM Turbo＋HyperTileで1024x512が7.6秒/枚 Model Memory (MB) = 819.7106971740723 Minimal Inference Memory (MB) = 1024.0 贅沢を言わなければ世代遅れマシンでも十分使える。 CPUと比べて5倍速程度だけど pic.twitter.com/IDI9ICJq8Z 2024-03-24 11:19:13
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
[Latent Diffusion] AIでテキストから画像を生成する
「NVIDIA CUDA Toolkit」に整数オーバーフローの脆弱性、v11.6 Update 2への更新を／任意コードの実行やサービス拒否（DoS）、情報漏洩につながる可能性
52. Split into a row | Researchat.fm
大規模言語モデルを動作させる時に必要なVRAMの使用量を推定してくれる「VRAM Estimator」
みんなのパソコンで走らせたいソフトがガラリと変わってきた！
DLSS 2.0をレビュー、GeForce RTXの価値を爆上げするWQHD＆4K時代の救世主 (1/4)
GeForce RTX 3080 Founders Edition開封の儀、独特な内部構造に迫る (1/4)
お絵描き補助AIアプリ『AI-AssistantV3』公開！｜とりにく
Freedom and Portability
NVIDIAが「GTC 2021」で発表したことの一部まとめ
GeForce RTX 3090 FE降臨！TITAN RTX/RTX 3080 FEと8Kゲーム対決 (1/15)
邪魔な部分を簡単除去 - Lama Cleaner｜るぺったん
NVIDIAがRTX 3050と同じGPU搭載のRTX A1000とA400を発表。ロープロファイル・シングルスロットで最強GPUに？
CUDA 11 Features Revealed | NVIDIA Technical Blog
AMD ROCmを使うことで何ができるのか - シンギュラリティ実験ノート
kaggleの犬GANコンペ振り返り - Qiita
Google Colab で Rinna-3.6B のLoRAファインチューニングを試す｜npaka
PyTorch 三国志（Ignite・Catalyst・Lightning） - Qiita
GeForce RTX 4090基本ベンチ＆解説編！Fire Strike UltraはRTX 3090から93％アップ!? (1/4)
生放送駆動開発を1000日やったら進捗出たのでみんなもやろう！ - Qiita
知られざるマイクロソフトのLinuxディストリビューション「CBL-Delridge」
inu-ai/dolly-japanese-gpt-1b · Hugging Face
A12ZはA12Xの名前を変えただけ、GPUコアはもともと8コア? - iPhone Mania
GPU in Windows Subsystem for Linux (WSL)