DockerでGPU学習環境構築 背景 ディープラーニングでローカルPCのGPUを使った学習環境を構築した経験のある人は、一度はNVIDIAのドライバやCUDA周りでハマった経験があるのではないでしょうか？そんなバッドノウハウ（怪文章？）をまとめたQiita記事（TensorFlowでGPU学習させるためにCUDA周りではまったときの対処法）に、なんとNVIDIAの中の人(@ksasaki さん）から「Dockerを使えば…人類は幸せになれる（超意訳）」とのコメントをいただきました！ 喜び勇んで、NVIDIAのドライバをアップデートしたところ、そこには文鎮と化した起動しないLinuxマシンが…からあげのNVIDIAとの戦いは始まったばかりだ！（戦ってません） DockerでGPU学習環境構築するメリット うまく構築できればという前提で、以下のようなメリットがあります。 様々なフレームワーク
クリプト暴落でGPUの叩き売りがはじまった
暗号通貨暴落でマイニング撤退が加速。 中国・東南アジアではシステムを解体してグラフィックボードをたたき売りするネカフェが早くも出現しています。 もうクリプトは当分反発しそうにないし、このままじゃ電気代の元がとれない、GPUが値崩れ起こす前に少しでも高く売って回収しないと…という焦燥感に駆られるように、ネットの競売、SNSのライブストリームで売りまくってる姿が確認されています。Baiduなどのフォーラムに出ている写真を見ても、デスクや床の上にむき出しのグラフィックボードが散乱していて、まるで撤兵後の野戦場です。 どれだけの安値で売られているのか？気になる相場はだいたいこんな感じです。 ・ NVIDIA GeForce RTX 3060 Ti ：2,699元（約5万5000円） ・ NVIDIA GeForce RTX 3080：たったの1,399元（約2万8500円） や、安い…。安く出品し
ではそもそも“1bit”とは何が1bitなのか、どうして1bitになるとGPUが不要になるのか。LLMでGPUが不要になるとどんな世界が訪れるのか。オーダーメイドによるAIソリューション「カスタムAI」の開発・提供を行うLaboro.AIの椎橋徹夫CEOに聞いた。 プロフィール：椎橋徹夫 米国州立テキサス大学理学部卒業後、ボストンコンサルティンググループに参画。消費財や流通など多数のプロジェクトに参画した後、社内のデジタル部門の立ち上げに従事。その後、東大発AI系のスタートアップ企業に創業4人目のメンバーとして参画。AI事業部の立ち上げをリード。東京大学工学系研究科松尾豊研究室にて「産学連携の取り組み」「データサイエンス領域の教育」「企業連携の仕組みづくり」に従事。同時に東大発AIスタートアップの創業に参画。2016年にLaboro.AIを創業し、代表取締役CEOに就任。 ──まず、1bi
中国製パーツだけでPCが動く環境が徐々にだができつつある。つまり電源やケース、ファンだけでなく、SSDやメモリー、CPU、ビデオカードまで中国企業が開発・製造したパーツが登場しているというわけだ。 以前にも本連載で、中国製パーツを組み立てて、Windowsのアプリまで動く様子について紹介している（「中国独自の命令セットのCPUとパーツを用いた「完全中国製PC」でWindowsアプリが動いたと話題に」）。その後、さらに新たに中国産パーツの新しい話題が出てきたので今回紹介していきたい。 独自命令セットのCPUを開発する龍芯科技 政府からの補助金で徐々に製品を実現し、ついに上場か まず独自命令セットを採用したCPU、「龍芯」をリリースしている龍芯科技は、前回紹介した「3A5000」の後、6月に「3C5000L」を発表した。3A5000と3C5000Lの違いは、前者がコンシューマー向けで後者がサー
関連キーワード 比較 | 制御 | 技術解説 「CPU」（中央処理装置）、「GPU」（グラフィックス処理装置）、「DPU」（データ処理装置）の3つのプロセッサは、システムの“頭脳”として複雑なコンピューティングを可能にする。各プロセッサは、それぞれどう違うのか。CPUの仕組みを解説した前編「いまさら聞けない『CPU』の基礎知識 その大切な役割とは？」、GPUを取り上げた中編「『GPU』はCPUと何が違う？ 用途は画像処理だけじゃない」に続き、後編となる本稿はDPUに焦点を当てる。 DPUとは？ これまでのプロセッサと何が違うのか？ 併せて読みたいお薦め記事 CPUやGPUについてより深く知るには いまさら聞けない「CPU」と「GPU」の違い AIに最適なのはどっち？ 工業大学がCPU×GPUのスパコンを導入 なぜ「GPU」なのか？ PCの黎明（れいめい）期には、1個のプロセッサコア（演算装
最近オープンになる大規模言語モデル（LLM）が、軒並みGPT-4レベルの性能となっています Huggngfaceで無料でダウンロードできるのですが、問題は必要VRAM容量です 話題の、Command-r-Plusは、日本語性能について評価が高く、一部の性能はGPT-4並みと言われますが、さすがに大型で104Bパラメータもあるため、4bitに量子化しても60GB程度のVRAMが必要となります。 コンシューマークラスのGPUの最高峰、RTX4090は、VRAM24GBのため、command-r-plusをすべてGPUに載せて推論しようと考えると、3台のマルチGPUデスクトップが必要です しかし、RTX4090は450W消費のGPUのため冷却機構が大きく、1デスクトップに3台収めるのは至難の業となります。 先日、水冷ラジエーター付きRTX4090で、マルチGPUデスクトップを作成しました。 水冷
ニューラルネットワークのトレーニングや実行にはGPUが使われることが多く、クラウドサービスのGPUの需要はAIの普及に伴い高まりつつあります。そんなクラウドGPUの構成や価格を、AI関連のニュース＆コミュニティサイト・The Full Stackが公開しました。 Cloud GPUs - The Full Stack https://fullstackdeeplearning.com/cloud-gpus/ 表はクラウドサーバーとサーバーレスの2種類に分かれています。ピックアップされたサービスはAmazon Web Service(AWS)やMicrosoft Azure、Cudo Compute、Google Cloud Platform(GCP)、AWS Lambdaなど。Hugging Faceなど一部サービスの記載はありません。 クラウドサーバーの表がこんな感じ。最左列にサービス名
画像生成AI「Stable Diffusion」を4GBのGPUでも動作OK＆自分の絵柄を学習させるなどいろいろな機能を簡単にGoogle ColaboやWindowsで動かせる決定版「Stable Diffusion web UI(AUTOMATIC1111版)」インストール方法まとめ
(2022/09/22 17:52更新)画像生成AI「Stable Diffusion」を簡単に利用するための実行環境の1つである「Stable Diffusion web UI」のコントリビューター(開発貢献者)の1人であるAUTOMATIC1111氏が、フォークではないものの同名で「機能全部盛り」なStable Diffusion web UI(AUTOMATIC1111版)の開発を進めています。 GitHub - AUTOMATIC1111/stable-diffusion-webui: Stable Diffusion web UI https://github.com/AUTOMATIC1111/stable-diffusion-webui ◆目次 1：AUTOMATIC1111版Stable Diffusion web UIでできること・対応していること 2：Google Co
A new tool that blends your everyday work apps into one. It's the all-in-one workspace for you and your team
Apple M1環境でLinuxを動かす「Asahi Linux」のGPUドライバーがついに99％以上という成績でテストをパスしたという報告
Appleが独自開発するSoC「M1」搭載Macでの動作を目指すLinuxディストリビューション「Asahi Linux」で、Linux開発系VTuberの朝日リナ氏が「GPUのカーネルドライバーがテストを99％以上パスした」と報告しました。 ???????????? My Linux M1 GPU driver passes >99% of the dEQP-GLES2 compliance tests!!!!! ???????????? Most of this is thanks to @alyssarzg's prior work on macOS, but now I can replicate it on Linux! ^^ pic.twitter.com/BTI4AIUTkC— Asahi Lina / 朝日リナ //nullptr::live (@LinaAsahi) Fi
米OpenAIの大規模言語モデル（LLM）・GPT-4は今、世界を大きく塗り替え続けている技術の一つだ。世界各国の企業がこぞってLLMの開発を進めている。特にGAFAなどの巨大企業は、その膨大な資源を使ってすでにいくつものLLMを世に放っている。 そんな中、日本では理化学研究所と富士通、東京工業大学、東北大学が、スーパーコンピュータ「富岳」を使ったLLMの研究を今まさに進めている。学習手法の研究からデータの法的な扱いまで幅広く検討し、日本のLLM開発の基盤を作るのが目的だ。 深層学習といえば、今ではGPUを使うのが一般的になっている。しかし富岳はそのGPUを搭載していない。日本にはGPU搭載スパコンも存在するのに、なぜ富岳を使ってLLMを研究するのか。 今回は富士通研究所・コンピューティング研究所の中島耕太所長と白幡晃一さんに、富岳を使ったLLM研究について、その意義を聞いた。富岳は確かに
Googleアカウントさえあれば無料でPythonの機械学習プラットフォームが使えるColaboratory(通称Colab)というサービスがある。既に本連載でも何度か紹介したことがあるが、3月末に待望の有料プランが日本でも始まった。有料プランでも制限はあるもののGPUを備えた超高性能マシンが月1072円で使い放題になったのは大きい。実際に有料版を試してみたので使い勝手を紹介しよう。 1072円で高性能マシンが使い放題に Colabについて復習してみよう まずは、改めてPythonのColabについて紹介しよう。一言で言うならGoogle Colabはブラウザ上で使えるPythonの実行環境だ。Googleが無料で提供しており、教育用途や研究用に使えるものだ。 そもそもPythonで人工知能(AI)を、特に機械学習を試してみたいという人は多いことだろう。ところが、Pythonや機械学習の実
「ChatGPT」のような生成系AIを高速化するサーバー向けGPUをNVIDIAが発表 ライター：米田 聡 GTC 2023の基調講演に登場したJensen Huang氏 2023年3月21日，NVIDIAが主催する恒例のGPU技術関連イベント「GTC 2023」がスタートした。3月22日に行われた同社CEOであるJensen Huang（ジェンスン・フアン）氏の基調講演では，さまざまな新しいAI関連製品やサービスが発表となった。 本稿では，基調講演の一部から，ゲーマーでも知っておく価値がありそうなものにしぼって概要を紹介したい。 計算機リソグラフィ分野に大躍進をもたらす「cuLitho」 NVIDIAは自社で工場を持たない，いわゆるファブレスの半導体メーカーである。ただ，ファブレスといっても半導体の製造技術と無関係でいられるわけではない。とくにGPUは，最先端の製造技術を用いる複雑で大規
GPU不要・メモリ16GBの本当の一般家庭PCでチャットAIを動作させるライブラリ「GGML」が鋭意開発中、すでにRaspberry Piで音声認識AIを動作させるデモも登場済み
ChatGPTやBardなどで利用されているチャットAIは、トレーニングだけでなく動作させるのにも数十～数百GBのVRAMなど非常に高いマシンスペックを要求するのが一般的です。そうした状況を変えるべく、GPU不要でチャットAIを動作させるライブラリ「GGML」の開発が進められています。 ggml.ai http://ggml.ai/ ggerganov/ggml: Tensor library for machine learning https://github.com/ggerganov/ggml GGMLの特徴は下記の通り。 ・Cで記述 ・16bit floatをサポート ・4bit、5bit、8bitの整数での量子化をサポート ・自動微分 ・「ADAM」「L-BFGS」という最適化アルゴリズムを搭載 ・Appleシリコンへの対応＆最適化 ・x86アーキテクチャではAVXおよびAVX
まさかのXeon搭載NUC「Intel NUC 9 Pro」はGPUを選べる頼れるヤツだった：新たなNUCの道（1/4 ページ） 2020年1月の「CES 2020」に合わせて、Intelが新型のNUC（Next Unit of Computing）を披露したことを覚えている人も多いだろう。 従来製品に比べボディーが若干大型化した反面、新たにPCI Expressスロットを備えることで性能と拡張性を高めた新型NUCは、第9世代Coreプロセッサを備えたゲーミング向けモデルが“Ghost Canyon”、Xeonプロセッサなどを搭載するワークステーション向けモデルが“Quartz Canyon”の開発コード名で呼び表される。どちらもベアボーンキットとして提供されるが、国外の一部地域では、既に市場投入が始まっているようだ。 今回取り上げる「Intel NUC 9 Pro Kit NUC9VXQ
「分析コンペLT会」は、KaggleやSIGNATEなど、データ分析のコンペに関連するLT（ライトニングトーク）を行う会です。野澤氏は、Google Colabとvscodeを用いて作るデータ分析環境とその運用について発表しました。 機械学習の勉強環境の1つ「Google Colaboratory」 野澤哲照氏（以下、野澤）：「Google ColabとVSCodeを用いたデータ分析環境運用Tips」ということで、野澤が発表します。 最初から免責で申し訳ないのですが、今日紹介する方法はGoogle側が推奨している方法ではないので、急に使えなくなる可能性もあります。そこだけご了承ください。 今日話す内容ですが、ざっくりGoogle Colab（Google Colaboratory）とVSCodeを紹介して、最終的にどういう環境が作れるかというところと、環境構築手順・運用時のポイントなどを話
Docker社は、WindowsやMac上に簡単にDockerコンテナ環境を導入できる「Docker Desktop」のAppleのM1チップ対応と、WindowsのWSL 2（Windows Subsystem for Linux 2）におけるGPU対応をそれぞれ実現したプレビュー版のリリースを明らかにしました。 プレビュー版は、今回発表された「Docker Developer Preview Program」に申し込むことで、誰でも入手可能です。 In addition, today we’re opening up our Docker Developer Preview Program more widely. Help shape & improve the experience for millions of #Docker users by becoming a member
インターネットイニシアティブ（IIJ）は2021年11月12日、同社にパスワード付きZIPファイルが添付されたメールが届いても2022年1月26日以降はそのファイルを削除しメール本文だけを受信すると発表した。盗聴防止策として知られる「PPAP」にノーを突きつけた格好だ。 PPAPとは、ファイルをやりとりするときファイルをパスワード付きZIPファイルにしてメールで送信し、そのパスワードを別のメールで送る仕組みである。この仕組みをメールサーバーやメールソフトに実装するセキュリティー製品が販売されている。なお、PPAPは「パ（P）スワード付き暗号化ファイルを送った後にパ（P）スワードを送る暗（A）号化プ（P）ロトコル」の略語とされる。 このPPAPにはいくつかの問題点が指摘されている。その1つは、パスワード付きZIPファイルはデータを暗号化するため、セキュリティー製品がファイルの中身をチェックし
AI関連の技術が近年著しい発展を見せているのは、コンピュータの計算能力が大幅に上がったからだといわれている。AIの基礎になっているのは機械学習であり、膨大な量の計算処理を通して分類や回帰、予測といったタスクをこなす。 汎用的な計算はCPU、負荷の高い計算処理にはGPU、と一般にはこの2つのプロセッサが知られるが、実は計算処理に関して言えば、大型のスーパーコンピュータに搭載される「ベクトルプロセッサ」が近年にわかに注目を集めている。なぜなら、一般的なデスクトップPCサイズのマシンでも扱えるようになったからだ。 ベクトルプロセッサはAIの処理など、負荷の高い計算処理で他のプロセッサより格段に高い性能を見せる。DX（デジタルトランスフォーメーション）が進み、「データは石油」と呼ばれるようにデータから新たなビジネスを生み出せるようになった昨今、マシンの計算能力はビジネスの展開速度に直結する。 ベク
西川善司の3DGE：Mark Cerny氏のPS5技術解説プレゼンテーションを読み解く(前編)。ここまで分かったPS5のSSDとGPUの詳細
西川善司の3DGE：Mark Cerny氏のPS5技術解説プレゼンテーションを読み解く(前編)。ここまで分かったPS5のSSDとGPUの詳細 ライター：西川善司 PlayStation 4に続いて，PlayStation 5でもリードシステムアーキテクトを務めるMark Cerny氏 2020年3月19日，ソニー・インタラクティブエンタテインメント（以下，SIE）は，次世代ゲーム機「PlayStation 5」（以下，PS5）のハードウェアに関する詳細を動画にて明らかにした（関連記事）。プレゼンターを務めたのは，PS5のリードシステムアーキテクトであるMark Cerny氏だ。 Cerny氏は，「LISTENING TO DEVELOPERS」（ゲーム開発者の意見を反映した新要素），「BALANCING EVOULTION ＆ REVOLUTION」（進化と革命をバランスした仕様），「FI
ショップに聞く「今、ゲーミングPCを組むならGPUの最低ラインはどれくらい？」：古田雄介のアキバPick UP！（1/4 ページ） 先週は、MSIからGeForce RTX 3050搭載グラフィックスカード「GeForce RTX 3050 VENTUS 2X 8G OCV1」が売り出された。デュアルファンを備えた2スロット占有モデルで、価格は4万1000円弱となる（税込み、以下同様）。 GeForce RTX 3060かRTX 3050か それともCPU内蔵GPUか？ 入荷したTSUKUMO eX.は「デュアルファンのRTX 3050カードでかなり買いやすい価格帯ですね。エントリーなゲーミングマシンを組みたい人に、ちょうどいい選択肢だと思います」と評価していた。
GPU情報 NVIDIA RTX 3080 GPUの価格がオーストラリアで一夜にして崖から転落、世界価格も追随するはず 昨日、NVIDIAがGPUの価格を引き下げたことをお伝えしましたが、他の多くのソースからも、価格下落の包括的なトレンドが裏付けされ始めています。 最も興味深い報告は、HardwareUnboxed（Videocardzより）によるツイートで、オーストラリアにおけるRTX 3080 GPUの価格が一晩で2299ドルから1499ドル（35％以上の下落）になったというものです。 これに、多くの小売業者がバブル崩壊に備えて在庫を薄くしようとしていることが重なれば、世界のGPU価格が大規模に暴落する条件が整ったと言えるでしょう。 2022年3月も世界GPU価格は下落、2年ぶりに過去最安値を更新するGPUも登場 問題の具体的なGPUは、一晩で35％値下がりしたASUSのGeForce
GPT-3などの大規模言語モデルを処理するには高い計算量とメモリが必要なため、通常は複数のハイエンドなAIアクセラレーターが求められます。この処理を、メモリ16GBのNVIDIA Tesla T4やメモリ24GBのNVIDIA GeForce RTX 3090など、メモリ容量が限られたGPU単体でも実行するための生成エンジン「FlexGen」が公開されました。 GitHub - Ying1123/FlexGen: Running large language models like OPT-175B/GPT-3 on a single GPU. Up to 100x faster than other offloading systems. https://github.com/Ying1123/FlexGen#readme FlexGenは大規模言語モデルの推論リソース要件を単一のGPU
コンピューターを動かす上でどうしても出てしまう熱を排出するため、コンピューターには大きなファンを回して温度を下げる空冷式や、パイプを張り巡らせて冷却剤を通して温度を下げる水冷式の冷却装置が取り付けられています。アメリカのスタートアップ・Frore Systemsが、手のひらサイズで従来よりも静かで冷却効率の高い技術「Solid State Active Cooling(ソリッドステートアクティブ冷却)」を開発し、2023年5月30日～6月2日まで開催されたアジア最大規模のコンピュータ見本市「COMPUTEX TAIPEI 2023」で公開しました。 Radical AirJet cooling chips can double a laptop's performance | PCWorld https://www.pcworld.com/article/1388332/new-airje
Appleは2024年5月に開催したイベントの中で、M2チップを搭載した新型iPad Airを発表しました。この新型iPad Airに搭載されるM2チップは、「GPUが10コア」と宣伝されていたのですが、これがひっそりと9コアにダウングレードされていることが明らかになっています。 Apple downgrades new M2 iPad Air, now says it features a 9-core GPU instead of 10-core - 9to5Mac https://9to5mac.com/2024/06/01/m2-ipad-air-gpu-core-count/ Appleは2024年5月に2年以上ぶりとなるiPad Airの新モデルを発表。この新型iPad AirはM2チップを搭載しており、GPUのコア数は「10コア」でした。 史上初の2サイズ展開になった「iPa
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
DockerでのディープラーニングGPU学習環境構築方法 - Qiita
GPUを使ったノイズキャンセリングがすごかった（5月12日追記）【高橋忍のにゃんともWindows】
NVIDIA、1パッケージに2ダイの新型GPU「Blackwell」。AI性能は学習4倍、推論30倍に
生成AIでGPUがいらなくなる？ 業界を揺るがす「1ビットLLM」とは何か、識者に聞いた
Intel、22年ぶりのディスクリートGPU「Iris Xe MAX」を正式発表
【イベントレポート】 Intel、同社初の単体GPU「DG1」搭載ビデオカードを初披露。開発者向けボードは第1四半期中に出荷
中国産CPUやGPUが続々発表、中国政府も力を入れる脱米国は現実化するか？ (1/2)
“第三のプロセッサ”「DPU」とは？ CPU、GPUとの違いは
自宅PCでクラスターを構築：コンシューマーGPUの枠を超え、大型LLMをローカルで動かす！｜AIサトシ
AWS・Azure・Cudoなどが提供するクラウドGPUが1時間あたり何ドルで利用できてどういう構成なのかの一覧表
GPUなサービスをそこそこな費用で運営する | Kai INUI
AMD、次期CPU「Zen 3」を10月8日、GPU「RDNA 2」を10月28日に発表
【イベントレポート】 「第10世代Coreは内蔵GPU性能がはじめてAMDを超えた」。IntelがCESで新世代CPUの性能をアピール
ふっさふさの髪の毛が簡単に描ける「Blender 3.3」がリリース ～2年サポートのLTS／Intel Arc/AMD Vega GPUをフル活用したレンダリングにも対応
ビデオ会議のノイズをAIがカット！ GPUによる配信支援アプリ「NVIDIA Broadcast 1.2」が公開／部屋の反響音やペット・虫の鳴き声、ビデオノイズも除去。ビデオ会議の品質もアップ
なぜ日本はGPUのない「富岳」でLLMを研究するのか 外国に後れを取らないための“現実的な理由”
初めてでもできる！ 自宅PCのGPUを「Google Colab」から使い、生成AIをカンタンに動かす方法【イニシャルB】
ゼロからはじめるPython(76) ColabのGPU高性能マシンが月1072円で使い放題になっていた件
“ペタ”FLOPSの性能を実現したモンスターGPU「NVIDIA H100」
いま、生成AIでNVIDIA GPUが引っ張りだこなワケ
「ChatGPT」のような生成系AIを高速化するサーバー向けGPUをNVIDIAが発表
まさかのXeon搭載NUC「Intel NUC 9 Pro」はGPUを選べる頼れるヤツだった
Google ColabとVSCodeで作るデータ分析環境 クラウドのGPU環境でもローカルと遜色ない開発体験を
【レビュー】 「Ryzen AI 300」は省電力でCPU/GPUはデスクトップ並みという優秀さ。NPU搭載のRyzen AI 9 HX 370を性能検証
AppleのM1チップ対応「Docker Desktop」プレビュー版が登場、WSL2のGPU対応も
【西川和久の不定期コラム】 VRAMが少ないGPUで画像生成AIを諦めていた人に。「Stable Diffusion WebUI Forge」登場！
PPAPの意味はあるのか、AWSのGPUを使ってパスワードを解析してみた
NVIDIA、新GPU「GeForce RTX 3060」発表！予価329ドルで2月下旬発売予定
AI処理にGPU以外の新たな選択肢 デスクトップサイズに収まるスパコン「ベクトルプロセッサ」とは
ショップに聞く「今、ゲーミングPCを組むならGPUの最低ラインはどれくらい？」
NVIDIA RTX 3080 GPUの価格がオーストラリアで一夜にして崖から転落、世界価格も追随するはず - 自作ユーザーが解説するゲーミングPCガイド
【買い物山脈】 中国製GPU「Moore Threads MTT S80」を頑張って買った
単体のGPUでもGPT-3などの大規模言語モデルを処理できる「FlexGen」が登場
カードサイズなのに従来のファンよりもCPUやGPUをガッツリ冷やせて静かな「ソリッドステートアクティブ冷却」とは？
AppleがM2搭載iPad AirのGPUを10コアから9コアにひっそりダウングレード