OpenAIの共同設立者が「GPT-2」をわずか90分の時間と3100円の費用で再現するレポートを公開
2019年に公開されるやいなや「危険すぎる」と話題になったOpenAIの「GPT-2」を、ゼロから作成したレポートが公開されました。作成にかかった時間は、1時間14ドル(約2200円)のクラウドコンピューティングサービスで1時間半だったため、総コストは約20ドル(約3100円)に収まっています。 Reproducing GPT-2 (124M) in llm.c in 90 minutes for $20 · karpathy/llm.c · Discussion #481 · GitHub https://github.com/karpathy/llm.c/discussions/481 # Reproduce GPT-2 (124M) in llm.c in 90 minutes for $20 ✨ The GPT-2 (124M) is the smallest model in t
AWS News Blog
AWS Week in Review – AWS Documentation Updates, Amazon EventBridge is Faster, and More – May 22, 2023 Here are your AWS updates from the previous 7 days. Last week I was in Turin, Italy for CloudConf, a conference I’ve had the pleasure to participate in for the last 10 years. AWS Hero Anahit Pogosova was also there sharing a few serverless tips in front of a full house. Here’s a picture I […] Amaz
IBM、GPUコンピューティングを活用した並列処理向けクラウドサービスを提供 | エンタープライズ | マイコミジャーナル
IBMは11月2日、HPC(ハイ・パフォーマンス・コンピューティング)環境を提供する同社のクラウドサービス「IBM Computing on Demand」の品揃えを拡充、GPUコンピューティング(GPGPU:General-Purpose GPU)による、大量データの並列処理に優れたHPC環境を提供するサービスを同日より開始したことを発表した。 同サービスは、IBMのデータセンターに設置され、HPC向けに構成されたサーバおよびストレージを高いセキュリティで保護されたネットワークを介して利用できるクラウドサービスで、ユーザーの発注から1週間以内に必要な資源を提供することが可能だ。ユーザーは必要なソフトウェアをインストールし、イントラネット上の資源として管理することができる。繁忙期への対応や短期間での新製品開発などで一時的なパフォーマンスの増強が必要な際に、必要な期間だけ利用できるという特長
【特集】GeForce vs ATI Radeon - アーキテクチャ解説で紐解くDirectX 11 GPUの真実 (1) DirectX 11世代SM5.0対応GPUが出揃う | パソコン | マイコミジャーナル
NVIDIAは2010年3月にDirectX 11世代のプログラマブルシェーダ5.0(Shader Model5.0:SM5.0)対応GPUを発表し、翌4月にはデリバリが開始された。DirectX 11世代SM5.0対応GPUとしては、ATIが先行して市場投入を果たしており、NVIDIAは出遅れた感は否めないが、とにかく、GPU強豪メーカー2社からの製品が市場に出揃ったことはユーザーとしては喜ばしい状況だと言えよう。 今回は、強豪2社の製品が出揃ったこのタイミングにて、両者のアーキテクチャを見比べて、細かく考察しておきたいと思う。 DirectX 11世代SM5.0対応GPUが出揃う Windows7が2009年10月に発売され、このタイミングにシンクロする形でWindows環境下のマルチメディアコンポーネントAPIであるDirectXの最新版、DirectX 11もリリースされた。危ぶま
TESLA利用の手引き
TESLA利用の手引き ※安定運用のために、ベストエフォートサービスにつきましては性能保障サービスにおいて実行実績のあるプログラムのみ実行可能とさせていただいております。 詳細はsoudan-tesla@cc.titech.ac.jpにお問い合わせください。なお、性能保障サービスにつきましては事前の登録は不要ですが、ジョブを投入する前に予めtesladebugノード上でインタラクティブ実行による動作確認をお願いします。 はじめに TESLA利用に関する質問について TESLA概要 TESLA利用方法 4.1ログイン 4.2CUDAツールキット 4.3SDK 4.4PGIコンパイラ 4.5コンパイル 4.6実行 4.7制限事項 CUBLASライブラリの利用 5.1ヘッダー・ライブラリ 5.2CUBLASで扱う配列形式 5.3コンパイル方法(C言語) 5.4コンパイル方法(FORTRAN
NVIDIA、「CUDA Toolkit 2.3」をリリース - 新機能サポートで性能向上 | パソコン | マイコミジャーナル
NVIDIAは、GPUコンピューティング向けCUDA ToolkitおよびSDKのバージョン2.3をリリースしたと発表した。今回リリースされたCUDA Toolkitには、性能の向上させる複数の新機能と、cuda-gdbハードウェア・デバッガへの対応の拡張が含まれている。同社CUDA ZONEにて配布を開始している。 CUDA Toolkit 2.3で追加された新機能は以下の通り。 CUFFT Libraryが倍精度変換に対応。また、単精度変換の性能が向上。 インストーラに、CUDA-GDBハードウェア・デバッガ、およびCUDA Visual Profilerが含まれるようになった。CUDA-GDBデバッガは、対応するすべてのLinuxディストリビューションで利用可能。 SLIグループ内の各GPUが個別に列挙されるようになり、計算アプリケーションは、SLIがグラフィックス向けに有効になって
Optimizing Parallel Reduction in CUDA の抄訳
この文書は Paralle Reduction の項にある Whitepaper の抄訳です。 CUDAでプログラムを書くにあたってのテクニックが多数詰まっています。 並列リダクション (Parallel Reduction) リダクションは並列データ処理を構成する一般的かつ重要な部品である。 CUDAでの実装は容易だが理解するのは実装よりも困難である。 最適化の非常に有益な事例である。 この文書では7種類の異なるバージョンを一つずつ検証する。 それぞれの thread block では(二分)木構造ベースのアプローチを用いる。 (実装にあたっては)、一つの対象について複数の thread block を用いて reduction を実行できるようにする必要がある。 巨大な配列に対して処理を行う場合に全ての multiprocessor を稼動させる ためには、各 thread block
【特集】超並列プロセサ - GeForceアーキテクチャとCUDAプログラミング | エンタープライズ | マイコミジャーナル
Copyright (C) Mainichi Communications Inc. All rights reserved. 掲載記事の無断転載を禁じます
後藤弘茂のWeekly海外ニュース
■後藤弘茂のWeekly海外ニュース■ KhronosがGDCでGPUやCell B.E.をサポートするOpenCLのデモを公開 ●OpenCLの実装テストのスタートは5月 世界中のゲーム開発者が集まるカンファレンス「GDC (Game Developers Conference)」でKhronos Groupは、ヘテロジニアスな並列コンピューティングのためのプログラミング言語である「OpenCL」のオーバービューのセッションを行なった。 OpenCLは、NVIDIAの「C for CUDA (OpenCLもCUDAのランタイムに落とし込むため、従来の拡張CをベースにしたCUDAはC for CUDAと呼ぶようになった)」のように、GPUを汎用コンピューティングに使うことができるプログラミング言語だ。しかし、NVIDIA独自のC for CUDAとは異なり、クロスプラットフォームのプログラ
NVIDIA、GPU活用の新企業を支援するベンチャーファンド設立
NVIDIAは米国時間3月10日、高性能ビジュアルコンピューティング分野にグラフィックスプロセッサを活用する企業を支援し、早期の出資を進めるプロジェクト「GPU Ventures Program」を立ち上げた。 NVIDIAは、これまで何年にも渡って、すでに実行してきたプロセスを確立する目的で、GPU Ventures Programの設立に至ったと、同社事業開発部門バイスプレジデントのJeff Herbst氏は、電話でのインタビューで語っている。Herbst氏は、7年半に及ぶ期間、NVIDIAの戦略的提携分野で活躍してきた人物である。 Herbst氏は「GPUを中心とした事業の立ち上げを目指している企業に、われわれは注目している。その事業には、3Dを用いたGUI（グラフィカルユーザーインターフェース）や、われわれが当初は出資していたGoogle Earth、仮想世界、ゲーム、人工知能、物
【レポート】「CUDA」技術の全貌 - GeForce 8800を汎用ベクタプロセッサとして活用!? (1) GPGPUでは制約が多すぎる | パソコン | マイコミジャーナル
CPU並のプログラマビリティを身につけたDirect X10世代プログラマブルシェーダ4.0仕様(SM4.0:Shader Model4.0)対応GPUの活躍の場を広げる意味合いから、NVIDIAはGPUにグラフィックス以外の汎用アプリケーションを走らせる「CUDA」構想を発表した。 命令指向コンピューティングとデータ指向コンピューティング コンピューティングには2タイプがあるとNVIDIAは分析する。1つは「命令指向」(Instruction Centric)、そしてもうひとつは「データ指向」(Data Centric)だ。 「命令指向」(Instruction Centric)コンピューティング CPUの進化の方向性 「データ指向」(Data Centric)コンピューティング GPUの進化の方向性 CPUが取り扱うテーマはまさしく「命令指向」であり、複雑な構造を持ったタスクがシーケ
【レポート】"GeForceの父" David Kirk博士、東大で並列コンピューティングについて講演 (1) NVIDIAのDavid Kirk博士が講演 | パソコン | マイコミジャーナル
9月11日、NVIDIAのチーフ・サイエンティストを務めるDavid Kirk博士が来日し、東京大学にてGPUを活用した並列コンピューティングについての講演を行った。 NVIDIAチーフサイエンティスト、David Kirk博士 GPGPU向けコンピューティングモジュール「Tesla」シリーズを紹介 講演会の様子 今回のKirk氏の講演の主題は「コンピュータグラフィックス」ではなく、グラフィックスプロセッサ(GPU)を活用した並列コンピューティングであった。 このためKirk氏がまず紹介したのは、GeForceでも、Quadroでもなく、この夏紹介したばかりの並列コンピューティングボックス「Tesla」であった。 講演内容の主題はGPUを活用した並列コンピューティングであった Teslaは、GeForce 8800 GTX世代のGPU「G80」をGPGPU(General P
NVIDIAが新ブランド「Tesla」、GPUの演算能力をHPCに活用 | エンタープライズ | マイコミジャーナル
米NVIDIAは6月20日(現地時間)、「Tesla」という新ブランドでHPC(High-Performance Computing)向けのGPUコンピューティング製品を提供することを発表した。地学、分子生物学、地球物理データなど、高度なシミュレーションを必要とする分野にGPUの浮動小数性能やパラレルデータ処理能力を活用する。 同社は発表の中で「NVIDIA Teslaブランドの下、GPUコンピューティング製品を通じて、従来までスーパーコンピュータからしか得られなかった処理能力を全ての科学者やエンジニアに提供する。今日のワークステーションを"パーソナル・スーパーコンピュータ"に変える」と説明している。またNVIDIAの社長兼CEOのJen-Hsun Huang氏によると、「演算処理にかかる時間がケースによっては数週間が数時間に短縮される。NVIDIA Teslaの劇的な効果は、HPC産業に
【特集】GeForce vs ATI Radeon - アーキテクチャ解説で紐解くGPU戦争"夏の陣" (前編) (1) 何が違うの? まずは最新GPUの基本情報 | パソコン | マイコミジャーナル
GeForce vs ATI Radeon〜後編はこちら 【特集】GeForce vs ATI Radeon - アーキテクチャ解説で紐解くGPU戦争"夏の陣" (後編) NVIDIAは6月17日にGeForce GTX 200シリーズを、そしてAMD(ATI)は6月25日にRadeon HD 4800シリーズを発表した。 ATIとNVIDIAが長年にわたって繰り広げて来ているGPU戦争、「2008年、夏の陣」では、それぞれのGPUに対する異なる戦略が明確になってきたと感じる。 NVIDIAは14億トランジスタでビッグチップを復権か。ATIは順当な規模拡張を果たす まずは両者のネーミングについて触れておこう。 NVIDIAの新GPUはGeForce GTX 280とGTX 260で、前者が上位モデルとなる。先代までのGeForce 7000/8000/9000という4桁型式番か
【レポート】「CUDA」技術の全貌 - GeForce 8800を汎用ベクタプロセッサとして活用!? (1) GPGPUでは制約が多すぎる | パソコン | マイコミジャーナル
CPU並のプログラマビリティを身につけたDirect X10世代プログラマブルシェーダ4.0仕様(SM4.0:Shader Model4.0)対応GPUの活躍の場を広げる意味合いから、NVIDIAはGPUにグラフィックス以外の汎用アプリケーションを走らせる「CUDA」構想を発表した。 命令指向コンピューティングとデータ指向コンピューティング コンピューティングには2タイプがあるとNVIDIAは分析する。1つは「命令指向」(Instruction Centric)、そしてもうひとつは「データ指向」(Data Centric)だ。 「命令指向」(Instruction Centric)コンピューティング CPUの進化の方向性 「データ指向」(Data Centric)コンピューティング GPUの進化の方向性 CPUが取り扱うテーマはまさしく「命令指向」であり、複雑な構造を持ったタスクがシーケ
【特集】超並列プロセサ - GeForceアーキテクチャとCUDAプログラミング (1) グラフィックプロセッシング | エンタープライズ | マイコミジャーナル
最近、GPUの計算性能の高さからGPGPU(General Purpose Computation on Graphics Processing Unit)とかGPUコンピューティングとか言われる、GPUを科学技術計算処理に利用する研究が盛んになっている。また、GPUを製造するNVIDIAは、科学技術計算を3Dグラフィックスに続く新市場として捉えており、Teslaという科学技術計算用の製品を発売し、GPU上のプログラム開発環境としてCUDA(Compute Unified Device Architecture)を公開している。但し、NVIDIAのDavid Kirkチーフサイエンティストは最近、"GPGPU is dead, GPU Computing is the future for affordable supercomputing"と題した講演を行っており、同社はGPGPUという
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
NVIDIA DGX | NVIDIAエリートパートナー
パソコン（PC）通販のドスパラ
【後藤弘茂のWeekly海外ニュース】 NVIDIA Fermiのマルチスレッディングアーキテクチャ