並び順

ブックマーク数

期間指定

  • から
  • まで

161 - 200 件 / 2567件

新着順 人気順

gpuの検索結果161 - 200 件 / 2567件

  • 速報:話題の 1ビットLLMとは何か?|寺田英雄(㈱オープンストリームCTO)

    2024-02-27にarXiv公開され,昨日(2024-02-28)あたりから日本のAI・LLM界隈でも大きな話題になっている、マイクロソフトの研究チームが発表した 1ビットLLMであるが、これは、かつてB-DCGAN(https://link.springer.com/chapter/10.1007/978-3-030-36708-4_5; arXiv:https://arxiv.org/abs/1803.10930 )という「1ビットGANのFPGA実装」を研究していた私としては非常に興味をそそられる内容なので、論文を読んでみた。今回は速報として、その内容のポイントを概説したい。 論文情報 Ma, S. et al. (2024) ‘The Era of 1-bit LLMs: All Large Language Models are in 1.58 Bits’, arXiv [c

      速報:話題の 1ビットLLMとは何か?|寺田英雄(㈱オープンストリームCTO)
    • 「男の子って、こういうのが好きなんでしょ?」→こういうので良いんだよという漫画。「女子も好きです!」

      カマヤキぱんち『第三皇女の万能執事』連載中 @kmyk_243 折角なので宣伝させて下さい〜! 漫画家を目指しておりますカマヤキぱんちと申します🙌 過去に描いた漫画の類をまとめたので、ちらっと覗いて行っていただけたら嬉しいです☺️ twitter.com/i/events/14818… 2022-01-14 16:18:05

        「男の子って、こういうのが好きなんでしょ?」→こういうので良いんだよという漫画。「女子も好きです!」
      • 【unsloth + Gemma3】RAG時代終了か?高精度・高速LLMモデルをローカルPCで爆速FTする! - Qiita

        Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? みなさんこんにちは。私は株式会社ulusageの、技術ブログ生成AIです。これからなるべく鮮度の高い情報や、ためになるようなTipsを展開していきます。よろしくお願いします。(AIによる自動記事生成を行なっています。システムフローについてなど、この仕組みに興味あれば、要望が一定あり次第、別途記事を書きます。) 今回は、大規模言語モデル(LLM)のファインチューニングを劇的に効率化する「UnslothAI」と、Googleの最新モデル「Gemma 3」を組み合わせた実践的な活用方法について、徹底的に解説していきます。特に、限られた計算資源

        • テスラ、ビットコイン決済を停止 「環境負荷を懸念」 - 日本経済新聞

          【シリコンバレー=白石武志】米テスラは12日、暗号資産(仮想通貨)「ビットコイン」を使った電気自動車(EV)などの購入手続きを一時停止したと発表した。「マイニング(採掘)」と呼ぶ計算作業で消費する電力を発電するために、化石燃料の使用が増えていることを懸念したためとしている。イーロン・マスク最高経営責任者(CEO)が12日付のツイッターへの投稿で明らかにした。投稿の中で同氏は「仮想通貨は様々な面

            テスラ、ビットコイン決済を停止 「環境負荷を懸念」 - 日本経済新聞
          • WebGPUがついに利用可能に - WebGL以上の高速な描画と、計算処理への可能性 - ICS MEDIA

            2023年5月にリリースされたGoogle Chrome 113で、次世代WebグラフィックスのJavaScript APIであるWebGPU(ウェブジーピーユー)がデフォルトで利用できるようになりました。ICS MEDIAでは2018年にWebGPUについて紹介していましたが、当時はSafariで開発者向けのフラグを有効にした場合にのみお試しできる実験的機能でした。 デスクトップChrome限定ではありますが、WebGPUが一般ユーザーの環境でも動作できるようになったいま、オリジナルのデモを交えてあらためてWebGPUを紹介します。 この記事で紹介すること WebGPUがChrome 113で標準で利用可能になった WebGPUはモダンな3D APIに直接アクセスすることで、WebGLより高い性能が得られる WebGPUだとドローコールの最適化をしなくても十分に高速 WebGPUはコンピ

              WebGPUがついに利用可能に - WebGL以上の高速な描画と、計算処理への可能性 - ICS MEDIA
            • alacritty+tmuxもいいけど、weztermがすごい件

              私はターミナルが大好きなので毎日使っているんですが、永らく alacritty + tmux を愛用してました。(といってもさっき見たら alacritty 使ってたのは 1 年ちょっとだったらしい・・・) しかし最近 wezterm というターミナルの話を Reddit とかでちょくちょく聞くようになってたので 2022 年個人開発環境大変革[1]に合わせて試してみることにしました。 wezterm とは? wez さんが作った Rust 製の GPU-accelerated で cross-platform なターミナルです。自分の名前をプロダクトに入れるところに正直自信の表れを感じます w wez さんは 2022 年現在 Facebook(meta)で働いているようです。 まぁけど、Rust 製の GPU-accelerated で cross-platform なターミナルってそ

                alacritty+tmuxもいいけど、weztermがすごい件
              • 仮想通貨バブルは終わるが、PCパーツ屋はグラボ闇市から抜け出せない

                追記したよ https://anond.hatelabo.jp/20210604111746 5月半ばのビットコインとアルトコイン大暴落につづいて、 7月には仮想通貨の1つであるイーサリアムの運用にグラボが必要なくなるアップデートがくる。 それによってグラボが潤沢になる予想をしている人が多いだろうけど、事態はもう次のステージになっちゃったんだよね そう、今のままの値付けで向こう何年かはグラボを高騰させ在庫は希少と偽ったまま売られ続けるってこと。 仮想通貨バブルで一番儲かった奴は誰だかわかる? グラボを出しているNVIDIA?AMD?それともそれぞれのパーツメーカー? あるいは本当にマイニングしているマイナー?? 正解は……小売りしてるPCパーツ屋!!!!!!!! 値上げで味をしめたPCパーツ屋はもう何があろうと値下げしない。 この前RTX3080TiとRTX3070Tiが発表されたけど、N

                  仮想通貨バブルは終わるが、PCパーツ屋はグラボ闇市から抜け出せない
                • HPCプログラマの書くコードってなんで古臭いの?

                  TL;DR Q: HPCプログラマの書くコードってなんで古臭いの? A: そうしないと性能が出なかったから はじめに スパコンを使ってそれなりに長いこと研究をしています。初めてスパコンを使ったのは今から25年くらい前です。発展の早い世界ですので、昔と今ではだいぶ違ってきています。この前、スパコンを使う時の「常識」がすでに現在では常識ではなくなっているっぽいことを知り、私も「そっち側」になったのか、と感慨深くなりました。以下は、HPC業界の語り部に片足を突っ込んだおっさんの戯言です。 なお、以下では主に「京」の話をするため、富士通のC++コンパイラに文句を言う形になりますが、富士通が悪いのではなく、昔のスパコンに搭載されていたC++コンパイラはどれもかなり酷かったということはあらかじめ言っておきたい気がします。IBMのコンパイラとかも酷かったし、なんならIntelのコンパイラもバグだらけだっ

                    HPCプログラマの書くコードってなんで古臭いの?
                  • RISC-Vが面白くなってきたぞ

                    (雑に書いている戯言であることを最初に断っておきます。あくまで個人の感想です。) 実は私は今までRISC-Vには懐疑的だったのですが、最近の状況を知って考えを改めました。 RISC-Vとは RISC-V(リスク ファイブ)とはオープンソースライセンスで提供されている命令セットアーキテクチャ (ISA)です。 研究にも使うことができるし、実際に多くの半導体メーカーがこの仕様に基づいたCPUを開発、出荷しています。 多くのオープンソースのOSやツールチェインもすでにRISC-Vに対応しています。 私が懐疑的だった理由 RISC-Vはオープンソースであるゆえ、自由に拡張することができます。そのため様々な派製品が登場しています。シンプルな組み込み用のマイクロコントローラからパソコン用、サーバ用、HPC用など広い分野に渡ります。 かつてRISCの考え方にもとづいて開発されたMIPSというCPUがあり

                      RISC-Vが面白くなってきたぞ
                    • NVIDIAいわく「Nintendo Switch 2はSwitchの10倍のグラフィック性能」。専用コア搭載でレイトレ、DLSSアップスケーリングなどに対応 - AUTOMATON

                      NVIDIAは4月4日、「Nintendo Switch 2」(以下、Switch 2)にて採用されているプロセッサや機能の詳細を発表した。 Switch 2は、2017年3月3日に発売されたNintendo Switch(以下、Switch)の後継機種として、今年6月5日に発売予定。Switch 2でも、携帯モードと、ドックに取り付けてのTVモードの双方として使える点や、コントローラーを本体から取り外して使える点など、 Switchの特性を引き継いでいる。一方でSwitch 2では、CPUやGPUの性能が大きく向上。画面は6.2インチから7.9インチに大きくなり、解像度は1080pに、対応フレームレートは120fpsに向上しているという。TVモードでは画面解像度1440p、および4Kでの出力にも対応する。 そんなSwitch 2でもSwitchに引き続き、NVIDIA製のCPUおよびGP

                        NVIDIAいわく「Nintendo Switch 2はSwitchの10倍のグラフィック性能」。専用コア搭載でレイトレ、DLSSアップスケーリングなどに対応 - AUTOMATON
                      • オープンなLLMをローカルPCのDocker環境で動かす

                        次々と発表されるオープンな日本語大規模モデル どうなっているの??という感じですよね。 我らがnpakaさんは、さっそくGoogle Colabで動かしていらっしゃいます。 ただ、Google Colabだと毎回モデルのダウンロードが大変なので、ローカルでDocker使って手軽に動かせるといいな、ということでやってみました。 以下GitHubのリポジトリにDockerfileとサンプルプログラムをおいています。チャットっぽいことをできるようにしています。 上記で、サイバーエージェントとリンナのLLMが両方動きます。 使用環境 前提となる環境です。使用しているPCのスペックは以下です。 項目 内容

                          オープンなLLMをローカルPCのDocker環境で動かす
                        • 女性 on Twitter: "M2 も性能上がってない(GPU のクロック増加*コア増加ぐらいで CPU は一切手つけてない)し、 Apple の CPU 部門まじでなんかあったっぽいね。 M2 の製品寿命も 1.5 年だとすれば 3 年間一切性能上がらないと… https://t.co/IvcsjVDcn7"

                          M2 も性能上がってない(GPU のクロック増加*コア増加ぐらいで CPU は一切手つけてない)し、 Apple の CPU 部門まじでなんかあったっぽいね。 M2 の製品寿命も 1.5 年だとすれば 3 年間一切性能上がらないと… https://t.co/IvcsjVDcn7

                            女性 on Twitter: "M2 も性能上がってない(GPU のクロック増加*コア増加ぐらいで CPU は一切手つけてない)し、 Apple の CPU 部門まじでなんかあったっぽいね。 M2 の製品寿命も 1.5 年だとすれば 3 年間一切性能上がらないと… https://t.co/IvcsjVDcn7"
                          • DeepSeek R1をほぼ準備なしからローカルGPUで動かす|しぴちゃん

                            しぴぴぴ! Vtuberのしぴちゃん (https://www.youtube.com/@CP-chan)です。普段はゲーム配信しかしてませんが、たまにAIについて発信することがあります。今日はAIの記事の方。 現在はローカルAIモデルに関する連載をしています。 第一弾 本記事(DeepSeek R1をほぼ準備なしからローカルGPUで動かす) 第二弾 Cline+ローカル版DeepSeek R1でAIコーディングを使い放題にする(高スペックマシン向け) 最近話題のローカルで動くLLM、DeepSeek R1 をローカルGPU環境(NVIDIA)で動かしてみましょう。 多少のコマンドラインの操作ができれば、事前にローカルLLMを触ったことがなくてもインストールできるように書くつもりです。 サムネはDeepSeek R1くんに画像を生成してもらおうとしたところです(そんな機能はありません)。

                              DeepSeek R1をほぼ準備なしからローカルGPUで動かす|しぴちゃん
                            • GeForce RTX 3060は“ゲーマーに届く”。マイニング性能を半分に制限

                                GeForce RTX 3060は“ゲーマーに届く”。マイニング性能を半分に制限
                              • 米国速報:Windows11が9月26日に「Copilot」を正式搭載で150を超える新機能&新Surfaceも!

                                米マイクロソフトは、現地時間9月21日に発表会を開催し、26日にWindows11の最新アップデートをおこない、AIツール「Copilot」を正式に実装すると発表。同時にSurfaceの新モデルも公開した。 Copilotは、9月26日からWindows11への無料アップデートの一部として提供され、今秋には Bing、Edge、Microsoft 365 Copilot にも展開される。公開されるWindows11は150を超える新機能を備え、Copilotのパワーと、ペイント、フォト、ClipchampなどのアプリにAIを活用した新機能が加わる。 ○Copilotのプレビュー版は常にタスクバー上に表示されるか、Win+Cショートカットを使用して起動可能となる。 ○ペイントアプリでは、生成AIによるCocreatorのプレビューに加え、背景の削除とレイヤーが追加され、画像作成にAIが活用で

                                  米国速報:Windows11が9月26日に「Copilot」を正式搭載で150を超える新機能&新Surfaceも!
                                • 【2024年版】WSL2+Ubuntu24.04+Docker+GPUでつくる機械学習環境

                                  はじめに WSL2(Windows Subsystem for Linux 2)は、Microsoft Windows上でLinuxカーネルを直接実行できるようにする機能です。 この記事ではWSL2環境にDockerを導入しGPUを用いた機械学習環境を構築する手順を紹介します。 構築イメージは以下の図の通りです。NvidiaGPUを搭載したマシンにWSL2環境を構築します。Dockerを用いてコンテナを用意し、CUDAは各コンテナ内のCUDA Toolkitを用いて利用します。 今回開発するPCのスペックは以下の通りです。 Windows 11 Windows version: 22H2 GPU:NVIDIA Geforce RTX 3060 12GB 設定 1. WSL2を有効化 デフォルトではWSL2環境が無効化されている可能性があるので、始めに有効化しておきましょう。 「コントロール

                                    【2024年版】WSL2+Ubuntu24.04+Docker+GPUでつくる機械学習環境
                                  • 新型グラフィックボード「RTX4090」がPS5と同等のビッグサイズでマザーボード"が"支えられる新時代へ突入

                                    NVIDIA GeForce JP @NVIDIAGeForceJP 「GeForce その先へ」特別配信で発表された最新アップデート👇 🟢 GeForce RTX 4090 & 4080 近日発売 🟢 新しい DLSS 3 の オプティカル マルチ フレーム生成 🟢 35以上の DLSS 3 対応のゲームとアプリ 🟢 Portal with RTX 🟢 @NVIDIAStudioJP のアップデート 詳細 ➡️ nvda.ws/3xEnBgn pic.twitter.com/vRfVabAOJs 2022-09-21 08:39:23 NVIDIA GeForce JP @NVIDIAGeForceJP 開封動画が公開 📢 新しいフラグシップ「GeForce RTX 4090」の発売に先駆けて、開封動画をご覧ください 👇 👀 フル版の開封動画はこちら(英語): nvda

                                      新型グラフィックボード「RTX4090」がPS5と同等のビッグサイズでマザーボード"が"支えられる新時代へ突入
                                    • AI時代に起業するということ|shi3z

                                      生成AI以前と以後で、会社のあり方は決定的に変化していくのだと思う。 たとえば、昨日はとある会議で、「この(AI)サービスの原価はいくらか」という議論が沸き起こった。 AIサービスなのだから、AIの利用料くらいしかかからないかというとそうでもない。実際、AIを動かすためにはAIそのものにかかるお金以外の人件費がかかる。誰かに売る人の人件費や、システム開発のための人件費や、サポートのための人件費だ。ただ、AIサービスの場合、人件費を極限まで最小化することができる、という点が決定的に違う。 また「AIの利用料」も、「APIの利用料」なのか、ベアメタルサーバーの月額利用料なのか、それとも自社に持っているGPUマシンの電気代なのか、という議論のポイントがある。 あまり多くの人は語らないことだが、実は起業には再現性がある。 つまり、一度でも事業をうまく立ち上げたことがある経験を持つ人は、次も事業をう

                                        AI時代に起業するということ|shi3z
                                      • AMD、Ryzen 7000シリーズを9月27日に発売。299ドルでCore i9-12900Kを上回るゲーム性能

                                          AMD、Ryzen 7000シリーズを9月27日に発売。299ドルでCore i9-12900Kを上回るゲーム性能
                                        • Apple、M4チップを搭載した美しく新しいiPad ProとApple Pencil Proを発表

                                          Apple、世界で最も先進的なディスプレイとM4チップを搭載した美しく新しいiPad Proと Apple Pencil Proを発表 新しい薄くて軽いデザイン、画期的なUltra Retina XDRディスプレイ、とてつもなく高速なM4のパフォーマンスとパワフルなAI機能を備えた新しいiPad Proは、飛躍的に進化しました カリフォルニア州クパティーノ Appleは本日、驚くほど薄くて軽いデザインで、持ち運びやすさとパフォーマンスを次のレベルへ引き上げる、革新的な新しいiPad Proを発表しました。シルバーとスペースブラックの仕上げが用意されている新しいiPad Proは、広々とした13インチのモデルと極めて持ち運びやすい11インチのモデルの2つのサイズで提供します。どちらのサイズも、世界で最も先進的なディスプレイである、最先端のタンデムOLEDテクノロジーを採用した新しい画期的なU

                                            Apple、M4チップを搭載した美しく新しいiPad ProとApple Pencil Proを発表
                                          • 最強CPU将棋ソフト『水匠』VS最強GPU将棋ソフト『dlshogi』長時間マッチ観戦記 第一譜『水匠』杉村達也の挑戦

                                            取材・文/白鳥士郎 「……まさか?」 『水匠』開発者・杉村達也は、自身の開発した将棋ソフトの読み筋にその文字を見つけた瞬間、血の気が引いていくのを感じた。 『それ』が存在することを、杉村は事前に知ってはいた。 同時に、極めて再現性が低いということも知っていた。ある棋士はその出現率を「2年で3~4回」と語っていたのだから……。 『それ』について、『やねうら王』の開発者である磯崎元洋(やねうらおのペンネームで知られる)もやはり「再現性がない」という理由で、大して取り合ってくれなかった。 つまり、いつ出るかわからないし、出る確率も極めて低いということである。 しかしそれが今、水匠の読み筋の中にはっきりと出現していた。 「え!? こ、ここで出るのか……」 しかも『それ』が出たのは、水匠だけではなかった。 検討のために別のパソコンを使って走らせていた、別のソフトでも……その『バグ』が出現していたのだ

                                              最強CPU将棋ソフト『水匠』VS最強GPU将棋ソフト『dlshogi』長時間マッチ観戦記 第一譜『水匠』杉村達也の挑戦
                                            • AMD、Zen 3採用のデスクトップCPU「Ryzen 5000」シリーズ

                                                AMD、Zen 3採用のデスクトップCPU「Ryzen 5000」シリーズ
                                              • GeForce RTX 5090/5080を求めて客が殺到。パソコン工房パーツ館の周辺は大混乱、抽選販売は中止に実売価格は約20~58万円だが大人気

                                                  GeForce RTX 5090/5080を求めて客が殺到。パソコン工房パーツ館の周辺は大混乱、抽選販売は中止に実売価格は約20~58万円だが大人気
                                                • NEC、「標準的GPU 1基で動く」世界トップクラスの日本語LLM

                                                    NEC、「標準的GPU 1基で動く」世界トップクラスの日本語LLM
                                                  • Mac相場に異変 独自CPUが中古市場に余波 - 日本経済新聞

                                                    中古パソコン市場で、米アップルのパソコン「Mac」シリーズがかつてない勢いで値下がりしている。アップルが2020年11月に発売した自社開発のCPU(中央演算処理装置)「M1」チップの性能が市場予想を上回り、それまでのインテル製CPUを搭載した旧製品からの乗り換え需要を誘発しているためだ。【関連記事】・・・「20年近くこの業界をみているが、ここまで中古Macパソコンの価格が下がった経験はない」。東京・秋葉原で中古パソコンを取り扱う店主はため息をつく。中古パソコンなどを扱う秋葉館(東京・千代田)では、中古のMacBook Pro(18年発売、13インチ)の1月中旬の価格が

                                                      Mac相場に異変 独自CPUが中古市場に余波 - 日本経済新聞
                                                    • Intel CPUとAMD CPUの混在による問題に直面した話 | 開発ブログ | Elastic Infra

                                                      チーフエンジニアの加辺です。 今日は珍しいトラブルに出会ったので紹介します。 起こった問題 ある環境ではEC2によりサーバを運用しており、アプリケーションをデプロイサーバでビルドし、その成果物をアプリケーションサーバへコピーすることでデプロイとしていました。 ここで新規サーバを作成していたところ、一部のアプリケーションサーバで見慣れないエラーが発生し、アプリケーションが起動しないという事象が確認されました。調べたところ、デプロイサーバはt3、アプリケーションサーバはt3aファミリーが利用されていることがわかり、アプリケーションサーバをt3ファミリーへ変更したところ、問題が発生しなくなることが分かりました。 さて、これはどのような機序によるものでしょうか。 調査 記事タイトルで答えをほとんど書いてしまっていますし、t3, t3aを知っていれば明らかですが、これはIntelとAMDの違いです。

                                                        Intel CPUとAMD CPUの混在による問題に直面した話 | 開発ブログ | Elastic Infra
                                                      • 【西川善司のグラフィックスMANIAC】 ためになる3Dグラフィックスの歴史(2)。緑のたぬきと赤いきつねのバトルで育まれたGPU技術たち

                                                          【西川善司のグラフィックスMANIAC】 ためになる3Dグラフィックスの歴史(2)。緑のたぬきと赤いきつねのバトルで育まれたGPU技術たち
                                                        • Blender MCP を試す|npaka

                                                          「Blender MCP」を試したのでまとめました。 1. Blender MCP「Blender MCP」は、「MCP」を介して「Claude」を「Blender」と直接対話できるようにします。この統合により、プロンプトによる3Dモデル作成や操作などが可能になります。 2-2. Claude Desktop AIアシスタントのClaudeを利用するためのデスクトップアプリケーションです。 ・Claude Desktop​ 2-3. Python 3.10以降 + uvPythonは、公式サイトから適切なバージョンをインストールします。​ uvのインストール手順は、次のとおりです。 ・Mac brew install uv・Windows powershell -c "irm https://astral.sh/uv/install.ps1 | iex" set Path=C:\Users

                                                            Blender MCP を試す|npaka
                                                          • Ollamaで体験する国産LLM入門

                                                            近年、AIの中でも大規模言語モデル(LLM)の研究開発が特に活発に進められています。日本でも日本語に特化した国産LLMの開発競争が熾烈を極めています。さらには、小規模でも高性能なLLMが登場し、GPUのない手元のPCでも簡単にLLMを動かせる時代が到来しました。 本書では、まずLLMを動かすための基本的な知識をわかりやすく解説します。LLMについて学ぶには膨大な知識が必要と思われがちですが、動かす(推論する)だけであれば、いくつかの重要なポイントを押さえるだけで十分です。 その上で、OllamaというLLM推論フレームワークを活用し、実際にいくつかの国産LLMを動かしてみます。Ollamaはローカルで動かせるオープンソースソフトウェア(OSS)でありながら、Google Cloud等のクラウドプロバイダーとの連携を強めており、今後はLLM推論フレームワークとしてのデファクトスタンダードにな

                                                              Ollamaで体験する国産LLM入門
                                                            • WSL2 を導入すると、思った通り Windows10 は仮想マシン上で動作した(と思う) - Qiita

                                                              WSL2 と Hyper-V と Parent partition 現在では多くの方が自分のPCにWSL2(Windows Subsystem for Linux 2)をインストールし、Windows上でLinuxライフを満喫しているのではないかと思います。 さてさてマイクロソフトさんからWSL2の発表があった時、それを伝えていた記事の中に「WSL2はHyper-Vの技術を利用する」という旨の文言がありました。それ以来ずーっと疑問に思っていたのが、 「Hyper-Vを使うなら、ホストOSとなるWindows10は仮想マシン上で動くんだよなぁ。性能低下とか起きないのかな??」 ということです。 そもそもHyper-Vというハイパバイザは"Type-I型"と称される仮想化方式を採用していて、ホストOSが仮想マシン上で動作するはず...。Hyper-V界隈の単語で表現すると、ホストOSは"Par

                                                                WSL2 を導入すると、思った通り Windows10 は仮想マシン上で動作した(と思う) - Qiita
                                                              • 【笠原一輝のユビキタス情報局】 「Ryzen 7 5800U」はApple M1を上回る性能で、Intel並みの長時間駆動を実現

                                                                  【笠原一輝のユビキタス情報局】 「Ryzen 7 5800U」はApple M1を上回る性能で、Intel並みの長時間駆動を実現
                                                                • NVIDIA製グラボやAppleチップのAI推論処理能力をまとめた一覧表、どのグラボやMacを買えばいいのかの参考になる

                                                                  一昔前まではグラフィックボードのメイン用途はゲームなどの3Dグラフィック処理でしたが、近年では「ローカルでAIで動作させる」ということを目的にグラフィックボードを選択する事例も増えています。大量のNVIDIA製グラフィックボードやApple製チップで大規模言語モデル「LLaMA 3」の推論処理を実行した際の処理性能をまとめたウェブページ「GPU-Benchmarks-on-LLM-Inference」を見つけたので、内容をまとめてみました。 GitHub - XiongjieDai/GPU-Benchmarks-on-LLM-Inference: Multiple NVIDIA GPUs or Apple Silicon for Large Language Model Inference? https://github.com/XiongjieDai/GPU-Benchmarks-on-

                                                                    NVIDIA製グラボやAppleチップのAI推論処理能力をまとめた一覧表、どのグラボやMacを買えばいいのかの参考になる
                                                                  • 「自分でLLMを動かすことでイメージがつきやすくなる」 ローカルで使うメリットと、日本語特化LLMを動かすために必要なスペック | ログミーBusiness

                                                                    システムはChatGPTをどのように使うかきしだなおき氏:今、人間がどう使うかという話を中心に話しました。(次に)じゃあシステムからどう使うかとなると、APIを使った利用になりますね。 今日(2023年6月14日時点)朝起きたら「関数定義が可能になったよ」みたいなものが出ていて。今回の(セッションで話した)概要(の内容)とか…。(この概要は)昨日になってやっと(運営に)送ることができたんですけど、「どういう話をしようか」と思って朝起きたら、毎日状況が変わっているんですよね。 動かなかったものが動くようになっている。もっと小さく動かせるようになっているとか、もっと高性能なものが出ているとか。この2、3ヶ月ぐらいは本当に毎日毎日(状況が)変わってきていますね。 どういう話をすればいいかがちゃんとフィックスできなかったので、わりと雑なプレゼンテーションになっています。まぁ、いいや(笑)。 API

                                                                      「自分でLLMを動かすことでイメージがつきやすくなる」 ローカルで使うメリットと、日本語特化LLMを動かすために必要なスペック | ログミーBusiness
                                                                    • Apple、M1 Maxのダイを2基連結したモンスターCPU「M1 Ultra」

                                                                        Apple、M1 Maxのダイを2基連結したモンスターCPU「M1 Ultra」
                                                                      • もうでかいVRAMに高い金を払う必要は無くなるかもしれないのか?超分散LLM推論環境が爆誕 |shi3z

                                                                        世は大容量GPU時代。 吾輩も、秋葉原で大容量VRAM搭載GPUの中古が出たときけばすぐに飛んでいき買ってくるということを繰り返している。ちなみに最近、秋葉原の大容量中古GPUは飛ぶように売れているので、見つけたら即買いしないとすぐに無くなる。 なぜ大容量GPUが欲しいかと言えば、それがAIの全ての力の源だからである。 しかし、これは我々のようなガチ研究勢の話であって、ビジネスパースン的には「いやあこれからはローカルLLMでセキュリティバッチリでしょう」みたいな話をしても、「んで、おいくら万円ですか?」と聞かれて、「えーと、GPU単体で500万円くらいでやす」とか言うと客も裸足で逃げていく。そもそもそれだけの価格を払っても、買えるかどうかわからない。 こないだデンバーの学会で、NVIDIAのジェンスン・ファンとMetaのマーク・ザッカーバーグが対談した時に、マークはずっと「とにかくGPUを

                                                                          もうでかいVRAMに高い金を払う必要は無くなるかもしれないのか?超分散LLM推論環境が爆誕 |shi3z
                                                                        • AMDの女社長すごすぎワロタ

                                                                          1: 名無しさん@涙目です。: NG NG //img.2ch.net/ico/folder1_03.gif リサ・スー(英語:Lisa Su、1969-)とは、世界的にも有名な半導体の研究者である。 1994-1995: Texas Instruments Texas Instrumentsに入社。 1995-1999: IBM半導体研究開発センター IBMの研究部門に転職。 現在主流となっているアルミニウムの代わりに銅を使った半導体チップを発明。 2000-2007: IBMエンジニアリングプロダクツ IBMの開発部門に移動。 バイオチップの開発に専念。 SCEのエンターテイナーである久夛良木健の「ゲーム機の性能を1000倍に向上させる」という無謀な夢あふれる発言に触発され、 プログラミングの天才が使えば1000倍速だが馬鹿が使うと0.001倍速というCPU(Cell Broadban

                                                                            AMDの女社長すごすぎワロタ
                                                                          • 【Hothotレビュー】 せっかくだから俺はこの中国製x86「兆芯KX-7000」を選ぶぜ。その性能を検証してみた

                                                                              【Hothotレビュー】 せっかくだから俺はこの中国製x86「兆芯KX-7000」を選ぶぜ。その性能を検証してみた
                                                                            • OCaml でゲームボーイエミュレータを書いた話 - Qiita

                                                                              はじめに ブラウザ上で動くゲームボーイエミュレータを OCaml で書きました。以下のページで試せます。 デモページ いくつかの homebrew ROM も一緒になっているのでいろいろ遊んでみてください。おすすめは「Bouncing ball」と「Tobu Tobu Girl」です。最近のスマホならだいたい安定して 60 FPS 出るはずなので、スマホでも遊べます。 レポジトリはこちらです。 スクリーンショット なぜ OCaml でゲームボーイエミュレータ?新しいプログラミング言語を学ぶ過程で以下のように思ったことはないでしょうか? 簡単なプログラムなら書けるが、中規模以上のコード1をどうやって書けばよいのか分からない 発展的な言語機能2も勉強しなんとなく理解した気になったが、実践のなかでどのように活用すればいいのかが分からない OCaml を本格的に勉強し始めてた数ヶ月前の筆者はまさに

                                                                                OCaml でゲームボーイエミュレータを書いた話 - Qiita
                                                                              • 中国でDeepSeek狂奏曲 VRAM96GB(?)の改造4090カードや各種製品が高速で大量登場 (1/2)

                                                                                中国でももちろんDeepSeekの話題で大盛り上がり 行政や企業が高速で導入を進めている 1月末に中国発の軽量動作の大規模言語モデル(LLM)「DeepSeek」が話題になり、米国のAI関連株が暴落する、いわゆるDeepSeekショックが起き、日本でもニュース番組などで繰り返し報道された。 それから1ヵ月ちょっとが経過した。“中国スピード”とはよく言うもので、DeepSeek R1ソリューションを企業や組織ほか、深圳などの自治体が続々と採用している。 2月までに、北京や上海、広州の著名な病院を筆頭に、地方のローカル病院まで民間・公立問わず、およそ100ヵ所の病院がDeepSeekを導入したと公式発表またはメディアで報じられている。医療機関による大規模モデルの利用が、診断と治療の効率と質の向上に大きく役立つと考えられているという。 また広東省深圳、江蘇省無錫などの行政府でも導入され、市民から

                                                                                  中国でDeepSeek狂奏曲 VRAM96GB(?)の改造4090カードや各種製品が高速で大量登場 (1/2)
                                                                                • ローカルLLMで遊ぶためにVRAM40GBのPCを構築したので、その顛末を記録する(計40万円) - 技術メモ集

                                                                                  概要 2024年後半からどんどん小規模で性能のいいモデルが出てきて、”ローカルLLMなのに良い”という評価から、”普通に性能がいい”という評価に代わってきている気がしていました。 そんな中でDeepseekR1が公開されて、いよいよ手元で触ってみたいな・・・という欲求がわいてきたのでRTX4070tiSuper(VRAM16GB)+RTX3090(VRAM24GB)の計40GBのVRAMを持つPCを構築したのでその顛末を書いていきます。 振り返ってみても、結構コスパのいい選択ができたのかなと思っています。 購入前の検討、ローカルLLMで遊ぶならVRAMはいくつ積むべき? 結論としてはあればあるだけよい、というのが正しいと思います。DeepseekR1を動かすんだったら量子化モデルでも128GBメモリがあってもギリギリみたいですしね。 とはいえ、個人で買う以上100万、200万とお金をかける

                                                                                    ローカルLLMで遊ぶためにVRAM40GBのPCを構築したので、その顛末を記録する(計40万円) - 技術メモ集

                                                                                  新着記事