最近ローカルLLMがアツいらしい
最近、ローカルLLMがアツくなっているという話をtwitterでチラホラ見かける。 ローカルLLMって何じゃ？というと、オープンに公開されているモデルのウエイトをDLしてきて手元のPC上で推論させる事である。 オープンなAIモデルとは逆の存在として、モデルがDLできないクローズなAIモデルもある。 OpenAIやAnthropicのような最先端AI企業のクローズなAIモデルに比べて、オープンに公開されているオープンなAIモデルの性能は今でもかなり後れを取っている。 だから去年の間はあくまでAIの本命はChatGPTのようなクローズモデルであって、オープンなAIモデルなんて眼中にありませんみたいな風潮が無くはなかった。だが最近は風向きが少々変わってきている。 GPTのAPI高い問題 ＆ OpenAIがAIベンチャー皆殺しにしてしまう問題 まず「結局GPTのAPIを叩いてサービス運営して成功し
かつてNVIDIAを救った日本人「入交昭一郎」とは？
2024年2月に発表された決算情報ではNVIDIAの年間売上高は600億ドル(約9兆3500億円)で、時価総額2兆ドル(約312兆円)を超える巨大企業となっていますが、そんなNVIDIAでも創業直後は貧弱な企業であり、かつて入交昭一郎という日本人に救われた歴史があるとWall Street Journalが報じました。 The 84-Year-Old Man Who Saved Nvidia - WSJ https://www.wsj.com/business/nvidia-stock-jensen-huang-sega-irimajiri-chips-ai-906247db 入交昭一郎 - Wikipedia https://ja.wikipedia.org/wiki/%E5%85%A5%E4%BA%A4%E6%98%AD%E4%B8%80%E9%83%8E 入交氏は大学卒業後に本田技研
はじめに WSL2（Windows Subsystem for Linux 2）は、Microsoft Windows上でLinuxカーネルを直接実行できるようにする機能です。 この記事ではWSL2環境にDockerを導入しGPUを用いた機械学習環境を構築する手順を紹介します。 構築イメージは以下の図の通りです。NvidiaGPUを搭載したマシンにWSL2環境を構築します。Dockerを用いてコンテナを用意し、CUDAは各コンテナ内のCUDA Toolkitを用いて利用します。 今回開発するPCのスペックは以下の通りです。 Windows 11 Windows version: 22H2 GPU：NVIDIA Geforce RTX 3060 12GB 設定 1. WSL2を有効化 デフォルトではWSL2環境が無効化されている可能性があるので、始めに有効化しておきましょう。 「コントロール
【シリコンバレー=渡辺直樹】米エヌビディアの時価総額が5日、3兆ドル（約468兆円）を突破し、米アップルを抜いて米マイクロソフトに続く世界2位となった。3兆ドルの大台に乗るのは史上3社目。生成AI（人工知能）の開発や処理に使う半導体の需要拡大への期待から株価は上場来高値を更新し続けている。エヌビディアの株価は5日、終値で前日比5%上昇し、QUICK・ファクトセットによると、時価総額は3兆118
「ビデオカードがある時にマザーボード側の映像出力に繋ぐ」のは 今でもNGなのか？ PC初心者がデスクトップPCを設置する時にやりがちなミスの1つとして、「ビデオカードがあるのにマザーボード側（オンボード側）にディスプレーを接続する」というものがある。 これをやってしまうとディスプレーに映像が出ない、あるいは映像が出たとしてもゲームのレンダリングがCPU内蔵GPUで行われてしまい、ビデオカードは休んだままになってしまう、というものだ。こういったトラブルを防ぐため、ビデオカードを装着したBTOメーカー製PCではオンボード側の映像出力がシールで封印されていることもある。 ビデオカードを搭載したBTOメーカー製PCでは、マザーボード側のHDMIやDisplayPort出力に使用不可であることを知らせるシールが貼られていることも多い しかし、このような古の教えはハードやソフトの発展で乗り越えられるよ
NVIDIAがオープンモデル「Nemotron-4 340B」を発表、LLMトレーニング用合成データの生成に革命を起こすか
高度なAIのトレーニングには高品質な学習データが欠かせませんが、そのようなデータは急速に枯渇しつつあることが問題となっています。NVIDIA2024年6月14日に、大規模言語モデル(LLM)のトレーニングに使用する合成データの生成を念頭に開発され、商用アプリケーションにも使えるオープンソースのAIモデル「Nemotron-4 340B」を発表しました。 NVIDIA Releases Open Synthetic Data Generation Pipeline for Training Large Language Models | NVIDIA Blog https://blogs.nvidia.com/blog/nemotron-4-synthetic-data-generation-llm-training/ Nvidia's 'Nemotron-4 340B' model red
AI時代に一人勝ち。NVIDIAの「CUDA」がIntelやAppleを蹴散らし業界の“実質的なスタンダード”になった背景を中島聡が徹底解説 - まぐまぐニュース！
空前のAIブームの中にあって、その開発の現場で「一人勝ち」とも言うべき圧倒的なシェアを誇っているNvidia（エヌビディア）のGPU向け開発環境「CUDA」。IntelやAppleといったライバルたちを尻目に、いかにしてCUDAはトップに登り詰めたのでしょうか。今回のメルマガ『週刊 Life is beautiful』では世界的エンジニアとして知られる中島聡さんが、CUDA誕生の経緯から業界の「事実上の標準」となるまでを詳しく解説。さらにMicrosoftが5月20日に発表した「Copilot+PC」に関して、中島さんが注目したポイントを記しています。 ※本記事のタイトル・見出しはMAG2NEWS編集部によるものです／原題：NvidiaのCUDAが今の地位を築いた経緯 プロフィール：中島聡（なかじま・さとし） ブロガー／起業家／ソフトウェア・エンジニア、工学修士（早稲田大学）／MBA（ワシ
Pythonのように書けてGPU上で並列処理できる新プログラミング言語「Bend」、2D画像→3Dを高精度生成するGoogle「CAT3D」など重要論文5本を解説（生成AIウィークリー） | テクノエッジ TechnoEdge
2014年から先端テクノロジーの研究を論文単位で記事にして紹介しているWebメディアのSeamless（シームレス）を運営し、執筆しています。 1週間分の生成AI関連論文の中から重要なものをピックアップし、解説をする連載です。第47回目は、生成AI最新論文の概要5つを紹介します。 生成AI論文ピックアップ GPU上でネイティブ動作する並列処理が可能な新プログラミング言語「Bend」とランタイムシステム「HVM2」 2D画像から3Dコンテンツを生成する「CAT3D」をGoogleが開発 大規模言語モデルは追加学習や新知識で幻覚生成が増加。Googleなどが調査 画像とテキストを使った長文生成が得意なAIモデル「Chameleon」をMetaが開発 Transformerを超える「Mamba」は視覚認識タスクに必要か？ 開発した「MambaOut」モデルで検証 GPU上でネイティブ動作する並列
FabyΔ @FABYMETAL4 メタラー兼業投資家。2013年にNVIDIA $NVDA に150万円投資し10年間ガチホ中。2024年、生成AIの登場によるNVIDIA GPU需要増で 150万円→4億円 (280倍) を達成。米国企業分析、決算分析、AIトレンド、特にNVIDIAに関する情報発信をしています。たまにメタル界隈にPOPします🤘 FabyΔ @FABYMETAL4 本日、ガチホ10年目のNVIDIAが150万円→4億円(280倍)を達成しました。NVIDIAには感謝の一言に尽きます。ありがとう $NVDA pic.twitter.com/WEnJm1Ks8K x.com/fabymetal4/sta… 2024-06-06 05:46:25 FabyΔ @FABYMETAL4 本日、保有10年目のNVIDIAが 円換算で150万円→3億円(200倍)となりました。 先
【シリコンバレー=山田遼太郎】米半導体大手エヌビディアが22日発表した2024年2〜4月期決算は純利益が前年同期と比べ7.3倍の148億8100万ドル（約2兆3300億円）、売上高が同3.6倍の260億4400万ドルだった。市場予想を上回り、人工知能（AI）向け半導体の需要の強さを示した。日米などの株式市場で半導体関連銘柄の押し上げ要因になりそうだ。市場予想は24年2〜4月期の売上高が246億
パスワードレス認証を採用するコンシューマー向けサービスが増えてきたが、まだパスワードから離れられないのが現状だ。ある調査から、最近の「パスワード破り」の手口が見えてきた。 ネットサービスのログイン時に求められるパスワードの入力。パスワードの設定は適度な長さと推測されにくいものを、というのが定石だ。 サービスごとにいちいちパスワードを変更するのも面倒なため、同じパスワードを使い回している人も少なくないだろう（セキュリティ対策上は避けるよう勧告されている）。ただ、1つのサービスでパスワードが流出すると、一気に他のサービスのアカウントも乗っ取られる恐れがある。 悪意あるハッカーたちは、いつでもユーザーのパスワードを手ぐすね引いて狙っている。あるものを活用することで、ハッシュ値化されたパスワードでも容易に解析されてしまう恐れがあるという。 サイバーセキュリティ企業であるHive Systemは20
Huaweiの新ハイエンドスマホ「Pura 70 Ultra」を試す 制裁下でこの性能は“魔法を使っている”と思わせるほど
Huaweiの新ハイエンドスマホ「Pura 70 Ultra」を試す 制裁下でこの性能は“魔法を使っている”と思わせるほど（1/4 ページ） GalaxyやXiaomiといった新型スマートフォンに沸き立つ中、中国ではHuaweiの最新スマートフォン「Pura 70」シリーズが話題を集めている。Puraシリーズは、従来の「P」シリーズから名称を変更したハイエンド系のシリーズ。 今回、筆者は「Pura 70 Ultra」の実機を入手したので、レビューしよう。今回のレビューは電波法第103条の6の解釈のもと「海外で開通した携帯電話」を持ち込んで確認を行った。 中国製造のKirin 9010を搭載して制裁を回避 十分なパフォーマンスを発揮 まずは、主なスペックを見ていこう。 プロセッサ：HiSilicon Kirin 9010 メモリ：12GB ストレージ：512GB/1TB 画面：6.76型 フ
Apple Silicon MacのCPU E-/P-CoreやGPU、ANE、メモリ使用率、消費電力などを確認できるGo言語で書かれたターミナルベースのモニタリングツール「mactop」がリリース。
Apple Silicon MacのCPU E-/P-Coreや、GPU、消費電力などを確認できるターミナルベースのモニタリングツール「mactop」がリリースされています。詳細は以下から。 Apple Silicon Macでベンチマークや負荷の高いアプリを実行する際、Apple SiliconのCPUやGPU、ANE(Apple Neural Engine)、メモリ使用率、消費電力などを確認したいときがありますが、その用際に便利なターミナルベースのモニタリングツール「mactop」がリリースされています。 mactop is a terminal-based monitoring tool “top” designed to display real-time metrics for Apple Silicon chips. It provides a simple and effic
2019年に公開されるやいなや「危険すぎる」と話題になったOpenAIの「GPT-2」を、ゼロから作成したレポートが公開されました。作成にかかった時間は、1時間14ドル(約2200円)のクラウドコンピューティングサービスで1時間半だったため、総コストは約20ドル(約3100円)に収まっています。 Reproducing GPT-2 (124M) in llm.c in 90 minutes for $20 · karpathy/llm.c · Discussion #481 · GitHub https://github.com/karpathy/llm.c/discussions/481 # Reproduce GPT-2 (124M) in llm.c in 90 minutes for $20 ✨ The GPT-2 (124M) is the smallest model in t
はじめに GMO NIKKOの吉岡です。 みなさん、生成AIは活用してますか？ ChatGPTに始まり、Claude3やGeminiなど、実用的なAIがどんどん出てきてますね。 自分も使ってはきましたが、課金が気になってしまいます。 これではサービスに組み込むことは難しいですよね。 そのためローカルで動くLLMを追ってきましたが、今年に入って実用的な日本語を返すことができるモデルがいくつか出てきているので、サーバー構成からインストール方法、LLMの起動まで紹介しようと思います。 ローカルLLMを動かす上で一番重要なのはGPUのVRAMです。 LLMは7B、13B、70Bモデルが多いですが、量子化しない場合、必要なVRAM容量は動かすモデルの大体2倍なので、13Bモデルでは26GのVRAMが必要です。 NVIDIAのGPUを使ったCUDAが前提になっているのですが、一般向けでは24Gモデルが
中国製GPUで学習した純中国製LLM「MT-infini-3B」が「Llama3-8B」を超える性能を示し中国単独で高性能AIを開発できることが明らかに
中国に拠点を置くGPUメーカーの「摩爾線程(Moore Threads)」が、自社製GPUを用いて大規模言語モデル「MT-infini-3B」を開発したことを発表しました。MT-infini-3BはNVIDIA製GPUを用いて学習した大規模言語モデルと同等以上の性能を備えているそうです。 摩尔线程携手无问芯穹：基于夸娥千卡智算集群的“MT-infini-3B”大模型实训已完成 | 摩尔线程 https://www.mthreads.com/news/171 アメリカ政府は中国によるAI研究を軍事上の脅威と捉えており、中国に対して高性能半導体の禁輸措置を実施しています。このため中国ではNVIDIAやAMD、Intelなどが開発しているAI研究用チップの開発が困難となっています。 そんな中、Moore Threadsは2023年12月に独自開発のAI研究用GPU「MTT S4000」を発表しま
スモールフォームファクター(SFF)PCは高性能なコンポーネントを小型のケースに詰め込むことで、高性能PCの設置や持ち運びを容易にします。しかし、グラフィックスカードなどのコンポーネントが、小型ケースとの互換性があるのかどうかを調べるのは大きな手間がかかります。そこでNVIDIAが、グラフィックスカードやPCケースのメーカーと協力し、GeForce RTXシリーズがSFF用ケースに適合するのかどうかがすぐに判断できる「SFF-Readyガイドライン」を導入すると発表しました。 コンパクトに構築、大胆にプレイ - SFF 対応 GeForce カードとケースの紹介 | GeForce News | NVIDIA https://www.nvidia.com/ja-jp/geforce/news/small-form-factor-sff-ready/ Build Small. Play Bi
最近、プロセッサに「NPU」と呼ばれる人工知能（AI）処理に特化したユニットが搭載されるのがちょっとしたブーム（？）になっている。このNPUって、GPUなどと何が違うのか、なぜプロセッサに搭載されるようになってきたのか解説しよう。 プロセッサに搭載されている「NPU」って何？ Intelの最新プロセッサ「Core Ultra」には、人工知能（AI）処理に特化した「NPU」が搭載されている。NPUは、スマートフォン向けのプロセッサにも搭載が進んでいる。ところで、このNPUはCPUやGPUと何が違うのだろうか？ 写真は、Intelのプレスリリース「AI PCの新時代の到来を告げるインテル Core Ultra プロセッサー」のCore Ultraプロセッサーの写真を使って、「CPU」「GPU」「NPU」の文字を載せたもの。 今回のお題は「NPU」である。出だしから注釈になってしまうが、NPUと
生成AI向けの半導体を手がけるアメリカの半導体大手、エヌビディアの株価が上昇し、企業の価値を示す時価総額が5日、初めて3兆ドルを超え、IT大手のアップルを抜いて世界2位となりました。AI需要の高まりへの期待が背景にあります。 5日のニューヨーク株式市場では生成AIの利用の急速な拡大でAI需要が高まっていることへの期待からハイテク関連銘柄に買い注文が膨らみました。 中でも生成AI向けの半導体を手がけ、業績が好調なエヌビディアの株価の終値は、1224ドル40セントと前日と比べて5.1％の大幅な上昇となりました。 このため、企業の価値を示す時価総額は初めて3兆ドル、日本円で468兆円を超えてアップルを抜き、マイクロソフトに次いで世界2位となりました。 時価総額が3兆ドルを超えるのはアップルとマイクロソフトに次いで史上3社目です。 また、ハイテク関連銘柄の多いナスダックの株価指数は1.9％の大幅な
GitHub - HigherOrderCO/Bend: A massively parallel, high-level programming language
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
GeForce RTX 4070 SUPERだあ！！
姪っ子がパソコンを欲しいとかいい出した。 新品をくれてやるのは惜しいので、自分の使っているものをあげることにした。 孝信s Photoブログ 4 Posts パソコン逝ったあぁぁ！！パソコン買ったあぁぁぁ！！ https://takanobu.me/dell-2 10年来使ってなんとか延命を続けてきたデスクトップパソコンがついに逝った。ビープ音を発して起動しなかったり（音的にはグラボっぽい）、頻繁にフリーズしだしていたのでそろそろヤバいかとは思っていたのだけども、ついにもう補修しても起動しなくなった。もうそろそろダメかと思って一応資金は確保しておいたので後は早いか遅いかだけではあったのだけども、ついにである。 で、次に買ったのはDELLのこちら。XPS 8950。(function(b,c,f,g,a,d,e){b.MoshimoAffiliateObject=a;b=b||functio
A Nvidia Corp. artificial intelligence supercomputing graphics processing unit. （ブルームバーグ）： 米エヌビディアの株式時価総額が５日、初めて３兆ドル（約468兆円）を超えた。すでに世界で最も価値のある半導体企業だったが、ここにきてコンピューター・チップ企業として史上初めて時価総額３兆ドル台に達した。 人工知能（ＡＩ）タスクに使用される同社製チップの需要急増を追い風に、株価は今年、約147％上昇し、時価総額は約１兆8000億ドル増加した。５日終値は前日比5.2％高の上場来高値1224.40ドル。時価総額は３兆ドルを超え、アップルを抜いた。
快進撃を続ける米NVIDIA（エヌビディア）。AI（人工知能）半導体であるGPU（画像処理半導体）の行方を占う連載の3回目は、「ポストGPU」と呼ばれる新型のAI向け半導体を取り上げる。この領域はスタートアップを中心に様々な技術が登場している。GPUのボトルネックを狙う最終兵器とは。 ポストGPUの特徴に、今後のニーズを見据えてAIの学習ではなく推論を専用とするスタートアップが多いことが挙げられる。例えば米d-Matrix（dマトリックス）は異なるチップを組み合わせる「チップレット」技術を採用し、最先端GPUの40倍のメモリー帯域幅を実現した。 米ハーバード大学を中退した21歳のコンビが起業した米Etched.ai（エッチドAI）や、米Google（グーグル）で機械学習向けチップ「TPU（Tensor Processing Unit）」を担当していたエンジニアが創業した米Groq（グロック
日本テレビとフジテレビ、大谷翔平さんを怒らせて映像が一切使えなくなりイラストか系列局を使って放送するしかなくなる
米半導体大手のNVIDIAは2月21日（現地時間）、2024年第1四半期（2024年2月～4月）の決算を発表した。AIの旺盛な需要を追い風に、売上高は前年同期比262％増（約3.6倍）の260億4400万ドルと過去最高だった。純利益は628％増（約7.3倍）の148億8100万ドル（1株当たり5.98ドル、非GAAPでは6.12ドル）だった。 売上高、純利益ともに、アナリスト予測（売上高は246億5000万ドル、非GAAPの純利益は5.59ドル）を大きく上回った。 ジェンセン・ファンCEOは発表文で「次の産業革命が始まった。企業や国がNVIDIAと提携し、1兆ドル規模の従来のデータセンターをアクセラレーテッドコンピューティングに移行し、新種のデータセンター（AIファクトリー）を構築して、AI製品を生産している」と語った。 主力のデータセンター向け半導体の売上高は、AI関連製品が引き続き好調
AppleがiPad Air (M2)のM2チップ仕様を10コアGPUから9コアGPUに修正しています。詳細は以下から。 Appleは現地時間2024年05月07日、新しいApple Pencil ProやMagic Keyboardをサポートし、Apple M2チップと11インチ/13インチLiquid Retinaディスプレイを搭載した「iPad Air (M2)」を新たに発表しましたが、 Redditユーザーによると、Appleは現地時間06月01日、アメリカのiPad Air (M2)概要ページを更新し、iPad Air (M2)に搭載したApple M2チップのGPUは当初発表していた10コアではなく、9コア仕様のものだと修正しています。 Appleは同時に発表したiPad Pro (M4)で、256GBと512GB SSDモデルに9コアCPUと10コアGPUを備えたM4チップを
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
【2024年版】WSL2+Ubuntu24.04+Docker＋GPUでつくる機械学習環境
NVIDIA、時価総額Apple抜き世界2位 3兆ドル超え - 日本経済新聞
いまどきのゲーミングPCでマザー側の映像出力に繋ぐのはあり/なし？古の禁忌に踏み込む (1/6)
NVIDIA、ゲーム攻略を生成AIがアシストしてくれる「Project G-Assist」
【西川和久の不定期コラム】 USB4接続のGeForce RTX 3090が突然認識されなくなったので、OCuLinkで復活させた話
【特集】 CPUやGPUの発熱や電力をカットする方法
【特集】 PCのグラフィックスはここまで進化した！「トゥームレイダー」を例に小話を挟みながら解説
Lion CoveとSkymontの詳細が明らかに。Hyper-Threading「非対応」で電力効率爆上げ
「Stable Diffusion 3 Medium」がついに解禁、一般的なGPUでも効率よく動作する2Bモデル／フォトリアリズムを実現、NVIDIAとの提携によりパフォーマンス50％向上
10年前、150万円で買ったNVIDIA株が4億円になった人の話→「私なら10倍くらいで手放してしまう…」
NVIDIA､2〜4月売上高3.6倍 AI半導体「1強」予想上回る - 日本経済新聞
恐るべし、今どきの「パスワード破り」の手口：780th Lap
AMD新CPUの「Ryzen AI 300」は、12コアCPUとSnapdragon Xを超えるNPUを搭載
OpenAIの共同設立者が「GPT-2」をわずか90分の時間と3100円の費用で再現するレポートを公開
【Phi-3-Medium】GPU2台構成でローカルLLMを動かす【Ubuntu24】
NVIDIAが小型PC対応グラボを分かりやすく示すガイドラインを発表
第288回 人工知能時代には必須か？ 最近、プロセッサに搭載されている「NPU」って何
エヌビディア株価上昇 時価総額 アップルを抜き世界2位に | NHK
新旧34種類のGPU(グラフィックボード)性能を一気に比較!! 気になるベンチマーク結果は？ 【新装第1回/通算第13回】現行世代はこれで一段落。今の勢力図を総まとめ text by 加藤 勝明
Arm、従来比36%性能向上のプライムCPUコア「Cortex-X925」
NVIDIA、次世代CPU/GPU「Rubin/Vera」ロードマップ発表
完全刷新されたIntelの新GPU「Xe2」と第4世代NPUの詳細
AMD、Copilot+ PCへの対応、NVIDIA AI用GPUに対抗するロードマップとオープン規格をアピール
エヌビディア、時価総額３兆ドル超え－アップル抜く（Bloomberg） - Yahoo!ニュース
胎動する「ポストGPU」、NVIDIAのボトルネック狙う米スタートアップの最終兵器
NVIDIAの時価総額、天井フラグを物ともせずAppleを抜いて世界2位に : 市況かぶ全力２階建
NVIDIA、AI需要で過去最高の売上高 「次の産業革命が始まった」とファンCEO
GeForce RTX 4070搭載ゲーミングNUCなどASUS NUCが国内展開
https://jp.wsj.com/articles/the-ai-revolution-is-already-losing-steam-64f8b4f4
Apple、iPad Air (M2)に搭載されているM2チップのGPU仕様を10コアから9コアに修正。