加熱するLLM開発競争に冷や水、オープンモデルの組み合わせだけでGPT-4o越えの事実 2024.06.21 Updated by Ryo Shimizu on June 21, 2024, 18:19 pm JST 世界中の企業や政府が狂ったようにNVIDIAのGPUを買い漁る流れはそろそろ潮時かもしれない。 いくつかの興味深い事象が起きているからだ。 昨日発表されたKarakuri社のLLM、「KARAKURI LM 8x7B Instruct v0.1」は、非常に高性能な日本語LLMだ。Karakuri社は今年の一月にも非常に高性能な70Bモデルを引っ提げて業界に旋風を巻き起こした。この最新のLLNは、日本語向けオープンLLMとしては初の「命令実行」チューニングを施されている。それだけでなく、RAGと呼ばれる、複数の知識を組み合わせてより正解に近い答えを導く技術や、Function
自分の認識をだらだら書くとこうなる。 結局のところ2003年から2011年頃までいちばん延べ計算量が必要だったのはリアルタイムの3Dグラフィックスのレンダリングだったんだ。そこではNVIDIAって会社がPCゲームのプラットフォームを握ってしまっていてそこで技術開発をめっちゃ進めてしまったんだ。 結果的にPlayStation2までは純日本設計だったグラフィックチップが、PlayStation3ではNVIDIAのGPUになってしまったんだ。そこで負けが確定してしまった感じだ。PlayStation3のCPU、CELLに内蔵されているSPUは、世代をどんどん進めていったら最終的にレンダリングもできるグラフィックチップに進化する可能性があったのかもしれないけど次世代が出せなかったのでそこで終わりになってしまった。 NVIDIAは先端を走っているユーザーが何を求めているかをめちゃくちゃちゃんと調査
中島聡さん、NVIDIAのGPUが用済みになるって本当ですか？AI開発の行列乗算をなくす｢MatMul-free LM｣で気がかりなこと - まぐまぐニュース！
エヌビディアの強みであるGPUの優位性を揺るがすかもしれないAI関連の注目論文とは？人気急上昇中のメルマガ『週刊 Life is beautiful』より読者Q&Aをご紹介。著者の中島さんは「Windows95の父」として知られる日本人エンジニア。メルマガでは毎号、読者からの質問に丁寧に回答しています。 ※本記事のタイトル・見出しはMAG2NEWS編集部によるものです プロフィール：中島聡（なかじま・さとし） ブロガー／起業家／ソフトウェア・エンジニア、工学修士（早稲田大学）／MBA（ワシントン大学）。NTT通信研究所／マイクロソフト日本法人／マイクロソフト本社勤務後、ソフトウェアベンチャーUIEvolution Inc.を米国シアトルで起業。現在は neu.Pen LLCでiPhone/iPadアプリの開発。 1ビットの高速推論AIチップ 米国より先に中国が開発する可能性も 読者からの質
米AIスタートアップ「Etched」は6月25日（現地時間）、ChatGPTなど最新のAI技術の基盤となっている「Transformer」アーキテクチャーに特化したチップ「Sohu」を発表した。この発表は、現在NVIDIAが支配的な地位を占めるAIチップ市場に、新たな競争をもたらす可能性がある。 Transformer処理に特化 AIチップ市場は現在NVIDIAが圧倒的なシェアを持つ。同社の汎用GPUは様々なAIモデルを効率的に処理できる柔軟性から市場の約80%を占めている。 多くの大手テクノロジー企業がAI開発のためにNVIDIAのチップに数十億ドルを投資しているのが現状だ。 Etchedの「Sohu」は、ASIC（Application-Specific Integrated Circuit：特定用途向け集積回路）と呼ばれる、特定の用途に最適化された集積回路だ。汎用性は低いものの、特定
【シリコンバレー=渡辺直樹】米エヌビディアの時価総額が5日、3兆ドル（約468兆円）を突破し、米アップルを抜いて米マイクロソフトに続く世界2位となった。3兆ドルの大台に乗るのは史上3社目。生成AI（人工知能）の開発や処理に使う半導体の需要拡大への期待から株価は上場来高値を更新し続けている。エヌビディアの株価は5日、終値で前日比5%上昇し、QUICK・ファクトセットによると、時価総額は3兆118
NVIDIAがオープンモデル「Nemotron-4 340B」を発表、LLMトレーニング用合成データの生成に革命を起こすか
高度なAIのトレーニングには高品質な学習データが欠かせませんが、そのようなデータは急速に枯渇しつつあることが問題となっています。NVIDIA2024年6月14日に、大規模言語モデル(LLM)のトレーニングに使用する合成データの生成を念頭に開発され、商用アプリケーションにも使えるオープンソースのAIモデル「Nemotron-4 340B」を発表しました。 NVIDIA Releases Open Synthetic Data Generation Pipeline for Training Large Language Models | NVIDIA Blog https://blogs.nvidia.com/blog/nemotron-4-synthetic-data-generation-llm-training/ Nvidia's 'Nemotron-4 340B' model red
先日時価総額が3兆3350億ドルに達し（約526兆円）、 マイクロソフトを抜いて世界首位となった、 アメリカの半導体大手「NVIDIA」の創業者、 ジェンスン・フアン氏が14日、 カリフォルニア工科大学の卒業式でスピーチを行い、 京都・銀閣寺での日本人庭師との出会いが、 人生で最も重要な教訓になったと話し、話題になっています。 フアン氏は子どもたちが10代だった頃、 毎年夏にNVIDIAの海外オフィスに1ヶ月間赴き、 プライベートでは家族と旅行をしていたそうなのですが、 日本滞在中、京都の銀閣寺に行った際、 見事な手入れが施されている庭園で、 1人の日本人庭師の姿に目を惹かれたそうです。 その庭師さんは「京都特有の」炎天下の中、 竹製のピンセットを使い慎重に枯れた苔を摘み取り、 それを竹かごに入れていたのですが、 その姿に興味を惹かれたフアンさんが、 「この広大な庭でなぜピンセットで作業を
AI時代に一人勝ち。NVIDIAの「CUDA」がIntelやAppleを蹴散らし業界の“実質的なスタンダード”になった背景を中島聡が徹底解説 - まぐまぐニュース！
空前のAIブームの中にあって、その開発の現場で「一人勝ち」とも言うべき圧倒的なシェアを誇っているNvidia（エヌビディア）のGPU向け開発環境「CUDA」。IntelやAppleといったライバルたちを尻目に、いかにしてCUDAはトップに登り詰めたのでしょうか。今回のメルマガ『週刊 Life is beautiful』では世界的エンジニアとして知られる中島聡さんが、CUDA誕生の経緯から業界の「事実上の標準」となるまでを詳しく解説。さらにMicrosoftが5月20日に発表した「Copilot+PC」に関して、中島さんが注目したポイントを記しています。 ※本記事のタイトル・見出しはMAG2NEWS編集部によるものです／原題：NvidiaのCUDAが今の地位を築いた経緯 プロフィール：中島聡（なかじま・さとし） ブロガー／起業家／ソフトウェア・エンジニア、工学修士（早稲田大学）／MBA（ワシ
スーパーコンピューターで日本がトップに立ち続けていたら今ブームのAIに繋がったのか？ それともスパコンとAIは関係ない？ 脱Android、Huaweiが独自OS「HarmonyOS NEXT」てのがニュースなったけど これもスパコン技術が応用されてそこから生まれてたりするの？ スパコン予算をすべてに優先してたら日本産独自OSとか日本産AIに繋がってたんだろうか？ つながらない OSはもうぜんぜんまったく完璧に関係ないのでAIについてだけ説明する まず2010年代に始まった第3次AIのブームはソフトウェアというかアルゴリズムのブレークスルーがきっかけ カナダのYoshua Bengio、Geoffrey Hinton、Yann LeCunの3人がディープニューラルネットワークに関する発見をしたこと 3人はこの業績で「ディープニューラルネットワークがコンピューティングの重要な要素となるた
FabyΔ @FABYMETAL4 メタラー兼業投資家。2013年にNVIDIA $NVDA に150万円投資し10年間ガチホ中。2024年、生成AIの登場によるNVIDIA GPU需要増で 150万円→4億円 (280倍) を達成。米国企業分析、決算分析、AIトレンド、特にNVIDIAに関する情報発信をしています。たまにメタル界隈にPOPします🤘 FabyΔ @FABYMETAL4 本日、ガチホ10年目のNVIDIAが150万円→4億円(280倍)を達成しました。NVIDIAには感謝の一言に尽きます。ありがとう $NVDA pic.twitter.com/WEnJm1Ks8K x.com/fabymetal4/sta… 2024-06-06 05:46:25 FabyΔ @FABYMETAL4 本日、保有10年目のNVIDIAが 円換算で150万円→3億円(200倍)となりました。 先
パスワードレス認証を採用するコンシューマー向けサービスが増えてきたが、まだパスワードから離れられないのが現状だ。ある調査から、最近の「パスワード破り」の手口が見えてきた。 ネットサービスのログイン時に求められるパスワードの入力。パスワードの設定は適度な長さと推測されにくいものを、というのが定石だ。 サービスごとにいちいちパスワードを変更するのも面倒なため、同じパスワードを使い回している人も少なくないだろう（セキュリティ対策上は避けるよう勧告されている）。ただ、1つのサービスでパスワードが流出すると、一気に他のサービスのアカウントも乗っ取られる恐れがある。 悪意あるハッカーたちは、いつでもユーザーのパスワードを手ぐすね引いて狙っている。あるものを活用することで、ハッシュ値化されたパスワードでも容易に解析されてしまう恐れがあるという。 サイバーセキュリティ企業であるHive Systemは20
Huaweiの新ハイエンドスマホ「Pura 70 Ultra」を試す 制裁下でこの性能は“魔法を使っている”と思わせるほど
Huaweiの新ハイエンドスマホ「Pura 70 Ultra」を試す 制裁下でこの性能は“魔法を使っている”と思わせるほど（1/4 ページ） GalaxyやXiaomiといった新型スマートフォンに沸き立つ中、中国ではHuaweiの最新スマートフォン「Pura 70」シリーズが話題を集めている。Puraシリーズは、従来の「P」シリーズから名称を変更したハイエンド系のシリーズ。 今回、筆者は「Pura 70 Ultra」の実機を入手したので、レビューしよう。今回のレビューは電波法第103条の6の解釈のもと「海外で開通した携帯電話」を持ち込んで確認を行った。 中国製造のKirin 9010を搭載して制裁を回避 十分なパフォーマンスを発揮 まずは、主なスペックを見ていこう。 プロセッサ：HiSilicon Kirin 9010 メモリ：12GB ストレージ：512GB/1TB 画面：6.76型 フ
はじめに GMO NIKKOの吉岡です。 みなさん、生成AIは活用してますか？ ChatGPTに始まり、Claude3やGeminiなど、実用的なAIがどんどん出てきてますね。 自分も使ってはきましたが、課金が気になってしまいます。 これではサービスに組み込むことは難しいですよね。 そのためローカルで動くLLMを追ってきましたが、今年に入って実用的な日本語を返すことができるモデルがいくつか出てきているので、サーバー構成からインストール方法、LLMの起動まで紹介しようと思います。 ローカルLLMを動かす上で一番重要なのはGPUのVRAMです。 LLMは7B、13B、70Bモデルが多いですが、量子化しない場合、必要なVRAM容量は動かすモデルの大体2倍なので、13Bモデルでは26GのVRAMが必要です。 NVIDIAのGPUを使ったCUDAが前提になっているのですが、一般向けでは24Gモデルが
Apple Silicon MacのCPU E-/P-CoreやGPU、ANE、メモリ使用率、消費電力などを確認できるGo言語で書かれたターミナルベースのモニタリングツール「mactop」がリリース。
Apple Silicon MacのCPU E-/P-Coreや、GPU、消費電力などを確認できるターミナルベースのモニタリングツール「mactop」がリリースされています。詳細は以下から。 Apple Silicon Macでベンチマークや負荷の高いアプリを実行する際、Apple SiliconのCPUやGPU、ANE(Apple Neural Engine)、メモリ使用率、消費電力などを確認したいときがありますが、その用際に便利なターミナルベースのモニタリングツール「mactop」がリリースされています。 mactop is a terminal-based monitoring tool “top” designed to display real-time metrics for Apple Silicon chips. It provides a simple and effic
2019年に公開されるやいなや「危険すぎる」と話題になったOpenAIの「GPT-2」を、ゼロから作成したレポートが公開されました。作成にかかった時間は、1時間14ドル(約2200円)のクラウドコンピューティングサービスで1時間半だったため、総コストは約20ドル(約3100円)に収まっています。 Reproducing GPT-2 (124M) in llm.c in 90 minutes for $20 · karpathy/llm.c · Discussion #481 · GitHub https://github.com/karpathy/llm.c/discussions/481 # Reproduce GPT-2 (124M) in llm.c in 90 minutes for $20 ✨ The GPT-2 (124M) is the smallest model in t
中国製GPUで学習した純中国製LLM「MT-infini-3B」が「Llama3-8B」を超える性能を示し中国単独で高性能AIを開発できることが明らかに
中国に拠点を置くGPUメーカーの「摩爾線程(Moore Threads)」が、自社製GPUを用いて大規模言語モデル「MT-infini-3B」を開発したことを発表しました。MT-infini-3BはNVIDIA製GPUを用いて学習した大規模言語モデルと同等以上の性能を備えているそうです。 摩尔线程携手无问芯穹：基于夸娥千卡智算集群的“MT-infini-3B”大模型实训已完成 | 摩尔线程 https://www.mthreads.com/news/171 アメリカ政府は中国によるAI研究を軍事上の脅威と捉えており、中国に対して高性能半導体の禁輸措置を実施しています。このため中国ではNVIDIAやAMD、Intelなどが開発しているAI研究用チップの開発が困難となっています。 そんな中、Moore Threadsは2023年12月に独自開発のAI研究用GPU「MTT S4000」を発表しま
スモールフォームファクター(SFF)PCは高性能なコンポーネントを小型のケースに詰め込むことで、高性能PCの設置や持ち運びを容易にします。しかし、グラフィックスカードなどのコンポーネントが、小型ケースとの互換性があるのかどうかを調べるのは大きな手間がかかります。そこでNVIDIAが、グラフィックスカードやPCケースのメーカーと協力し、GeForce RTXシリーズがSFF用ケースに適合するのかどうかがすぐに判断できる「SFF-Readyガイドライン」を導入すると発表しました。 コンパクトに構築、大胆にプレイ - SFF 対応 GeForce カードとケースの紹介 | GeForce News | NVIDIA https://www.nvidia.com/ja-jp/geforce/news/small-form-factor-sff-ready/ Build Small. Play Bi
生成AI向けの半導体を手がけるアメリカの半導体大手、エヌビディアの株価が上昇し、企業の価値を示す時価総額が5日、初めて3兆ドルを超え、IT大手のアップルを抜いて世界2位となりました。AI需要の高まりへの期待が背景にあります。 5日のニューヨーク株式市場では生成AIの利用の急速な拡大でAI需要が高まっていることへの期待からハイテク関連銘柄に買い注文が膨らみました。 中でも生成AI向けの半導体を手がけ、業績が好調なエヌビディアの株価の終値は、1224ドル40セントと前日と比べて5.1％の大幅な上昇となりました。 このため、企業の価値を示す時価総額は初めて3兆ドル、日本円で468兆円を超えてアップルを抜き、マイクロソフトに次いで世界2位となりました。 時価総額が3兆ドルを超えるのはアップルとマイクロソフトに次いで史上3社目です。 また、ハイテク関連銘柄の多いナスダックの株価指数は1.9％の大幅な
NVIDIAの強さの秘密は「対抗するベンダーを創業する」と仮定すると見えてくる 今回はNVIDIAの覇権をひっくり返すことができるのかどうか思考実験（妄想？）を行ってみた。対抗するベンダーを創業すると仮定すると、NVIDIAの強さの秘密が見えてくる？ 写真は、NVIDIAのプレスリリース「NVIDIA Supercharges Hopper, the World’s Leading AI Computing Platform」より。 NVIDIAの株価がすごいことになっているみたいだ。2024年6月18日には株式時価総額が約3兆3350億ドルとなり、Microsoftを抜いて、世界1位になったという。その理由は高まる「生成AI（人工知能）」への需要を満たすための計算基盤として、NVIDIAのGPU一択的な流れになっていることが挙げられる。 さて、今回はそんなNVIDIAの覇権をひっくり返す
日本テレビとフジテレビ、大谷翔平さんを怒らせて映像が一切使えなくなりイラストか系列局を使って放送するしかなくなる
GeForce RTX 4070 SUPERだあ！！
姪っ子がパソコンを欲しいとかいい出した。 新品をくれてやるのは惜しいので、自分の使っているものをあげることにした。 孝信s Photoブログ 4 Posts パソコン逝ったあぁぁ！！パソコン買ったあぁぁぁ！！ https://takanobu.me/dell-2 10年来使ってなんとか延命を続けてきたデスクトップパソコンがついに逝った。ビープ音を発して起動しなかったり（音的にはグラボっぽい）、頻繁にフリーズしだしていたのでそろそろヤバいかとは思っていたのだけども、ついにもう補修しても起動しなくなった。もうそろそろダメかと思って一応資金は確保しておいたので後は早いか遅いかだけではあったのだけども、ついにである。 で、次に買ったのはDELLのこちら。XPS 8950。(function(b,c,f,g,a,d,e){b.MoshimoAffiliateObject=a;b=b||functio
A Nvidia Corp. artificial intelligence supercomputing graphics processing unit. （ブルームバーグ）： 米エヌビディアの株式時価総額が５日、初めて３兆ドル（約468兆円）を超えた。すでに世界で最も価値のある半導体企業だったが、ここにきてコンピューター・チップ企業として史上初めて時価総額３兆ドル台に達した。 人工知能（ＡＩ）タスクに使用される同社製チップの需要急増を追い風に、株価は今年、約147％上昇し、時価総額は約１兆8000億ドル増加した。５日終値は前日比5.2％高の上場来高値1224.40ドル。時価総額は３兆ドルを超え、アップルを抜いた。
快進撃を続ける米NVIDIA（エヌビディア）。AI（人工知能）半導体であるGPU（画像処理半導体）の行方を占う連載の3回目は、「ポストGPU」と呼ばれる新型のAI向け半導体を取り上げる。この領域はスタートアップを中心に様々な技術が登場している。GPUのボトルネックを狙う最終兵器とは。 ポストGPUの特徴に、今後のニーズを見据えてAIの学習ではなく推論を専用とするスタートアップが多いことが挙げられる。例えば米d-Matrix（dマトリックス）は異なるチップを組み合わせる「チップレット」技術を採用し、最先端GPUの40倍のメモリー帯域幅を実現した。 米ハーバード大学を中退した21歳のコンビが起業した米Etched.ai（エッチドAI）や、米Google（グーグル）で機械学習向けチップ「TPU（Tensor Processing Unit）」を担当していたエンジニアが創業した米Groq（グロック
AMD CEO Lisa Su reminisces about designing the PS3's infamous Cell processor during her time at IBM
Even before she worked at AMD, Lisa Su was making big moves and proving to be one of PlayStation's greatest allies Just after Computex 2024, AMD CEO Lisa Su sat down with Stratechery to conduct an extended interview about solving hard problems throughout her career— including her time at IBM and contributing to the legacy of PlayStation from both there and AMD afterward. As she notes, "I've been w
米NVIDIAは6月14日（現地時間）、LLMのトレーニング用オープン合成データ生成モデルシリーズ「Nemotron-4 340B」を発表した。独自のオープンモデルライセンス（PDF）の下、「あらゆる業界の商用アプリケーション向けLLM」のトレーニングに使うデータセットを合成できるとしている。つまり、商用利用も可能だ。 LLMの開発では、高品質で多様なデータセットでのトレーニングが不可欠だが、ネットなどから収集したデータには偏りや不正確なものが含まれる可能性があり、量にも限りがある。そのため、合成データの生成に注目が集まっている。 Nemotron-4 340Bには、合成データ生成のパイプラインを形成するbase、instruct、rewardの3つのモデルが含まれる。baseモデルは、9兆個のトークでトレーニングされたカスタマイズの基盤となるモデル。独自データを組み込むことで、このモデル
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
加熱するLLM開発競争に冷や水、オープンモデルの組み合わせだけでGPT-4o越えの事実
自分の認識をだらだら書くとこうなる。 結局のところ2003年から2011年頃まで..
【大原雄介の半導体業界こぼれ話】 生成AIのバブルはいつ弾ける？
「NVIDIA最新GPUの20倍速い」史上最速を謳うAIチップ「Sohu」
NVIDIA、時価総額Apple抜き世界2位 3兆ドル超え - 日本経済新聞
NVIDIA、ゲーム攻略を生成AIがアシストしてくれる「Project G-Assist」
海外「だから親日家なのか！」NVIDIA創業者が日本で学んだ人生で最も重要な教えが話題に
【特集】 CPUやGPUの発熱や電力をカットする方法
Lion CoveとSkymontの詳細が明らかに。Hyper-Threading「非対応」で電力効率爆上げ
「Stable Diffusion 3 Medium」がついに解禁、一般的なGPUでも効率よく動作する2Bモデル／フォトリアリズムを実現、NVIDIAとの提携によりパフォーマンス50％向上
スーパーコンピューターで日本がトップに立ち続けていたら今ブームのAIに繋..
10年前、150万円で買ったNVIDIA株が4億円になった人の話→「私なら10倍くらいで手放してしまう…」
恐るべし、今どきの「パスワード破り」の手口：780th Lap
AMD新CPUの「Ryzen AI 300」は、12コアCPUとSnapdragon Xを超えるNPUを搭載
【Phi-3-Medium】GPU2台構成でローカルLLMを動かす【Ubuntu24】
OpenAIの共同設立者が「GPT-2」をわずか90分の時間と3100円の費用で再現するレポートを公開
AMD、Zen 5採用で16%性能向上の「Ryzen 9000」
NVIDIAが小型PC対応グラボを分かりやすく示すガイドラインを発表
エヌビディア株価上昇 時価総額 アップルを抜き世界2位に | NHK
【笠原一輝のユビキタス情報局】 Copilot+ PC対応を巡る、CPU大手3社の三つ巴
新旧34種類のGPU(グラフィックボード)性能を一気に比較!! 気になるベンチマーク結果は？ 【新装第1回/通算第13回】現行世代はこれで一段落。今の勢力図を総まとめ text by 加藤 勝明
第289回 NVIDIAはなぜ強いのか？ 競合ベンダー創業者の視点で考えてみる
Arm、従来比36%性能向上のプライムCPUコア「Cortex-X925」
AMD、Intel、MicrosoftなどがAIチップ向けのオープン接続規格策定。NVIDIA対抗か
NVIDIA、次世代CPU/GPU「Rubin/Vera」ロードマップ発表
完全刷新されたIntelの新GPU「Xe2」と第4世代NPUの詳細
NVIDIAの時価総額、天井フラグを物ともせずAppleを抜いて世界2位に : 市況かぶ全力２階建
【Hothotレビュー】 Core Ultra 7 165H搭載の最新NUC登場！高性能かつ静かなミニPC「ASUS NUC 14 Pro」
AMD、Copilot+ PCへの対応、NVIDIA AI用GPUに対抗するロードマップとオープン規格をアピール
エヌビディア、時価総額３兆ドル超え－アップル抜く（Bloomberg） - Yahoo!ニュース
胎動する「ポストGPU」、NVIDIAのボトルネック狙う米スタートアップの最終兵器
NVIDIA、AIトレーニング用合成データ生成モデル「Nemotron-4 340B」を商用利用可でリリース