加熱するLLM開発競争に冷や水、オープンモデルの組み合わせだけでGPT-4o越えの事実 2024.06.21 Updated by Ryo Shimizu on June 21, 2024, 18:19 pm JST 世界中の企業や政府が狂ったようにNVIDIAのGPUを買い漁る流れはそろそろ潮時かもしれない。 いくつかの興味深い事象が起きているからだ。 昨日発表されたKarakuri社のLLM、「KARAKURI LM 8x7B Instruct v0.1」は、非常に高性能な日本語LLMだ。Karakuri社は今年の一月にも非常に高性能な70Bモデルを引っ提げて業界に旋風を巻き起こした。この最新のLLNは、日本語向けオープンLLMとしては初の「命令実行」チューニングを施されている。それだけでなく、RAGと呼ばれる、複数の知識を組み合わせてより正解に近い答えを導く技術や、Function
任天堂株主総会レポート2024
2013年に初参加し、コロナ禍で2年ほど欠席を挟んで今回で10回目の参加となる任天堂株主総会に今年も行ってきた。 先日、株主総会に関する記事執筆の依頼があり、株主総会に参加する意義と楽しみ方について書いたので、合わせて読んでいただけるとありがたい。 任天堂が好き過ぎて株を購入。「任天堂株主総会レポート」中の人が語る、“推し”企業に投資する魅力 | イーデス さて、今年2024年の株主総会だが、Nintendo Live 2024 TOKYOが脅迫により中止に追い込まれたことが影響したのか、今年から手荷物検査が行われると告知があった。博多駅からの始発で開会時間には間に合うのだけど、手荷物検査や天候不良で余計な時間が取られそうだと判断し、余裕を持てるようにホテルを予約して前日入りすることにした。 かつて任天堂の株価はWii全盛期に7万円台をつけ、その後の業績不振によりもっとも低いときは1万円を
自分の認識をだらだら書くとこうなる。 結局のところ2003年から2011年頃までいちばん延べ計算量が必要だったのはリアルタイムの3Dグラフィックスのレンダリングだったんだ。そこではNVIDIAって会社がPCゲームのプラットフォームを握ってしまっていてそこで技術開発をめっちゃ進めてしまったんだ。 結果的にPlayStation2までは純日本設計だったグラフィックチップが、PlayStation3ではNVIDIAのGPUになってしまったんだ。そこで負けが確定してしまった感じだ。PlayStation3のCPU、CELLに内蔵されているSPUは、世代をどんどん進めていったら最終的にレンダリングもできるグラフィックチップに進化する可能性があったのかもしれないけど次世代が出せなかったのでそこで終わりになってしまった。 NVIDIAは先端を走っているユーザーが何を求めているかをめちゃくちゃちゃんと調査
米AIスタートアップ「Etched」は6月25日（現地時間）、ChatGPTなど最新のAI技術の基盤となっている「Transformer」アーキテクチャーに特化したチップ「Sohu」を発表した。この発表は、現在NVIDIAが支配的な地位を占めるAIチップ市場に、新たな競争をもたらす可能性がある。 Transformer処理に特化 AIチップ市場は現在NVIDIAが圧倒的なシェアを持つ。同社の汎用GPUは様々なAIモデルを効率的に処理できる柔軟性から市場の約80%を占めている。 多くの大手テクノロジー企業がAI開発のためにNVIDIAのチップに数十億ドルを投資しているのが現状だ。 Etchedの「Sohu」は、ASIC（Application-Specific Integrated Circuit：特定用途向け集積回路）と呼ばれる、特定の用途に最適化された集積回路だ。汎用性は低いものの、特定
中島聡さん、NVIDIAのGPUが用済みになるって本当ですか？AI開発の行列乗算をなくす｢MatMul-free LM｣で気がかりなこと - まぐまぐニュース！
エヌビディアの強みであるGPUの優位性を揺るがすかもしれないAI関連の注目論文とは？人気急上昇中のメルマガ『週刊 Life is beautiful』より読者Q&Aをご紹介。著者の中島さんは「Windows95の父」として知られる日本人エンジニア。メルマガでは毎号、読者からの質問に丁寧に回答しています。 ※本記事のタイトル・見出しはMAG2NEWS編集部によるものです プロフィール：中島聡（なかじま・さとし） ブロガー／起業家／ソフトウェア・エンジニア、工学修士（早稲田大学）／MBA（ワシントン大学）。NTT通信研究所／マイクロソフト日本法人／マイクロソフト本社勤務後、ソフトウェアベンチャーUIEvolution Inc.を米国シアトルで起業。現在は neu.Pen LLCでiPhone/iPadアプリの開発。 1ビットの高速推論AIチップ 米国より先に中国が開発する可能性も 読者からの質
NVIDIAがオープンモデル「Nemotron-4 340B」を発表、LLMトレーニング用合成データの生成に革命を起こすか
高度なAIのトレーニングには高品質な学習データが欠かせませんが、そのようなデータは急速に枯渇しつつあることが問題となっています。NVIDIA2024年6月14日に、大規模言語モデル(LLM)のトレーニングに使用する合成データの生成を念頭に開発され、商用アプリケーションにも使えるオープンソースのAIモデル「Nemotron-4 340B」を発表しました。 NVIDIA Releases Open Synthetic Data Generation Pipeline for Training Large Language Models | NVIDIA Blog https://blogs.nvidia.com/blog/nemotron-4-synthetic-data-generation-llm-training/ Nvidia's 'Nemotron-4 340B' model red
先日時価総額が3兆3350億ドルに達し（約526兆円）、 マイクロソフトを抜いて世界首位となった、 アメリカの半導体大手「NVIDIA」の創業者、 ジェンスン・フアン氏が14日、 カリフォルニア工科大学の卒業式でスピーチを行い、 京都・銀閣寺での日本人庭師との出会いが、 人生で最も重要な教訓になったと話し、話題になっています。 フアン氏は子どもたちが10代だった頃、 毎年夏にNVIDIAの海外オフィスに1ヶ月間赴き、 プライベートでは家族と旅行をしていたそうなのですが、 日本滞在中、京都の銀閣寺に行った際、 見事な手入れが施されている庭園で、 1人の日本人庭師の姿に目を惹かれたそうです。 その庭師さんは「京都特有の」炎天下の中、 竹製のピンセットを使い慎重に枯れた苔を摘み取り、 それを竹かごに入れていたのですが、 その姿に興味を惹かれたフアンさんが、 「この広大な庭でなぜピンセットで作業を
NVIDIAは2024年に中国でH20チップを100万個販売して2兆円を売上げる予定、HuaweiのAIチップの2倍を販売して存在感を示す
アメリカが中国に対する高性能半導体の輸出を制限する中で、半導体企業は輸出制限に適合する半導体の中国への販売を続けています。新たに、NVIDIAが中国向けAIチップ「H20」を今後数カ月で100万個以上販売する予定であることが報じられました。 Nvidia to make $12bn from AI chips in China this year despite US controls https://www.ft.com/content/b76ef55b-21cd-498b-ac16-5660908bb8d2 Nvidia to sell AI chips worth $12B in China https://www.cryptopolitan.com/nvidia-to-sell-ai-chips-worth-12b-in-china/ 中国はAIの研究開発に力を注いでおり、生成AI
NVIDIAの強さの秘密は「対抗するベンダーを創業する」と仮定すると見えてくる 今回はNVIDIAの覇権をひっくり返すことができるのかどうか思考実験（妄想？）を行ってみた。対抗するベンダーを創業すると仮定すると、NVIDIAの強さの秘密が見えてくる？ 写真は、NVIDIAのプレスリリース「NVIDIA Supercharges Hopper, the World’s Leading AI Computing Platform」より。 NVIDIAの株価がすごいことになっているみたいだ。2024年6月18日には株式時価総額が約3兆3350億ドルとなり、Microsoftを抜いて、世界1位になったという。その理由は高まる「生成AI（人工知能）」への需要を満たすための計算基盤として、NVIDIAのGPU一択的な流れになっていることが挙げられる。 さて、今回はそんなNVIDIAの覇権をひっくり返す
米NVIDIAは6月14日（現地時間）、LLMのトレーニング用オープン合成データ生成モデルシリーズ「Nemotron-4 340B」を発表した。独自のオープンモデルライセンス（PDF）の下、「あらゆる業界の商用アプリケーション向けLLM」のトレーニングに使うデータセットを合成できるとしている。つまり、商用利用も可能だ。 LLMの開発では、高品質で多様なデータセットでのトレーニングが不可欠だが、ネットなどから収集したデータには偏りや不正確なものが含まれる可能性があり、量にも限りがある。そのため、合成データの生成に注目が集まっている。 Nemotron-4 340Bには、合成データ生成のパイプラインを形成するbase、instruct、rewardの3つのモデルが含まれる。baseモデルは、9兆個のトークでトレーニングされたカスタマイズの基盤となるモデル。独自データを組み込むことで、このモデル
NVIDIA Releases Open Synthetic Data Generation Pipeline for Training Large Language Models
NVIDIA today announced Nemotron-4 340B, a family of open models that developers can use to generate synthetic data for training large language models (LLMs) for commercial applications across healthcare, finance, manufacturing, retail and every other industry. High-quality training data plays a critical role in the performance, accuracy and quality of responses from a custom LLM — but robust datas
NVIDIA製AI特化チップ「H100」を搭載したシステムがAI処理ベンチマーク「MLPerf Training 4.0」の9つのテストすべてでトップに
複雑になりがちな機械学習のパフォーマンスを標準化するべく設計されたベンチマーク「MLPerf Training」のバージョン4.0が登場し、複数のハードウェアで実行されました。その結果、NVIDIAの高性能GPU「H100」を搭載したシステムが優れたスコアを示しました。 MLPerf Training Benchmark - 1910.01500v3.pdf (PDFファイル)https://arxiv.org/pdf/1910.01500 MLPerf Training Results Showcase Unprecedented Performance, Elasticity | NVIDIA Blog https://blogs.nvidia.com/blog/mlperf-training-benchmarks/ Nvidia Conquers Latest AI Tests -
人工知能（ＡＩ）関連株ブームに乗るデイトレーダーにとって、毎週２桁のリターンを得られる賭けは他になかった。 これは、米半導体メーカー、エヌビディアの株価についてレバレッジを効かせた上場投資信託（ＥＴＦ）「グラニトシェアーズ２倍ロングＮＶＤＡ・デイリーＥＴＦ」（ティッカー：ＮＶＤＬ）を指す。記録的な資金を注ぎ込んできた個人投資家は今では、同社の約4300億ドル（約68兆6300億円）に上る時価総額消失を受け、大きな損失に直面している。 エヌビディア株が調整局面入り、過去３営業日で時価総額68兆円消失 エヌビディア株の日次リターンの２倍を提供するＮＶＤＬには先週、記録的な７億4300万ドルの流入があった。投資家は「世界で最も重要な銘柄」とされるエヌビディア株から得られる利益の増幅を狙った。だがそのタイミングは悪かった。ＮＶＤＬは18日終値から約25％下落している。年初来ではなお約329％上昇だ
NVIDIA、LLMのトレーニングに使用できるオープンモデルファミリー「Nemotron-4 340B」を発表
NVIDIAは2024年6月14日（米国時間）、大規模言語モデル（LLM）をトレーニングするための合成データを生成するオープンモデルファミリー「Nemotron-4 340B」を発表した。医療、金融、製造、小売など、あらゆる業界の商用アプリケーション向けのLLMに対応している。 高品質のトレーニングデータは、カスタムLLMの性能、精度、応答の質を高める上で重要だが、堅牢（けんろう）なデータセットは、コストが膨大でアクセスしにくい場合がある。 独自のオープンモデルライセンス（NVIDIA Open Model License）を採用しているNemotron-4 340Bにより、開発者は強力なLLMの構築に役立つ合成データを、無料でスケーラブルに生成できると、NVIDIAは述べている。 関連記事 NVIDIA、AI/ML開発者向けツールキット「NVIDIA AI Workbench」の一般提供
一生一緒にエヌビディア【NVDA】の背景 エヌビディア【NVDA】を始めとする半導体関連株が人気です。需給のバランスによる業績の変動、技術革新のスピードから、半導体関連株は値動きが大きいです。かつて中心的な存在だったIntelが目立たなくなっているのは一例です。 とはいえ、２１世紀の新たなサービスであるスマホ、クラウド、AIといったすべての技術的な根幹を支えているのは半導体です。これからも新たなイノベーションが起きるのでしょうが、半導体あってのイノベーションという大枠は変わらないのでしょう。 そういう意味では、業界をまるっと買えるSOX、あるいは類似のSMHなどは魅力です。ちょうど、新薬開発リスクを低減できるヘルスケアセクターのETF買いのような形です。これに関しては、２０１９年に出した拙著でも触れた通りです。 さて、今回はポートフォリオでNVDAが占める割合が大きくなりすぎた、という方か
米半導体大手「エヌビディア」時価総額世界首位に マイクロソフト抜く（日テレNEWS NNN） - Yahoo!ニュース
アメリカの半導体大手「エヌビディア」の時価総額が18日、マイクロソフトを抜いて世界首位となりました。 【画像】NVIDIA...そのCEOは「もはや神」 18日のアメリカ株式市場で、半導体大手「エヌビディア」の株価は、前の日の終値から3.5パーセント上昇しました。時価総額は3兆3350億ドル、日本円でおよそ527兆円となり、マイクロソフトを抜いて世界首位となりました。 エヌビディアの時価総額は、今月5日に3兆ドルの大台を突破し、アップルを抜いて一時世界2位となったばかりです。AI向け半導体の需要拡大を背景に株価はこの1年で3倍以上高騰しています。 現在、エヌビディアは、アメリカの代表的な株式指数であるダウ工業株30種平均の構成銘柄ではありませんが、市場では、ダウ平均に採用されるとの観測が高まっています。
生成AI市場をめぐる熾烈な争いで中心的プレーヤーである米マイクロソフト。同社は、大規模言語モデル（LLM）分野で米OpenAIと、AI半導体分野で米エヌビディアと密接な相互依存関係にあることは有名だ。一方で、ともにマイクロソフトの潜在的なライバルでもあり、早晩「今日の友は明日の敵」になる可能性がある。エヌビディアに至っては、時価総額でアップルを抜きマイクロソフトに迫る勢いだ。そこで本稿では、マイクロソフトとこれら2社が競合するビジネスは何か、そしていつ友好関係が解消となる可能性があるのか、分析する。
「クラウド→AI PC」時代に台頭するのは？ NVIDIAとの協業で注目が集まる企業：世界を読み解くニュース・サロン（1/4 ページ） 2024年6月4日から台湾で開催された、台北国際コンピュータ見本市（COMPUTEX＝コンピューテックス）。アジア最大規模のICT見本市のCOMPUTEXは「世界最先端の知識がぶつかり合い、交流するプラットフォームとして、さらなるイノベーションの灯を生み出します」という触れ込みで、世界から1000社以上が参加した。 筆者も取材で「COMPUTEX TAIPEI 2024」に参加した。今年の目玉の一つは、生成AIの拡大を支える米NVIDIA（エヌビディア）の名物CEOであるジェンスン・フアン氏の基調講演だった。黒い革ジャンがトレードマークである、台湾生まれのフアン氏は、台湾ではメディアでもロックスター並みの扱いで、AIに対する世界の注目度がよく分かる。 最近
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
加熱するLLM開発競争に冷や水、オープンモデルの組み合わせだけでGPT-4o越えの事実
自分の認識をだらだら書くとこうなる。 結局のところ2003年から2011年頃まで..
【大原雄介の半導体業界こぼれ話】 生成AIのバブルはいつ弾ける？
「NVIDIA最新GPUの20倍速い」史上最速を謳うAIチップ「Sohu」
海外「だから親日家なのか！」NVIDIA創業者が日本で学んだ人生で最も重要な教えが話題に
第289回 NVIDIAはなぜ強いのか？ 競合ベンダー創業者の視点で考えてみる
自作PCのこれまで、そしてこれから。PC自作の夜明けを迎えた1990年代【自作PC史&極私的パーツ名鑑】 DOS/V POWER REPORT 2024年冬号の記事を丸ごと掲載！
NVIDIA、AIトレーニング用合成データ生成モデル「Nemotron-4 340B」を商用利用可でリリース
NVIDIAの時価総額が世界一に。Microsoftを抜く
エヌビディア株のレバレッジ型ＥＴＦ、株価急落前に記録的な資金流入
一生一緒にエヌビディア【NVDA】、そして積みビディアへ - たぱぞうの米国株投資
OpenAI・エヌビディアは「目の上のたんこぶ」…生成AI制覇ねらうマイクロソフトの絶望
「クラウド→AI PC」時代に台頭するのは？ NVIDIAとの協業で注目が集まる企業