加熱するLLM開発競争に冷や水、オープンモデルの組み合わせだけでGPT-4o越えの事実 2024.06.21 Updated by Ryo Shimizu on June 21, 2024, 18:19 pm JST 世界中の企業や政府が狂ったようにNVIDIAのGPUを買い漁る流れはそろそろ潮時かもしれない。 いくつかの興味深い事象が起きているからだ。 昨日発表されたKarakuri社のLLM、「KARAKURI LM 8x7B Instruct v0.1」は、非常に高性能な日本語LLMだ。Karakuri社は今年の一月にも非常に高性能な70Bモデルを引っ提げて業界に旋風を巻き起こした。この最新のLLNは、日本語向けオープンLLMとしては初の「命令実行」チューニングを施されている。それだけでなく、RAGと呼ばれる、複数の知識を組み合わせてより正解に近い答えを導く技術や、Function
中島聡さん、NVIDIAのGPUが用済みになるって本当ですか？AI開発の行列乗算をなくす｢MatMul-free LM｣で気がかりなこと - まぐまぐニュース！
エヌビディアの強みであるGPUの優位性を揺るがすかもしれないAI関連の注目論文とは？人気急上昇中のメルマガ『週刊 Life is beautiful』より読者Q&Aをご紹介。著者の中島さんは「Windows95の父」として知られる日本人エンジニア。メルマガでは毎号、読者からの質問に丁寧に回答しています。 ※本記事のタイトル・見出しはMAG2NEWS編集部によるものです プロフィール：中島聡（なかじま・さとし） ブロガー／起業家／ソフトウェア・エンジニア、工学修士（早稲田大学）／MBA（ワシントン大学）。NTT通信研究所／マイクロソフト日本法人／マイクロソフト本社勤務後、ソフトウェアベンチャーUIEvolution Inc.を米国シアトルで起業。現在は neu.Pen LLCでiPhone/iPadアプリの開発。 1ビットの高速推論AIチップ 米国より先に中国が開発する可能性も 読者からの質
先日時価総額が3兆3350億ドルに達し（約526兆円）、 マイクロソフトを抜いて世界首位となった、 アメリカの半導体大手「NVIDIA」の創業者、 ジェンスン・フアン氏が14日、 カリフォルニア工科大学の卒業式でスピーチを行い、 京都・銀閣寺での日本人庭師との出会いが、 人生で最も重要な教訓になったと話し、話題になっています。 フアン氏は子どもたちが10代だった頃、 毎年夏にNVIDIAの海外オフィスに1ヶ月間赴き、 プライベートでは家族と旅行をしていたそうなのですが、 日本滞在中、京都の銀閣寺に行った際、 見事な手入れが施されている庭園で、 1人の日本人庭師の姿に目を惹かれたそうです。 その庭師さんは「京都特有の」炎天下の中、 竹製のピンセットを使い慎重に枯れた苔を摘み取り、 それを竹かごに入れていたのですが、 その姿に興味を惹かれたフアンさんが、 「この広大な庭でなぜピンセットで作業を
NVIDIAの強さの秘密は「対抗するベンダーを創業する」と仮定すると見えてくる 今回はNVIDIAの覇権をひっくり返すことができるのかどうか思考実験（妄想？）を行ってみた。対抗するベンダーを創業すると仮定すると、NVIDIAの強さの秘密が見えてくる？ 写真は、NVIDIAのプレスリリース「NVIDIA Supercharges Hopper, the World’s Leading AI Computing Platform」より。 NVIDIAの株価がすごいことになっているみたいだ。2024年6月18日には株式時価総額が約3兆3350億ドルとなり、Microsoftを抜いて、世界1位になったという。その理由は高まる「生成AI（人工知能）」への需要を満たすための計算基盤として、NVIDIAのGPU一択的な流れになっていることが挙げられる。 さて、今回はそんなNVIDIAの覇権をひっくり返す
NVIDIA、LLMのトレーニングに使用できるオープンモデルファミリー「Nemotron-4 340B」を発表
NVIDIAは2024年6月14日（米国時間）、大規模言語モデル（LLM）をトレーニングするための合成データを生成するオープンモデルファミリー「Nemotron-4 340B」を発表した。医療、金融、製造、小売など、あらゆる業界の商用アプリケーション向けのLLMに対応している。 高品質のトレーニングデータは、カスタムLLMの性能、精度、応答の質を高める上で重要だが、堅牢（けんろう）なデータセットは、コストが膨大でアクセスしにくい場合がある。 独自のオープンモデルライセンス（NVIDIA Open Model License）を採用しているNemotron-4 340Bにより、開発者は強力なLLMの構築に役立つ合成データを、無料でスケーラブルに生成できると、NVIDIAは述べている。 関連記事 NVIDIA、AI/ML開発者向けツールキット「NVIDIA AI Workbench」の一般提供
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
加熱するLLM開発競争に冷や水、オープンモデルの組み合わせだけでGPT-4o越えの事実
海外「だから親日家なのか！」NVIDIA創業者が日本で学んだ人生で最も重要な教えが話題に
第289回 NVIDIAはなぜ強いのか？ 競合ベンダー創業者の視点で考えてみる
NVIDIAの時価総額が世界一に。Microsoftを抜く
