加熱するLLM開発競争に冷や水、オープンモデルの組み合わせだけでGPT-4o越えの事実
加熱するLLM開発競争に冷や水、オープンモデルの組み合わせだけでGPT-4o越えの事実 2024.06.21 Updated by Ryo Shimizu on June 21, 2024, 18:19 pm JST 世界中の企業や政府が狂ったようにNVIDIAのGPUを買い漁る流れはそろそろ潮時かもしれない。 いくつかの興味深い事象が起きているからだ。 昨日発表されたKarakuri社のLLM、「KARAKURI LM 8x7B Instruct v0.1」は、非常に高性能な日本語LLMだ。Karakuri社は今年の一月にも非常に高性能な70Bモデルを引っ提げて業界に旋風を巻き起こした。この最新のLLNは、日本語向けオープンLLMとしては初の「命令実行」チューニングを施されている。それだけでなく、RAGと呼ばれる、複数の知識を組み合わせてより正解に近い答えを導く技術や、Function
速報：話題の 1ビットLLMとは何か？｜寺田英雄（㈱オープンストリームCTO）
2024-02-27にarXiv公開され，昨日（2024-02-28）あたりから日本のAI・LLM界隈でも大きな話題になっている、マイクロソフトの研究チームが発表した 1ビットLLMであるが、これは、かつてB-DCGAN(https://link.springer.com/chapter/10.1007/978-3-030-36708-4_5; arXiv:https://arxiv.org/abs/1803.10930 )という「１ビットGANのFPGA実装」を研究していた私としては非常に興味をそそられる内容なので、論文を読んでみた。今回は速報として、その内容のポイントを概説したい。 論文情報 Ma, S. et al. (2024) ‘The Era of 1-bit LLMs: All Large Language Models are in 1.58 Bits’, arXiv [c
MetaのザッカーバーグCEO、AGI開発宣言 「AIとメタバースは繋がっている」
米Metaのマーク・ザッカーバーグCEOは1月18日（現地時間）、Threadsへの投稿で、同社の長期的なビジョンを、「general intelligence」の構築と、そのオープンソース化により、誰もが恩恵を得られるようにすることだと語った。 ザッカーバーグ氏がgeneral intelligenceとしているのは、米OpenAIや米GoogleがAGI（汎用人工知能）と呼ぶ、人間と同じような汎用的な知能を持つAIを指す。（本稿ではAGIとする。） ザッカーバーグ氏はこれを実現するために、2024年末までに米NVIDIAのHopper採用GPU「H100」を35万枚投入すると語った。 このデータセンターで、次期LLM「Llama 3」を「責任を持って安全にトレーニング」していくという。 同氏はまた、ユーザーが日常的にAGIを使うために、新たなデバイスを必要とすると語った。 「これにより
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
NVIDIA、1パッケージに2ダイの新型GPU「Blackwell」。AI性能は学習4倍、推論30倍に
NVIDIA純利益14倍 8〜10月、AI半導体で急拡大続く - 日本経済新聞
