タグ

機械学習とTrainiumに関するmohnoのブックマーク (1)

  • 加熱するLLM開発競争に冷や水、オープンモデルの組み合わせだけでGPT-4o越えの事実

    加熱するLLM開発競争に冷や水、オープンモデルの組み合わせだけでGPT-4o越えの事実 2024.06.21 Updated by Ryo Shimizu on June 21, 2024, 18:19 pm JST 世界中の企業や政府が狂ったようにNVIDIAのGPUを買い漁る流れはそろそろ潮時かもしれない。 いくつかの興味深い事象が起きているからだ。 昨日発表されたKarakuri社のLLM、「KARAKURI LM 8x7B Instruct v0.1」は、非常に高性能な日語LLMだ。Karakuri社は今年の一月にも非常に高性能な70Bモデルを引っ提げて業界に旋風を巻き起こした。この最新のLLNは、日語向けオープンLLMとしては初の「命令実行」チューニングを施されている。それだけでなく、RAGと呼ばれる、複数の知識を組み合わせてより正解に近い答えを導く技術や、Function

    加熱するLLM開発競争に冷や水、オープンモデルの組み合わせだけでGPT-4o越えの事実
    mohno
    mohno 2024/06/22
    “機械学習専用チップ”としては以前からGoogle TPUがあるんだけど、そのGoogleもNVIDIA GPUを買ってるらしい。そして、こういうのは当事者が理解してるであろうデメリット側の話も聞きたい。何もないとは思えない。
  • 1