タグ

ブックマーク / note.com/kind_crocus236 (1)

  • Devinの最初のオープンソースモデルがOpenAI O3を打ち破る!|AGIに仕事を奪われたい

    Devinの最初のオープンソースモデルはCUDAカーネルプログラマー、つまりGPUプログラマーです。この32億パラメータのファインチューンされたオープンソースモデルがO3を打ち負かしたのです。OpenAIの旗艦モデルが32億パラメータのファインチューンモデルに敗れたのです。非常に興味深いことに、彼らは様々な細かいファインチューニング技術を駆使しています。 このビデオではこのモデルについて詳細に見ていきます。このモデルは「Kevin」と呼ばれています。つまり「Kernel」と「Devin」を組み合わせたものです。なぜこの名前になったのかはわかりません。彼らはファインチューニングにマルチターン強化学習というものを使用しています。 また、思考連鎖(chain of thought)を使ったファインチューニングをする際に、コンテキストウィンドウが爆発的に増加する問題をどう処理したかという点も非常に

    Devinの最初のオープンソースモデルがOpenAI O3を打ち破る!|AGIに仕事を奪われたい
    pascal256
    pascal256 2025/05/14
  • 1