DeepSeek-R1の技術的詳細

DeepSeek-R1: 世界最高推論性能のOSSモデル こんにちはYosematです。 中華系のAI技術が進化していますね。OpenAIなど研究開発を進めて手法が確立されてきたタイミングで参入することで莫大な試行錯誤のコストを節約しお安いコストで仕上げている印象を受けています。 今日はぶっちぎりの話題性を誇るDeepSeek-R1について解説します。一般の読者が「お気持ちはわかった」状態になることと関連分野をかじってる人が「完全に理解した」状態になることを目指します。 DeepSeek-R1とは DeepSeek-R1は OSSの大規模言語モデル OpenAI o1に並ぶ性能を示す推論モデル 強化学習頼みで進化したモデル です。 APIも公開されていますがOutput Tokenあたりの値段はo1に比べて20倍以上安いです。 利用者目線でのすばらしさや社会に与える影響の考察は他の記事に譲

[igrep]

どれだけ正確か分からんけど、門外漢でも分かるようにうまくかいつまんでる感じがするなあ。ありがたや。

[napsucks]

知識はもうすでに十分持ってるのであとはその膨大な知識を如何に自己組織化させるかということだな。そしてその過程はまさにシンギュラリティへの道そのもの。

[georgew]

これも比較的わかりやすい解説の一つ。研究者でなければこの程度のエッセンス理解でも十分。

[misshiki]

“逆にGpt-4oやGemini 2.0 Flashなどを丸暗記モデルと呼ぶことにします。” これらを何と呼べばいいかが今、分からないので、学術界などで共通的な言葉が欲しいところ。

[kei_1010]

俺はまだOSSの定義は理解できてないので「初っ端から云々」とか言えない。この記事は俺にとっては途中から難しくて疲れた頭では全く理解不能なので、また後で読む。

[uehaj]

正解のない文系知識についてはまだスケールしないということだな。人間に匹敵する小説や脚本、ギャグは作れない。楽曲でも鳥肌が立つ感動は作れない。

[fluoride]

“推論モデルが台頭してきたのは人類がWeb上にある学習データを使いつくした（しつつある）から…学習データとパラメータの増加でAIの性能を向上させていく大規模丸暗記モデルの時代は終焉を迎えた”

[sleepyuzura]

ようわからんが開発したプロダクト？モデル？に対して容赦なくベンチマークして強みやまだ足りない点を客観的に評価してオープンな論文にしてるんだとしたら、フラットに見て科学の発展には寄与してるのではないか

[zgmf-x20a]

昔からOSSに関わってるが、LLMのオープンソース定義に目くじら立てない派。LLMはオープンソースソフトウェアではないような…なんて事言ってたら、Open-R1か…

[hatebu_ai]

「Output Tokenあたりの値段はo1に比べて20倍以上安い」←ド素人が気になるのは、ここがダンピングできるかどうかで、たとえば個人情報が本来のコストでやたら安いECサイトをやってそうな国とかあるじゃん、だから気になる

[otologie]

悟空の修行みたいに死にかけたら強くなるんだけどな。最適化しすぎないのも功を奏したのか。

[ST0RM]

“手法が確立されてきたタイミングで参入することで莫大な試行錯誤のコストを節約しお安いコストで仕上げている”

[diveintounlimit]

興味深い