RakutenAI-3.0とDeepSeek-V3の関係性について - ほぼLoRA適用モデル｜はまち1.はじめに 2024年、Rakutenが「RakutenAI-3.0」として大規模言語モデルを発表しました。しかし、技術者コミュニティーの間では「既存モデルとの類似性」について疑問の声が上がっていました。 本レポートは、RakutenAI-3.0とDeepSeek-V3を比較検証した結果をまとめました。 調査のスコープモデル重み（パラメータ）の定量的比較 アーキテクチャ・設定の詳細分析 LoRA（Low-Rank Adaptation）技術の実装調査 670億パラメータ×61層の包括的検証 2. 調査手法 - 重み比較とLoRA分析による検証2.1 技術調査のアプローチ3つのレベルでの検証： ファイルレベル: 設定ファイル、トークナイザーの一致確認 テンソルレベル: 個々の重み行列のコサイン類似度計算 層レベル: 61層×20ファイルの体系的分析 2.2 使用ツール・技術Python +
