富士通のPHOTONを論文からスクラッチ再実装し、DGX Spark (GB10) 1台で学習・推論まで検証してみる

論文は600M〜1.2Bパラメータ・The Pile 134Bトークンで学習しており、これはGB10 1台では現実的でないため、アーキテクチャの妥当性と効率主張の定性的検証に目標を絞り、36〜44M（第1弾）→158〜187M（スケールアップ）のモデルを200M〜1.5Bトークンで学習しました。 公式実装がない論文をどう「正しく実装できた」と言うか PHOTONには参照実装がありません。再実装の正しさをどう担保するかが今回いちばん神経を使った部分で、以下の3層のテストを用意しました。 1. 勾配ベースの因果性証明。 位置 j のlogitsを位置 j 以降の入力トークンで微分し、勾配が厳密にゼロであることを確認します。「未来を見ていない」ことのアーキテクチャレベルの証明で、attention maskのバグや潜在経由の情報漏洩を機械的に検出できます。 2. 小バッチ過学習。 固定ミニバッチ

[nguyen-oi]

公式コードなしから論文だけで再実装してGB10で検証までするの行動力凄すぎる