インフルエンス関数のスケールアップ
予測をトレーニングデータに追跡するための影響関数の効率的な計算に取り組みます。アーノルディ法に基づく逆ヘッセ計算を高速化するための新しいアプローチを提案し、分析します。この改善により、私たちの知る限り、数億のパラメーターを持つフルサイズ（言語およびビジョン）のTransformerモデルにスケーリングする影響関数の最初の実装に成功しました。数千万から数億のトレーニング例を使用して、画像分類とシーケンス間のタスクに関するアプローチを評価します。私たちのコードはhttps://github.com/google-research/jax-influenceで入手できます。 We address efficient calculation of influence functions for tracking predictions back to the training data. We p
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
https://arxiv-check-250201.firebaseapp.com/each/2402.16249v1
https://arxiv-check-250201.firebaseapp.com/each/2304.14394v3
SeqTrack: 視覚オブジェクト追跡のためのシーケンスからシーケンスへの学習
Hybrid-S2S：リカレントネットワークとコレスポンデンスマッチングによるビデオオブジェクトセグメンテーション