モデルパラメータの算術 - ｼﾞｮｲｼﾞｮｲｼﾞｮｲ深層モデルのパラメータを一列に並べてベクトルにします。このベクトルは大規模なモデルであれば何十億次元にもなります。一見、意味のない数値の羅列のようですが、このベクトルはベクトルとして深い意味があることが分かってきています。例えば、 と を異なるパラメータベクトルとすると、 や をパラメータとして持つモデルはちゃんと機能します。本稿では、このようなモデルパラメータの算術を用いた手法とその背後にある理論について解説します。 追記： 拙著『深層ニューラルネットワークの高速化』にて本稿の内容を大幅に増補しました。本稿に興味を持った方はこちらも参照いただけると嬉しいです。 深層ニューラルネットワークの高速化 ML Systems 作者:佐藤 竜馬技術評論社Amazon 追記ここまで 目次 目次 モデルスープ タスクベクトル モデルパラメータとニューラルタンジェントカーネル おわりに モデルスープ モ
