LLMなどに出てくるlogitとは何か - Qiita

はじめに huggingfaceなどで公開されているニューラルネットワークのプログラムを見ると、"logit"とという変数が出てくる ここでの"logit"は何を意味しているのか？数学的意味があるのか？ 数学のlogitの定義（初心者が混乱するやつ） wikipediaの説明を読んでみると、次のようなことが書かれている。 ロジット（英: logit）とは、0から1の値をとるp に対し $\displaystyle \operatorname {logit} (p)=\log \left({\frac {p}{1-p}}\right)=\log(p)-\log(1-p)$ で表される値をいう。p を変数とするロジット関数とも呼ばれる。 ロジット関数はロジスティック関数 $\displaystyle \operatorname {expit} (\alpha )={\frac {1}{1+e^