シグモイド関数を微分する - のんびりしているエンジニアの日記
皆さんこんにちは お元気ですか。私は普通です。 さて、今日は以下のシグモイド関数を微分してみます。 シグモイド関数とは何か？ 以下のような形で示す関数です。ニューラルネットワークの活性化関数とかで使われます。 ニューラルネットワークの学習で最急降下法を使う時に微分が必要になります。 その他でも結構この関数の微分は扱われたりします。 ※表示用のソースコードは一番下へ 微分したらこうなることが一般的に知られてますが、どうしてこうなるのでしょう？ 微分の計算式 急にやりたくなったので、やってみた 久々に真面目に微分したので、色々間違ってたらすみません。 以前行った、最急降下法を このまま微分だと面倒なので、はじめに式変形 合成微分の公式を使い と置くと以下のように表現ができる。 次にそれぞれについて微分を行う。 微分した２つの式を代入すると以下の式に変換できる。 上記の式を分数の形にすると 更に
勾配降下法の�最適化アルゴリズム
IBIS 2021 https://ibisml.org/ibis2021/ における最適輸送についてのチュートリアルスライドです。 『最適輸送の理論とアルゴリズム』好評発売中！ https://www.amazon.co.jp/dp/4065305144 Speakerdeck にもアップロードしました: https://speakerdeck.com/joisino/zui-shi-shu-song-ru-men
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
