Mishの利点 ・少しマイナスの情報を保持することでDyingReLU減少が改善された。 ・Mishは飽和を避けてくれる。一般的にgradientが0に近いとtrainingのスピードが急激に遅くなる ・マイナスに行く事は強い正規化の効果もある ・ReLUのように特異点がない(連続である) Swish Familyを比べてみた Swishに似た活性化関数(Swish Family)を比較してみた。 右図から分かるようにMishとxlog(1+tanh(e^x))がSwishよりやや精度が高い事が分かる。しかし、xlog(1+tanh(e^x))はoverfittingしやすく学習が不安定であった。 よってMishが優秀な事が分かる。 Mishな一次微分を変形してみると(2)のようになる。 ∆(x) parameterは前処理のような振る舞いをする。それによって、正規化と勾配をsmoothに
ミーチューは2014年2月にZIGの社名で設立。かつてVTuberプロダクション「OPEN BETA」を運営していた。21年6月にミーチューへと社名を変更し、ファンコミュニティープラットフォーム「Mechu」を提供している。Mechuは、VTuberのファンクラブの他、JR東日本と共同で鉄道ファン向けの「撮り鉄コミュニティ」などにも利用されている。 関連記事 議事録をWebサイトで誤公開 個人情報含む約2000件が外部スタッフのミスで流出 クリエイター向けファンコミュニティーサービスを提供するミーチューは、外部スタッフのミスにより、個人情報が書かれた社内の議事録1962件を、公式Webサイト上で誤って公開していたと発表した。 JR東「撮り鉄コミュニティ」好調な滑り出し あえてイメージの悪い言葉を使った理由は? JR東日本が11月10日に開設した「撮り鉄コミュニティ」が、登録開始から1日で3
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く