Kerasでhard-swishを実装 - Qiita

概要 ここ1年でディープラーニングの軽量化モデルがいくつか出てきている中で有名なのがmobilenetV3だと思います（kerasにもV2は実装されていますし） その中の軽量化の一端を担っているのがh-swish(hard-swish)です。 通常のswishはsigmoidを使って重たいので処理が軽いもので近似＋量子化したときの誤差も小さい ということらしいです。 日本語の詳細の解説は下記の記事を参考にしてみてください。 参考: 【論文読み】Searching for MobilenetV3 本記事はkerasでのhard-swishの実装という内容です。 といっても関数自体そこまで難しいものではないのでバックエンドでサクッと実装できてしまいます。 せっかくなのでswishも実装してグラフで比較したいと思います。 また、実装のやり方としてバックエンドを使用して 1.活性化関数としての定義