こんにちは、データサイエンスチームの白石です。 前回は、マルチタスク学習を試してみて、犬猫分類器の精度向上を試みました。 結果としては、明確に改善した、と言い切れるほど大幅な改善はありませんでしたが、マルチタスクの導入によって精度が向上するケースも確認できました。 今回は、Attention 機構と呼ばれる仕組みを導入し、犬猫分類器の精度向上を試みます。 「機械学習導入支援サービス」の詳細はこちら Attention 機構とは何か Attention 機構は、現代の深層学習の花形と言える仕組みです。 Attention 機構というと、自然言語処理などでよく使われる技術だ、と思われる方もいらっしゃるかもしれません。歴史的には、Seq2Seq と呼ばれる自然言語処理などで使用されるリカレントニューラルネットワークベースのモデルに対して組み込まれ、大きな注目を集めました。近年では、機械翻訳のため
![深層学習入門:画像分類(5)Attention 機構 | SBテクノロジー (SBT)](https://cdn-ak-scissors.b.st-hatena.com/image/square/0bed74d9c7c1415a48b1e8aaba8a5311f7098f77/height=288;version=1;width=512/https%3A%2F%2Fwww.softbanktech.co.jp%2F-%2Fmedia%2FSMC%2Fspecial%2Fblog%2Fsbt_sbt%2F2019%2F0049%2F0049.png%3Frev%3D3c060e4732bc48c28fa7729817c8b69e)