【DL輪読会】言語以外でのTransformerのまとめ (ViT, Perceiver, Frozen Pretrained Transformer etc)
2018年2月23日(金)に開催されたオレシカナイトvol.5(https://cyberagent.connpass.com/event/77000/)での発表スライドですRead less
アドバンスドテクノロジーラボの石川有です. 株式会社リクルートテクノロジーズ Advent Calendar 2014 – Qiita の 12/16 分でエントリーを書きます. 大規模データを扱った機械学習用ライブラリがオープンソースで利用できる便利な時代ですが,まだまだ真の意味でエンジニアリングと機械学習研究の融合は果たせていないと思います. 従来のソフトウェアエンジニアリングではソースコードに対する知見が提案され実用されていますが,いざ機械学習システムの開発・運用に適応してみると「それだけ」では足りないということを実感します. その開発と運用のしづらさは何によるものなのか,それを回避するためのアンチパターンはなんなのかなどのヒントを,Google の D. Sculley らが Machine Learning: The High Interest Credit Card of Te
今回はadversarial exampleについて解説していきます。Adversarial exampleというのは、下図のように摂動を与えることによりモデルに間違った答えを出力させてしまうもののことです。 この例では、もともとモデルがパンダと正しく分類することができていた画像に摂動を与えることで、テナガザルと誤分類させています。しかし、人間には元の画像との違いはほとんど分からず、パンダのままに見えます。 Adversarial exampleは機械学習モデルを実用化していく上で大きな問題となります。例えば、交通標識をadversarial exampleにしてしまえば、自動運転車をだませてしまう可能性があります。 注目を集めてきている研究分野ですが、まだちゃんと調べたことがないという人も多いかと思います。今回もなるべく丁寧に解説していきたいと思います。 目次 基礎 攻撃 防御 論文紹介
前回記事では、KaggleのFacial Keypoints Detectionを題材にして、単純なニューラルネットワークから転移学習まで解説しました。 事前に学習した重みを読み込んだ後、全ての層で学習するのではなく、一部の層をフリーズさせることもできるという話を最後に少しだけしました。ちょうどその後、転移学習について詳細に解説しているKerasの公式ブログ記事が公開されましたこともあり、今回はこの記事を参考にしつつ、転移学習をメインに解説していきます。間違いがあれば指摘してください。今回もFacial Keypoints Detectionのデータを使って解説していくので、前回記事も是非合わせて読んでみてください。 また、Keras 1.0.4が公開されたのでまだの人はアップデートしておくと良いかと思います。 目次 転移学習 可視化 全結合層のみ学習(前回モデル) 全結合層+一部の畳み込
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く