タグ

ブックマーク / qiita.com/keisuke-nakata (3)

  • 【論文】Deformable Convolutional Networks (2017) - Qiita

    [1703.06211] Deformable Convolutional Networks メタ情報 ICCV 2017 oral paper Microsoft Research Asia 著者実装 日語による解説 (見つけられた範囲で) Deformable Convolutional Networks Active Convolution, Deformable Convolution ―形状・スケールを学習可能なConvolution― 機械学習論文読みメモ_108 - Qiita 概要 質的に、CNN はその構造上、幾何的な 1 変換処理に制限されている その欠点を克服するために、 deformable convolution と deformable RoI pooling を提案する 物体検出と semantic segmentation のタスクで結果を検証する 導入

    【論文】Deformable Convolutional Networks (2017) - Qiita
    sh19910711
    sh19910711 2024/06/06
    "CNN: 畳み込みも pooling も固定された位置に対する処理なので、幾何的な変形に対して弱い / 畳み込みに学習可能な2Dオフセットを導入 / 学習済みモデルに deformable の offset field を入れて追加で学習 + ただし細々した調整" 2018
  • RWA (Recurrent Weighted Average) モデルを学習させてみた in Keras - Qiita

    RWA (Recurrent Weighted Average) とは? 論文 (Machine Learning on Sequential Data Using a Recurrent Weighted Average) はこちら 上図の c が RWA のモデル概略図です (a は通常の LSTM、b はアテンション付きの LSTM)。 RWA とは、系列データを扱う再帰的ニューラルネットワーク (Recurrent Neural Networks; RNN) の派生のひとつです。 提案論文中では、RNN の実装としてよく使用されている LSTM と比較して、 精度が良い 収束が速い パラメータ数が少ない と、良いことずくめのことが書いてあります。 その主張の強さとアーキテクチャの簡明さに驚き、また、現在ほぼデファクトスタンダードとなっている LSTM を当に上回ることができるのか

    RWA (Recurrent Weighted Average) モデルを学習させてみた in Keras - Qiita
    sh19910711
    sh19910711 2024/05/21
    "RWA; Recurrent Weighted Average: Attention を一般化し、再帰的に定義し直すことで RNN の構造に組み込んだもの + attention を過去の状態の移動平均だと考え" arXiv:1703.01253 2017
  • tfdbg を使って Keras の nan や inf を潰す - Qiita

    はじめに Keras に限らず、機械学習等の科学計算をおこなっているときに nan や inf が出現することがあります。 nan や inf は主にゼロ除算などのバグに起因して発生しますが、nan や inf それ自体を目的に使うこともあるため、エラーになるわけではありません。エラーになったとしても、「きっとどこかでゼロ除算しているんだろなぁ・・・」と思いを馳せることができるだけです。 そこで、TensorFlow 公式デバッガである tfdbg を使って、(TensorFlow バックエンドの) Keras モデルをデバッグして nan や inf の原因を追ってみます。 今回デモ用に利用したコードは公開していますので、ご興味があればご参照ください: https://github.com/keisuke-nakata/keras-tfdbg-tutorial tfdbg とは 公式の

    tfdbg を使って Keras の nan や inf を潰す - Qiita
  • 1