You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
論文まとめ:Realtime Multi-Person 2D Pose Estimation using Part Affinity FieldsDeepLearningCNNOpenPose はじめに 今更ながらOpenPoseとして知られる以下の論文をまとめてみる。 論文:[1] Z. Cao, et. al. "Realtime Multi-Person 2D Pose Estimation using Part Affinity Fields" https://arxiv.org/abs/1611.08050 既にslideshareにもまとめがあがってる。 松尾研の大野氏: https://www.slideshare.net/ShunsukeOno/realtime-multiperson-2d-pose-estimation-using-part-affinity-field
はじめに 深層学習の勾配法には様々な手法が提唱されています。その中で、どの手法を用いるのが適切であるか自分でもあまり理解できていない部分があり、今回は勾配法の中でも実際に深層学習で主に用いられている手法(SGD, Momentum SGD, AdaGrad, RMSprop, AdaDelta, Adam)について、実装することを前提に調べてまとめてみました。実装フレームワークはChainerを想定しています。 SGD SGD(Stochastic Gradient Descent : 確率的勾配降下法)は、Optimizerの中でも初期に提唱された最も基本的なアルゴリズムです。重み$\mathbf{w}$の更新は以下のように行っております。このとき、$E$は誤差関数、$\eta$は学習係数を表しています。 \mathbf{w}^{t + 1} \gets \mathbf{w}^{t} -
\def\textlarge#1{% {\rm\Large #1} } \def\textsmall#1{% {\rm\scriptsize #1} } 学習率ηを作用させ勾配∂L/∂ωの逆方向にパラメータを変化させる、シンプルなアルゴリズムでした。 コードを記載します。 今回、いくつかパラメータの更新の最適化をトライするため、基底クラスでOptimizerというクラスを用意します。 手法名と共通の学習率を保持し、パラメータのアップデートを行う「update」関数を保有する簡単なクラスです。 それを派生して勾配法のクラスを用意します。 学習率は、前回から値を小さくし0.01。 繰り返し回数を800回で設定したときの交差エントロピー誤差の推移と 精度の推移は以下のようなグラフになります。 Momentum法 パラメータの最小値を物理法則的なアプローチで解析する手法です。 ちなみにMoment
論文紹介 画像引用 https://openreview.net/pdf?id=Bkg3g2R9FX https://github.com/Luolc/AdaBound https://www.luolc.com/publications/adabound/ AdaBoundとAMSBound Adamに学習率の上限と下限を動的に加えたものをAdaBound AMSGradに学習率の上限と下限を動的に加えたものをAMSBound どちらの手法も最初はAdamのように動き、後半からSGDのように動く Adamの良さである初期の学習の速さとSGDの良さである汎化能力を両立した最適化手法 Adamの問題点 SGDと比べて汎化性能が劣る・未知のデータに弱い 不安定で極端な学習率を使うため上手く収束しない AMSGrad こういったAdamの問題を解決しようとしてできたのがAMSGrad http:
混乱の最中に何があったのか、復旧復興の意思決定は――。東日本大震災で被災した市町村が作成した公文書や手控えメモは、災害を記録し、後世に教訓をもたらす。だが市町村の対応はばらばらで、すでに一部が散逸した恐れが強い。専門家は市町村任せの現状に警鐘を鳴らす。 文書大量「場所・人手ない」 「7:46 避難漁船53隻 食料尽きかけている」「8:40 (自衛隊)只野旅館から生存者6名救出」 ポスターの裏紙に走り書きされた油性ペンの文字。発災直後、岩手県大船渡市役所の災害対策本部で書かれたとみられる経過表だ。「1名生存のもよう」の「生存」をこすって消し、「救出」と書き直した箇所もあり、生々しい状況をうかがわせる。 旧崎浜小の教室に積み上げられた17個の段ボール箱。中に収められた資料は市が永年保存すると決めた震災公文書や資料類だ。市は2012年1月末、震災に関わる全文書の保存を各部署に通知した。 通知を発
巷には今、「働き方改革」とともに「RPA」という言葉が台頭し始めている。RPAは「ロボティック・プロセス・オートメーション」のことで、普段の業務を自動化してくれるソフトだという。 こんな説明がなされているが、これまでプログラミングに触れてきた人にとってはやや疑問が浮かぶのではないだろうか。「Excelマクロやバッチと何が違うのか」と。 例えば、RPAの動作説明でよくあるのは「ファイルをゴミ箱に捨てる」という操作だ。RPAソフトがファイルをゴミ箱にドラッグ&ドロップするという操作だが、ファイルを削除するのが目的なら、Windowsであれば「del hogehoge.txt」と書いたバッチファイルを実行すれば済む話だ。「del *.txt」とすればフォルダ内のテキストファイルを一網打尽に消すこともできる。 Webブラウザの操作であれば、「Node.js」や「Selenium」などですでに自動化
最終更新日:2023年6月12日 R&D部の榊です。 当社のR&D部では,研究開発上で利用する様々なリソースを部内で共有しています。 今回、そのうちの一つである単語分散表現モデルを社外の方にも利用可能な形で配布することにしました。 なので、それについてご説明したいと思います。 なお、最近の日本の自然言語処理界隈では、文分散表現モデルであるBERTの日本語を含む多言語モデルが公開になったばかりなので、日本語の単語分散表現モデルの配布は大変今更感があるなあ・・・と思ったりもしています。 ですが、日本語を対象とした文・単語の分散表現共に、配布されているのはWikipediaを学習コーパスとしたものが殆どです。 なので、WikipediaではカバーしきれないSNSやWeb上の文書を学習コーパスとした分散表現のモデルを公開することは一定の価値があると考えています。 本言語資源に関しては、2019年6
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く