Self-Attentionを全面的に使った新時代の画像認識モデルを解説！ - Qiita
08/31 (2020): 投稿 08/31 (2020): 「畳み込みを一切使わない」という記述に関して、ご指摘を受けましたので追記いたしました。線形変換においては「チャネル間の加重和である1x1畳み込み」を実装では用いています。 08/31 (2020): 本論文で提案されているモデルの呼称に関して認識が誤っていたためタイトルおよび文章を一部修正しました。 言葉足らずの部分や勘違いをしている部分があるかと思いますが、ご指摘等をいただけますと大変ありがたいです。よろしくお願いします！(ツイッター:@omiita_atiimo) 近年の自然言語処理のブレイクスルーに大きく貢献したものといえば、やはりTransformerだと思います。そこからさらにBERTが生まれ、自然言語の認識能力などを測るGLUE Benchmarkではもはや人間が13位(2020/08現在)にまで落ちてしまっているほ
発達障害ツイッタラーrei氏のnoteから読み解く論文を引用して嘘を塗り固める技術
みなさん。reiというツイッターアカウントをご存知でしょうか？ https://twitter.com/rei10830349 ツイッタラーにありがちな生き辛さや発達障害あるあるを140字に納めた秀逸なツイートが話題を呼んでいる方です。 https://note.com/beatangel/n/n32ff4498424e rei氏が先日投稿したこちらのnoteがあまりにも杜撰で酷いにも関わらず、多くの人の共感を呼び瞬く間にシェアされ、チー牛ミームの拡散に一役買ってしまっているこの状況に警鐘を鳴らすべく、彼の文章の基本的で根本的な誤りを一つずつ指摘したいと思います。 忙しい人向けのポイントまとめ・rei氏は「ストレス」の語を児童虐待や親からの被虐の意味で使っているが、引用論文内では新規状況に対する精神的ストレスの意味で使われており、なおかつ被虐児は実験の対象から除外されている。 ・rei氏は
論文、どうやって読んでますか？｜umbell
論文の読み方。 若手研究者、特に修士課程や博士課程の学生にとっては結構深刻な問題だと思います。あと研究を始めたばかりの学生さんにも。 私自身も ・まず何を読んだらいいのかわからない... ・読むべきものがわかってきたけど、１本読むのにかなり時間がかかる... ・読んだはいいものの膨大な数の論文の内容を覚えてられへん... ・紙で読んでたけどかさばって仕方がない...と論文の読み方にはかなり悩んだ一人です。今でも絶賛試行錯誤中。 と言うことで、現状の論文の読み方をご紹介したいと思います。 みなさんがどうやって論文読んでるのか気になりますので、ゆるっと募集してみます。もしよければ #論文どう読んでますか とでもして投稿していただけたら幸いです。 1. デジタル派か紙派かかなり大きな論争が巻き起こるこの問題。 本音を言うと私は紙媒体で読むのが好きです。読書好きなのもあって、紙の上の文字を読みたい
優れた研究論文の書き方―7つの提案
オリジナルはこちら https://www.microsoft.com/en-us/research/academic-program/write-great-research-paper/ http://research.microsoft.com/en-us/um/people/simonpj/papers/giving-a-talk/Writing%20a%20paper%20(seven%20suggestions).pptx 新しいバージョンはこちら https://www.slideshare.net/kdmsnr/how-to-write-a-great-research-paper-226669082Read less
[論文実装_その2] ディープラーニングのネットワークモデルを3次元で可視化してみる - Qiita
1. はじめに 前回に引き続きPyTorchを用いたarXiv実装の2回目になります。今回紹介する論文はVISUALIZING THE LOSS LANDSCAPE OF NEURAL NETSになります。 扱う内容は前回と同じニューラルネットの可視化です。ただし前回は中間層の可視化でしたが、今回は出力層の可視化です。本論文ではディープラーニングのロス関数を可視化する手法を提案しています。 ディープラーニングの学習においては、SGDやAdaGradなどのアルゴリズムを用いてロス関数を最小とするパラメータの探索を行います。凸関数は局所最適化を繰り返すことで大域的最適解が得られますが、非凸関数ではその保障はありません（参照ページ）。そしてディープラーニングのロス関数は一般に凸関数とは限らないため、学習により適切なパラメータが求まる保障はありません。 しかし、適切なバッチサイズ・フィルタサイズを
![[論文実装_その2] ディープラーニングのネットワークモデルを3次元で可視化してみる - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/f2313492a6bbdbd97838c1b264877c9f8d8e2c90/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Farticle-ogp-background-412672c5f0600ab9a64263b751f1bc81.png%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTk3MiZoPTM3OCZ0eHQ9JTVCJUU4JUFCJTk2JUU2JTk2JTg3JUU1JUFFJTlGJUU4JUEzJTg1XyVFMyU4MSU5RCVFMyU4MSVBRTIlNUQlMjAlRTMlODMlODclRTMlODIlQTMlRTMlODMlQkMlRTMlODMlOTclRTMlODMlQTklRTMlODMlQkMlRTMlODMlOEIlRTMlODMlQjMlRTMlODIlQjAlRTMlODElQUUlRTMlODMlOEQlRTMlODMlODMlRTMlODMlODglRTMlODMlQUYlRTMlODMlQkMlRTMlODIlQUYlRTMlODMlQTIlRTMlODMlODclRTMlODMlQUIlRTMlODIlOTIzJUU2JUFDJUExJUU1JTg1JTgzJUUzJTgxJUE3JUU1JThGJUFGJUU4JUE2JTk2JUU1JThDJTk2JUUzJTgxJTk3JUUzJTgxJUE2JUUzJTgxJUJGJUUzJTgyJThCJnR4dC1hbGlnbj1sZWZ0JTJDdG9wJnR4dC1jb2xvcj0lMjMxRTIxMjEmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9NTYmcz03Y2ZmYTkwZTMxNjM5YjcyMmUwOWI5YmVmNzc0ZGQwNw%26mark-x%3D142%26mark-y%3D57%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZoPTc2Jnc9NzcwJnR4dD0lNDBva24teXUmdHh0LWNvbG9yPSUyMzFFMjEyMSZ0eHQtZm9udD1IaXJhZ2lubyUyMFNhbnMlMjBXNiZ0eHQtc2l6ZT0zNiZ0eHQtYWxpZ249bGVmdCUyQ3RvcCZzPWM3MDEwNTdhMTAyMjkwZGIzOTYyMTg5OGNkMWJiMDY4%26blend-x%3D142%26blend-y%3D486%26blend-mode%3Dnormal%26s%3D7a86248c9314d605ec14a204441265d8)
Deep Learning論文紹介 - Qiita Advent Calendar 2019 - Qiita
The Qiita Advent Calendar 2019 is supported by the following companies, organizations, and services.
2019年までのCAM(Class Activation Map)まとめ - Qiita
はじめに この記事は，一応「Deep Learning論文紹介 Advent Calendar 2019」の12/20に投稿する予定だったものですが，ずれにずれた結果，2019年のギリギリになって焦って今頃焦って投稿したものです．全然間に合っていなくて申し訳ありませんでした．．．また，一応記事内の記号は統一するようにしていますが，画像内の記号まで統一はできていません．．．それでも良いという方はどうぞご覧ください． 本記事の概要 個人的な見解ですが，今回取り上げるCAM(Class Activation Map)は判断根拠をハイライトする方法として結構有名なものだと思います．後にも述べますが，CAMをより様々なネットワークに対応させたものにしたGrad-CAMと呼ばれる手法があるのですが，来年の某SAIとかでも使用した原稿が多く投稿されると思いますので，ここで一度整理したいと思いまとめました
最新手法！「Grad-CAM++」のレビューと実装 - Qiita
#はじめに 現象数理学科4年Dasonです。Qiita８記事目。 この記事は「明治大学 Advent Calendar 2018」第８日目の記事です。 本当はこの日に書く気はなかったのですが、PayPayでNintendo Switchを買ってテンションが上がった...兼ねてから実装を試みていたGrad-CAM++の実装ができたので、勢いで書いちゃうことにしました。 簡単になんでこの内容を選んだのか、どういう仕組みなのかを説明した後、実装＆実験といった流れで話を進めて行きます。 では、いきましょう。 ※注意 (2019年5月追記) この記事を最初に執筆して半年近く経過しますが、半年もすると「最新手法！」とは言えなくなってきました。ごめんなさい。釣りじゃないです。 ただ、Grad-CAM++はCAMやGrad-CAM同様一目で分かりやすい結果の描画ができたり、Grad-CAMのもついくつかの
これから強化学習を使いたい人向け、強化学習の基礎と論文紹介 - Qiita
実務でモデルフリー強化学習を活用しようとして勉強したことを書きます ドコモの先進技術研究所1年目の勝見と申します。今回は先輩から誘われて、アドベントカレンダーの記事の12日目を担当することになりました。本来は現在行っているデータ分析周りの業務になにか絡めて書けると良いのですが、残念ながらまだオープンにできるようなネタはありませんので、私が業務での実タスクに応用しようと検討を行っている強化学習（モデルフリー）の初学者向けの記事を自身のためのまとめも兼ねて、学習の過程で個人的に面白いなと感じたポイントを織り交ぜながら書こうと思います。 マルコフ決定過程 (Markov decision process) このあたりは多くの記事でも取り上げられているため今更感がありますが、強化学習をタスクに適用するために必要となる定式化について説明しておきます。 強化学習では取り扱う問題を、エージェントが起こし
Hyper Collocation — arXiv に基づいたコロケーションデータベース
Hyper Collocation とは？ arXivに収録されている 811,761報の 英語論文から，例文を検索するための検索エンジンです．前後の語の頻度でソートして結果を返すので典型的な用法の例文を得ることができ，コロケーション辞書のように利用できます． Springer Exemplar やライフサイエンス辞書の不足を補う個人用のツールとして開発してきましたが，サーバーの維持費が勿体ないので公開することにしました． 英語論文の執筆などのアカデミックライティングで適切な語順や表現に迷った際にご活用ください． 使用例 the figure につく前置詞？ calculated を含む表現？ Gaussian distribution につく冠詞の選び方？ News サーバーを r4.large インスタンスから r5.large インスタンスに移行しました． 維持費が安く(0.16→0
「“統計的に有意差なし”もうやめませんか」 Natureに科学者800人超が署名して投稿
「統計的に有意差がないため、2つのデータには差がない」──こんな結論の導き方は統計の誤用だとする声明が、科学者800人超の署名入りで英科学論文誌「Nature」に3月20日付で掲載された。調査した論文の約半数が「統計的有意性」を誤用しており、科学にとって深刻な損害をもたらしていると警鐘を鳴らす。 「統計的に有意差がない＝違いがない」は間違い 例えば、ある薬の効能を調べたいとする。統計学では一般的に「仮説検定」を行って薬を与えたグループとそうでないグループを比較し、薬効の指標となる何らかのパラメータに統計的有意差があるかどうかを見る。仮説検定は、2つの事象の差異が偶然生じたものかどうかを統計的に結論付けるものだ。 もし、統計的有意差がある（薬を与えた群のパラメータの方が有意に大きい）なら「薬には効能がある」という結論を導けるが、有意差がなかった場合はどうだろうか。 「統計的有意差がある＝薬効
How to write MS thesis.
修士論文作成の前半の工程において、既存の学会発表論文からのカット＆ペースト作業を生じることは否定しません。しかしその後に、例えば以下の観点からの書き加えが必要であることを、念頭に置いてください。 当該分野の専門家に限らず、幅広い読み手を想定して、くどいくらい丁寧な説明を心がける。特に研究の背景を紹介する章では、学会発表原稿よりも広い視野での説明を加える。 自分が目にした論文、教科書、ウェブなどを、あますことなく参考文献に加えて、関連研究の章などで紹介する。その分野において世界中で自分が最も多くの参考文献を知っている、というくらいの姿勢を示すべき。 提案手法の具体的な処理手順を説明する章では、修士論文の読者が同じ手法を再現できるのに十分なくらい、細かいところまで説明をする。 2年間でやったことのうち、あまり成功でなかった実行結果、ページ数制限のために学会発表原稿から省いた実行結果などを、でき
p値ハッキングについての論文を読んだ - tak0kadaの何でもノート
PLOS Biology: The Extent and Consequences of P-Hacking in Scienceを読んだ。 世の中にはp値が小さい(つまり統計的に有意)なデータが尊ばれる傾向がある。そうすると発表される結果は有意なものばかりだし、悪ければ詐称かもしれない。間違った結果を集めてしまうとメタ解析してもバイアスが残る。そこでp-hackの可能性を検定する方法を扱った論文。 のはずなんだけど、知識がないからか「本当にこれでいい」のかという疑問が残った。以下概要。 1. p-hackingとは? 研究者がやりがちなバイアスとしてselection bias、inflation biasがある。selection biasは有意でない実験結果が世に出ないこと。inflation biasはいわゆるp-hackingで、「効果量」が小さいのにサンプルサイズを大きくしたり
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
米国人大学生の論文をケニアで書く 論文代筆ビジネス、いまやグローバル産業に：朝日新聞GLOBE＋
https://knowledgenuts.com/2014/07/19/the-theory-that-says-some-depressed-people-might-be-right/
Papers with Code - The latest in Machine Learning
文章の表示メディアと表示形式が文章理解に与える影響 | CiNii Research