世界を目指す論文の書き方 ~ 不採録コメントに学ぶ ~
⽬目⽂文⽅方 ⼤大⼤大 ICSE SIGSOFT/FSE ASE RE TSE TOSEM ⾔言 Dear Naoyasu, XXX, XXX, and XXX, Thank you for your submission to the 200? International Conference on Software Engineering. We regret to inform you that your submission entitled ”⽂文 “ was not accepted for presentation at the conference. We received XXX submissions this year and were able to accept only XXX % of them. ICSE 2010 Paper Notification [1
混合分布を隠れ変数とするVAEの論文を読む - mabonki0725の日記
ランニングできず 英語できず (1) 混合分布を隠れ変数とするVAEの論文を読む 「VAE with a VampPrior」[1705.07120v3] VAE with a VampPrior KingmaのVAE(Variational Auto encoder)は深層学習に始めて生成モデルを導入した画期的な業績となっています。従来の深層学習は教師付学習しかできませんでしたがVAEによって初めて非教師学習や半教師学習ができる様になりました。即ちデータから隠れた変数や因子を推定することができる様になりました。 VAEの特徴はデータから隠れ変数として多次元のガウス分布を推定していました。 下図はデータより多次元ガウス分布のの平均と分散を推定してます。 例えば下図の様に手書き文字から癖を見つけ、その癖で未知の手書き文字を書くことができました。 M先生によると人間の認識などは単純なので、多
NIPS2016の論文採択の手続きの分析論文を読む - mabonki0725の日記
ランニング30分 英語できず (1) NIPS2016の論文採択の手続きの分析論文を読む [1708.09794v1] Design and Analysis of the NIPS 2016 Review Process NIPSには投稿したことが無いが、この採択システムに興味を持ち読んでみた。 NIPSの論文採択の問題点は、機械学習系の最大の学術会議となっていて論文投稿数や参加者が年々増加して追いつかないことである。NIPS2016では論文投稿数2425件で3242人も査読者を投入している。（ここには記述が無いが568件採択されている） まず１投稿当たりの査読者数と査読者１人当たりの査読数は以下となっている。 この負担が大きいため以下について正当な審査が行われているかの分析と提言をしている。 ・QS(Quality assurance) 審査の正当性を保障する観点 査読人と投稿者が偏在
深層強化学習のサーベイ論文を読む - mabonki0725の日記
ランニングできず 英語できず 深層強化学習のサーベイ論文を読む 「DeepLearning for Video Game Playing」https://arxiv.org/abs/1708.07902 最近までのPCゲームやテレビゲームを深層学習で解くAI技術について網羅的に解説した論文である。従って深層学習を使っても碁や将棋の様なボードゲームは対象外となっている。 下図の様な殆ど全ての深層強化学習を系統別かつ目的別に解説してあり大変な労作である。もし注目するモデルがあれば、この論文で検索すると以下のことが分る様になっている。 ・モデルの概要 ・モデルを発表した論文 ・考案した動機や対象としたゲーム ・モデル開発が可能なプラットホーム ・継承したモデルと発展先のモデル 下図の様に深層学習としては2013年の偉大なDQNから全てが始まっている。しかしこのDQN前にはSuttonのSarsa
[Survey]Identity Mappings in Deep Residual Networks - Qiita
Identity Mappings in Deep Residual Networks この論文は、ResNetのidentity mapping(skip connection)に関して、詳細は解析を行ったものです。 ResNetにおける重要な特徴は、残差$F$を学習することによって、100 layerを超えるdeepなNetworkでも安定した学習が行えるようにした点にあります。またResNetは、モジュール構造になっており、モジュールを単純に組み上げて行くことでDeepなArchitectureを実現しています。論文ではこのモジュールをResidual Unitsと呼んでいます。 Residual Unitsを図で示すと下記になります。 式で示したものが下記です。 ここで、$F$は残差を表すResidual Functionです。Residual Unitsの出力は、Unitの入力$
![[Survey]Identity Mappings in Deep Residual Networks - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/e639ba41b603d1f2c9d3f2f338bcfb11198ebe9e/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Farticle-ogp-background-412672c5f0600ab9a64263b751f1bc81.png%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTk3MiZoPTM3OCZ0eHQ9JTVCU3VydmV5JTVESWRlbnRpdHklMjBNYXBwaW5ncyUyMGluJTIwRGVlcCUyMFJlc2lkdWFsJTIwTmV0d29ya3MmdHh0LWFsaWduPWxlZnQlMkN0b3AmdHh0LWNvbG9yPSUyMzIxMjEyMSZ0eHQtZm9udD1IaXJhZ2lubyUyMFNhbnMlMjBXNiZ0eHQtc2l6ZT01NiZzPTliNGYyMzZlMWMwNzk4MmYzOGM3M2QxODkxYmM0MDQ0%26mark-x%3D142%26mark-y%3D57%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZoPTc2Jnc9NzcwJnR4dD0lNDBzdXBlcnNhaWFrdWppbiZ0eHQtY29sb3I9JTIzMjEyMTIxJnR4dC1mb250PUhpcmFnaW5vJTIwU2FucyUyMFc2JnR4dC1zaXplPTM2JnR4dC1hbGlnbj1sZWZ0JTJDdG9wJnM9NDM4YTY0ZDdkYWRmMTQxNDhkYTFiMzYzY2M5NjlkNjA%26blend-x%3D142%26blend-y%3D486%26blend-mode%3Dnormal%26s%3D0958f57b8f4acd04e84b01000df909ac)
論文メモ：Understanding Black-box Predictions via Influence Functions - Qiita
論文メモ：Understanding Black-box Predictions via Influence Functions機械学習画像認識Chainer深層学習 元論文 Understanding Black-box Predictions via Influence Functions ICML2017のベストペーパーです。 概要 非常に内容の濃い論文ですが、主なコントリビューションは以下の3点にまとめられると思います。 影響関数(influence function)を用いて、個々の学習データの有無や摂動が予測結果に与える影響を定式化 効率的な計算手法の提案 「ネットワーク挙動の分析」、「ネットワークを混乱させる摂動の計算」、「ドメイン不適合の検知」、「ノイズラベルの検出」の4つのユースケースの紹介 手法 準備 学習データを$z_1$, $z_2$,..., $z_n$($z_i
アクセス頻度予測に基づく仮想サーバの計画的オートスケーリング - ペパボ研究所ブログ
こんにちは、研究員の三宅です。インターネットでは @monochromegane として活動しています。2017/06/24に開催された、第38回インターネットと運用技術研究会で、機械学習を用いた仮想サーバ運用台数の最適化について研究発表してきました。論文(研究会予稿)とスライドを以下に公開します（論文画像をクリックするとPDFで読むことが出来ます）。 論文(研究会予稿) スライド 研究の概要は以下の通りです。 従量課金を主としたクラウドサービスでは，処理性能を保ちつつ必要最小限数の仮想サーバで運用し利用料金を抑制することがWebサービスの運営者の課題である．しかしながら，複雑化したWebアプリケーションにおいて適切なオートスケーリング契機の基準決定は困難である．本報告では，Webアプリケーション構成の複雑さに依存しない指標として一定時間あたりのアクセス頻度であるスループット値を用い，We
コンテナ時代のWebサービス基盤モデル - FastContainerの研究発表をしてきました - ペパボ研究所ブログ
ペパボ研究所主席研究員の松本です。Twitter上ではまつもとりー(@matsumotory)と呼ばれています。2017年の6月24日に開催された、第38回インターネットと運用技術研究会で、「FastContainer: Webアプリケーションコンテナの状態をリアクティブに決定するコンテナ管理アーキテクチャ」について研究発表してきました。 論文(研究会予稿)とスライドを以下に公開します（論文画像をクリックするとPDFで読むことが出来ます）。 論文(研究会予稿) スライド FastContainerを一言で表現すると、コンテナの状態遷移（停止・起動・複製・資源割り当ての変更処理など）の速度を効率化することに着目し、システム全体として恒常性を持ち、コンテナが高速に循環可能なWebサービス基盤を実現することによって、突発的なアクセス集中やライブラリのバージョンアップのような運用について効率的に対
「みもふたもない」論文投稿必勝法
2022-03-30 Hatena Engineer Seminar #19 カクヨム編 https://hatena.connpass.com/event/241412/ 本スライドは、弊社の梅本により弊社内の技術勉強会で使用されたものです。 近年注目を集めるアーキテクチャーである「Transformer」の解説スライドとなっております。 "Arithmer Seminar" is weekly held, where professionals from within and outside our company give lectures on their respective expertise. The slides are made by the lecturer from outside our company, and shared here with his/her p
Reading – Deep Learning JP
DeepLearning.jpでは、知識の共有と最新研究動向の把握を目指して、各種の勉強会を開催しています。 2016年論文輪読会 06/24: TBA 06/17: TBA 06/10: Leveraging Visual Question Answering for Image-Caption Ranking Binarized Neural Networks: Training Neural Networks with Weights and Activations Constrained to +1 or =1 06/03: Convergent Learning: Do different neural networks learn the same representations? XNOR-Net: ImageNet Classification Using Binary
Slackで論文収集botを作る
目次 概要 arXivのAPIを通して、設定したキーワードに関連する論文を取得 Incoming Webhooksを通して、対象となる論文をSlackに投稿 cronを用いて定期実行できるようにする。 実行例 概要 SlackのIncoming Webhooksという機能を使うと、簡単にプログラム上からSlackに投稿ができます。その機能を用いて、Arxivから興味のある論文を自動で検索して投稿してくれるbotを作りたいと思います。 実装したプログラムはここに置いています。 https://github.com/kushanon/oreno-curator/blob/master/arxiv.py 開発環境はAnaconda2-4.3.0を用いています。 類似の機能を提供しているサービスとしては、Google Scholarのアラート機能があり、それを使うと設定したキーワードに関連する論文
Gabung Sekarang di Slot88: Situs Judi Slot Online Terpercaya & Gacor, Dapat Maxwin!
Decrease quantity for Gabung Sekarang di Slot88: Situs Judi Slot Online Terpercaya & Gacor, Dapat Maxwin! Increase quantity for Gabung Sekarang di Slot88: Situs Judi Slot Online Terpercaya & Gacor, Dapat Maxwin! Kamu penggemar permainan slot online yang seru dan menguntungkan? Kami di Slotkuni punya semua yang kamu butuhkan! Dengan berbagai pilihan permainan slot gacor yang gampang dimainkan, Kamu
機械学習論文読みメモ_23 - Qiita
A Random Matrix Approach to Recurrent Neural Networks, ICML2016 RNN、特に線形なRNNは様々なconfigurationにおける性能分析を通して、その質的洞察を得てきた。 対して本論では新たなランダム行列に基づく、特にecho-state netowrk(ECN)に基づいて量的洞察を与える。 ECNはreserviorと呼ばれる、ランダムに作成されその後固定して使われる接続行列（connectivity matrix)を用いてネットワークを構築する。 このECNは過剰適合のリスクを低減する事が出来るが、短期的な記憶能力しか持てない。 ECNの解析は行列が固定される事より難しくはなく、すでに様々な質的な洞察が得られており、特に作用素ノルムとスペクトル半径が重要な意味を持つ事がわかっている。 しかしより詳細な量的洞察はまだ得られ
（ 学習メモ ） 人間の脳 が 、少ない電力消費量 で 動作できる理由 に ついて の 一仮説 〜 "少数の基底" = "少数のNeuron" で 感覚データ の 内部特徴表現 を 生成する 「独立成分分析」（ICA） 相当 の 情報処理 を 行っている 可能性（Sparse coding 仮説） - Qiita
（ 学習メモ ） 人間の脳 が 、少ない電力消費量 で 動作できる理由 に ついて の 一仮説 〜 "少数の基底" = "少数のNeuron" で 感覚データ の 内部特徴表現 を 生成する 「独立成分分析」（ICA） 相当 の 情報処理 を 行っている 可能性（Sparse coding 仮説）人工知能MachineLearning機械学習DeepLearningSparseCoding 脳内の視覚野における情報処理素過程 と Sparse coding との 関係 脳内の視覚野における情報処理素過程 と 独立成分分析（ Independent Component Analysis, ICA ） との 類似性 について 関心 を 抱きました。 学習メモ として、 参照すべき論文 この分野 に おける 最新 の 数理脳科学モデル（文献２参照） に インデックス を 貼って 整理してみました
外部メモリー付きのニューラルネット"Differentiable Neural Computing (DNC)"について解説するよ - Qiita
外部メモリー付きのニューラルネット"Differentiable Neural Computing (DNC)"について解説するよPython機械学習DeepLearningニューラルネットワークChainer この記事について DeepMind が Nature に投稿した論文 Hybrid computing using a neural network with dynamic external memory で使用されている "Differentiable Neural Computing (DNC)" について解説します。ロジックの説明がメインですが、Python - Chainer による実装例も紹介します。 Differentiable Neural Computing (DNC)とは sequential data を Neural Net で処理したいという欲求は昔からあ
機械学習モデルを推定する方法 : 研究開発
「White-box」とは、訓練されたモデルをローカルでダウンロードして使用すること 「Monetize」とは、ユーザーがモデルへのブラックボックスアクセスを他のユーザーに課金すること 4 Extraction with Confidence Values まず信頼性の値を返す予測APIに注目した抽出攻撃方法 ここでは logistic regressions (LR), neural networks, and decision trees を、対象としている。 4.1 Equation-Solving Attacks 多くの機械学習モデルは、入力xと実数値モデルパラメータの連続関数としてクラス確率を計算している この場合、このクラス確率を示すAPIは、未知モデルパラメータの方程式として見ることができる サンプル (x, f(x)) を敵に提供する事になる 4.1.1 Binary lo
府大生が趣味で世界一の認識精度を持つニューラルネットワークを開発してしまった論文を読んだ - Qiita
Deep Learning Advent Calendar 2016の20日目の記事です。 ConvNetの歴史とResNet亜種、ベストプラクティスに関連スライドがあります（追記） 背景 府大生が趣味で世界一の認識精度を持つニューラルネットワークを開発してしまったようです。 M2の学生が趣味でやっていたCIFAR10とCIFAR100の認識タスクで，現時点での世界最高性能の結果を出したそうだ…趣味でっていうのが…https://t.co/HKFLXTMbzx — ニーシェス (@lachesis1120) 2016年12月7日 府大のプレスリリース 一般物体認識分野で、府大生が世界一の認識精度を持つニューラルネットワークを開発 黄瀬先生の研究室の学生さんだそうです。凄いですね！ ちょうどResNet系に興味があったので、読んでみます。この論文を理解するには、ResNet, (Wide
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
ICCV2017一人読み会
GitHub - arXivTimes/arXivTimes: repository to research & share the machine learning articles
https://www.jstage.jst.go.jp/article/fss/31/0/31_452/_pdf