3つの要点 ✔️ 時系列予測の領域で、最近深層学習モデルによる性能向上が急速に進んでいます。しかし、古典的な機械学習モデルはもう必要ないのかということで、この大規模な調査と比較実験が行われました。 ✔️ 古典的学習モデルの代表としてGBRTが使われています。深層学習モデルが実現した系列間の依存性の表現を入力の特徴量エンジニアリングベースのウィンドウ化で代替しました。 ✔️ 前処理により、改良GBRTは単変量、多変量両方のデータセットに対して、数多くの深層学習モデルと同等あるいは大きく上回る性能を示しました。 Do We Really Need Deep Learning Models for Time Series Forecasting? written by Shereen Elsayed, Daniela Thyssens, Ahmed Rashed, Hadi Samer Joma

3つの要点 ✔️ 予測手順において余分な計算コストをかけることなく性能を向上 ✔️ ラベルスムージング法に対するLabel Confusion Model(LCM)の優位性も検証 ✔️ LCMは混乱したデータセットやノイズの多いデータセットに特に有効であり、ラベル平滑化法（LS）よりもかなりの程度優れていることが実証 Label Confusion Learning to Enhance Text Classification Models written by Biyang Guo, Songqiao Han, Xiao Han, Hailiang Huang, Ting Lu (Submitted on 9 Dec 2020) Comments: Accepted by AAAI 2021. Subjects: Computation and Language (cs.CL); Art

3つの要点 ✔️ GPT-3におけるfew-shotの問題点 ✔️ GPT-3は本当は何を学習しているのか？ ✔️ GPT-3が学習した機能を本当に引き出す方法を提示 Prompt Programming for Large Language Models: Beyond the Few-Shot Paradigm written by Laria Reynolds, Kyle McDonell (Submitted on 15 Feb 2021) Comments: Accepted to arXiv. Subjects: Computation and Language (cs.CL); Artificial Intelligence (cs.AI) code： はじめに GPT-3は少数サンプル(Few-shot)のpromptを使う事で、様々な言語タスクに対して最高水準の結果を達成

3つの要点 ✔️ プログラミング言語のための新しい学習モデル ✔️ CodeBERTと比較して大幅な性能向上 ✔️ いくつかのタスクで興味深い応用 DOBF: A Deobfuscation Pre-Training Objective for Programming Languages written by Baptiste Roziere, Marie-Anne Lachaux, Marc Szafraniec, Guillaume Lample (Submitted on 15 Feb 2021 (v1), last revised 16 Feb 2021 (this version, v2)) Comments: Accepted to arXiv. Subjects: Computation and Language (cs.CL) code： はじめに コード難読化とは、ソース

3つの要点 ✔️ 分類タスクにおけるクロスエントロピー損失と平均二乗誤差を比較 ✔️ 自然言語処理、音声認識、コンピュータビジョン等の様々なタスクで検証 ✔️ 二乗誤差を利用したモデルの方が全体として優れた性能を発揮 Evaluation of Neural Architectures Trained with Square Loss vs Cross-Entropy in Classification Tasks written by Like Hui, Mikhail Belkin (Submitted on 12 Jun 2020 (v1), last revised 4 Nov 2020 (this version, v3)) Comments: Accepted to ICLR2021. Subjects: Machine Learning (cs.LG); Machine Le

3つの要点 ✔️ 自然言語処理における説明可能AIについて ✔️ 説明可能な自然言語処理モデルの現状について ✔️ 説明可能性の実現に向けた課題について A Survey of the State of Explainable AI for Natural Language Processing written by Marina Danilevsky, Kun Qian, Ranit Aharonov, Yannis Katsis, Ban Kawas, Prithviraj Sen (Submitted on 1 Oct 2020) Comments: Accepted at AACL-IJCNLP2020 Subjects: Computation and Language (cs.CL); Artificial Intelligence (cs.AI); Machine Learn

3つの要点 ✔️ ユークリッド距離や角度距離など特徴量間の関係性を事前に定める必要がない新しいアルゴリズム「BioMetricNet」を提案 ✔️ 代わりに、マッチングと非マッチングが事前に定められたそれぞれの分布に従うよう学習 ✔️ 顔認識で高精度を達成している手法（CosFace、ArcFace、SphereFace）と比べて、一貫して高い精度を報告 The Effect of Wearing a Mask on Face Recognition Performance: an Exploratory Study written by Arslan Ali, Matteo Testa, Tiziano Bianchi, Enrico Magli (Submitted on 13 Aug 2020) Comments: Accepted at ECCV2020 Subjects: Com

3つの要点 ✔️ プログラミング言語間の翻訳を自然言語と同じ考えで実現 ✔️ プログラミング言語の知識を必要とせずに、多くの言語への拡張が可能 ✔️ 教師無しでプログラミング言語間の翻訳を実現 Unsupervised Translation of Programming Languages written by Marie-Anne Lachaux,Baptiste Roziere,Lowik Chanussot,Guillaume Lample (Submitted on 5 Jun 2020 (v1), last revised 5 Aug 2020 (this version, v2)) Comments: Published by arXiv. Subjects: Computation and Language (cs.CL); Programming Languages (c

3つの要点 ✔️ 新たに提案するグローバル状態量を用いることで，少量のパラメタを追加するだけで複数の物性値を予測することが可能に ✔️ Pooling層において，結晶内の原子の順番を考慮したSet2SetというPooling方法を採用 ✔️ 原子の埋め込みを用いて，全元素ごとの相関を可視化 Graph Networks as a Universal Machine Learning Framework for Molecules and Crystals written by Chi Chen, Weike Ye, Yunxing Zuo, Chen Zheng, Shyue Ping Ong (Submitted on 12 Dec 2018 (v1), last revised 28 Feb 2019 (this version, v2)) Comments: Chemistry of

3つの要点 ✔️ Data augmentationによく用いられる反転に新しい概念を提唱 ✔️ 人間では気づかなかった左右反転を認識 ✔️ この性質を元にした拡張で、さらなる精度向上が期待できる Visual Chirality written by Zhiqiu Lin, Jin Sun, Abe Davis, Noah Snavely (Submitted on 16 Jun 2020) Comments: Published by CVPR2020 Subjects: Computer Vision and Pattern Recognition (cs.CV) はじめに 左右反転によるData augmentationは物凄く当たり前なデータ拡張手法であり、特に気にすることなく今まで使用してきた人もいるのではないでしょうか。私も今回の論文を読むまでは結構当たり前のように使っていま

3つの要点 ✔️ ついにTransformerを物体検出に応用 ✔️ End-to-endなモデルを実現し、人手による設計を削減 ✔️ 物体検出を直接的な集合予測問題として再定義 End-to-End Object Detection with Transformers written by Nicolas Carion, Francisco Massa, Gabriel Synnaeve, Nicolas Usunier, Alexander Kirillov, Sergey Zagoruyko (Submitted on 26 May 2020 (v1), last revised 28 May 2020 (this version, v3)) Comments: Published by arXiv Subjects: Computer Vision and Pattern Reco

3つの要点 ✔️ 損失関数/入力空間/タスク/モデルに依存しない新しい正則化手法（flooding）を提案 ✔️ 「training lossが0になるまで学習し続けると汎化性が低下する」という自然な仮定に基づく ✔️ floodingを使った副次的な効果として、早い段階（epoch数100前後）でdouble descentという現象が確認できる Do We Need Zero Training Loss After Achieving Zero Training Error? written by Takashi Ishida, Ikko Yamane, Tomoya Sakai, Gang Niu, Masashi Sugiyama (Submitted on 20 Feb 2020) Comments: Published by arXiv Subjects: Machine Le

3つの要点 ✔️ 画像分類タスクに必要不可欠なData Augmentationの体系をまとめた ✔️ 基本的なData Augmentationについて手法と利点/欠点をまとめた ✔️ 基本的なDAは実装が簡単な上に絶大な効果を発揮する A survey on Image Data Augmentation for Deep Learning written by Connor Shorten, Taghi M. Khoshgoftaar (Submitted on  06 July 2019) Comments: Published by Journal of Big Data Subjects: Computer Vision and Pattern Recognition (cs.CV); Machine Learning (cs.LG); Image and Video Proc

3つの要点 ✔️ AutoML-Zeroは基本的な数学演算の操作だけで、完全な機械学習アルゴリズムを自動的に発見 ✔️ Back Propagationで学習するニューラルネットワークすら発見 ✔️ 人間の先入観に捉われない新たな解法の創造に期待が持てます。 AutoML-Zero: Evolving Machine Learning Algorithms From Scratch written by Esteban Real, Chen Liang, David R. So, Quoc V. Le (Submitted on 6 Mar 2020) Comments: accepted by arXiv Subjects: Machine Learning (cs.LG); Neural and Evolutionary Computing (cs.NE); Machine Learn

3つの要点 ✔️その１ 高速・高精度な自然言語処理モデルELECTRAが登場 ✔️その２ 低精度なGeneratorにより入力を置換することで、文全体から効率的に学習を行う ✔️その３ RoBERTaの約1/4の学習量で同等の性能を発揮 ELECTRA: PRE-TRAINING TEXT ENCODERS AS DISCRIMINATORS RATHER THAN GENERATORS written by Kevin Clark, Minh-Thang Luong, Quoc V. Le, Christopher D. Manning (26 Sep 2019 (modified: 10 Mar 2020)) Comments: accepted by ICLR 2020 Subjects: Machine Learning (cs.LG); Machine Learning (sta

３つの要点 ✔️ その１  ImageNetでTop-1 Acc. 88.4 %を叩き出し、SoTAモデル。おまけに高いロバスト性を兼ね備える。 ✔️ その２  Self-trainingにおいてStudentに強いノイズをかけ、反復的にTeacherとStudentを入れ変える。 ✔️ その３  TeacherおよびStudentのベースモデルはEfficientNet(解説)を使用し、EfficentNet-L2という拡張モデルでSoTA Self-training with Noisy Student improves ImageNet classification written by Qizhe Xie, Minh-Thang Luong, Eduard Hovy, Quoc V. Le (Submitted on 11 Nov 2019 (v1), last revised 7

3つの要点 ✔️ ランダムにData Augmentationの手法を選択するRandAugmentを提案 ✔️ 従来のAutoAugmentと比べ探索空間を$10^{-30}$にも削減し計算量を激減させたことで実践で使えるようにしただけでなく、CIFAR-10/100やImageNet, COCOなどのデータセットにおいて有用性が確認できた ✔️ ImageNetのSoTAであるNoisyStudentにも使われており、関数は2行で実装できるため読者の方も容易に使うことができる。 RandAugment: Practical automated data augmentation with a reduced search space written by Ekin D. Cubuk, Barret Zoph, Jonathon Shlens, Quoc V. Le (Submitted

3つの要点 ✔️相互情報量を最大化する枠組みでニューラルネットを学習する教師なし学習手法IICの提案 ✔️予測値をそのまま出力するニューラルネットを学習可能であるため、クラスタリングが不要 ✔️従来の教師なし学習手法の「クラスタが一つにまとまってしまう問題」および「ノイズに弱いという問題」を解決 Invariant Information Clustering for Unsupervised Image Classification and Segmentation written by Xu Ji et.al (Submitted on 22 Aug 2019) subjects : Computer Vision and Pattern Recognition (cs.CV); Machine Learning (cs.LG) はじめに 近年、様々な場面において、深層学習手法が使用さ

今回紹介するのは、画像生成AI、GAN（敵対的生成ネットワーク）の中身を詳しく調査したという研究です。最近のGANは人でも本物の写真かどうか見間違うほどの性能を発揮しますが、GANがどのように『描いている』かを可視化した結果、簡単には説明できないような描画スキルを獲得していることがわかってきました。(※1) 論文 https://openreview.net/forum?id=Hyg_X2C5FX (1) AIの中身 先週、日本政府がまとめた人工知能（AI）に関する原則が明らかになったと日経新聞が報じました(※2)。AIの社会浸透は急激に進んでいますが、その判断過程がブラックボックスのまま使われることを国、あるいは国際的な枠組みである程度規制するとともに、AIの中身を専門家でなくても理解しやすくするための研究開発が進められています。 今回扱うのはGANを使った画像生成AIです。以前AI-S

3つの要点 ✔️モデルが過学習しても、さらに学習を進めると精度が向上する ✔️学習データ,学習回数,学習モデルは大きければ大きいほど良い ✔️なぜこのような現象が生じるのか？ 続きを読むには (2880文字画像8枚) AI-SCHOLARに 登録いただく必要があります。 1分で無料で簡単登録する または ログイン