3つの要点 ✔️ 世界初の純粋なトランスフォーマーベースのGAN ✔️ 変形GANを学習するためのメモリフレンドリーな生成器と新しい学習技術のセット ✔️ STL-10ベンチマークにおいて、CNNベースのGANや新しいSOTAと競合する結果を獲得 TransGAN: Two Transformers Can Make One Strong GAN written by Yifan Jiang, Shiyu Chang, Zhangyang Wang (Submitted on 14 Feb 2021 (v1), last revised 16 Feb 2021 (this version, v2)) Comments: Accepted to arXiv. Subjects: Computer Vision and Pattern Recognition (cs.CV) code： はじめ

3つの要点 ✔️ Skip-Layer Excitationとself-supervised Discriminatorを提案し、パラメータの大幅削減に成功 ✔️ 少量データでも学習可能 ✔️ 1024×1024の画像もGPU1枚、数時間で学習可能 Towards Faster and Stabilized GAN Training for High-fidelity Few-shot Image Synthesis written by Anonymous (Submitted on 29 Sep 2020) Comments: Accepted at ICLR2021 Subjects: Computer Vision and Pattern Recognition (cs.CV); Image and Video Processing (eess.IV) Comm 概要 これまでのG

3つの要点 ✔️ TransformerとCNNを組み合わせたモデル，Conformerを音声認識に応用 ✔️ 畳み込みモジュールがConformerにおいて最も重要であることがわかった ✔️ 既存の音声認識研究の中でも最高の精度を確認 Conformer: Convolution-augmented Transformer for Speech Recognition written by Anmol Gulati, James Qin, Chung-Cheng Chiu, Niki Parmar, Yu Zhang, Jiahui Yu, Wei Han, Shibo Wang, Zhengdong Zhang, Yonghui Wu, Ruoming Pang (Submitted on 16 May 2020) Comments: Accepted at Interspeech20

3つの要点 ✔️モデルが過学習しても、さらに学習を進めると精度が向上する ✔️学習データ,学習回数,学習モデルは大きければ大きいほど良い ✔️なぜこのような現象が生じるのか？ 続きを読むには (2880文字画像8枚) AI-SCHOLARに 登録いただく必要があります。 1分で無料で簡単登録する または ログイン

3つの要点 ✔️データセットの「粒度」を定義し、粒度が様々な指標と関連していることを示した ✔️「粒度」はCNNの精度・転移学習の精度・Few-shot学習の精度と高い相関を示した ✔️学習精度のみだけではなく、モデルの脆弱性(adversarial attack)にも関連することを示した 続きを読むには (4906文字画像12枚) AI-SCHOLARに 登録いただく必要があります。 1分で無料で簡単登録する または ログイン

３つの要点 その１  パラメータ数を激減させる新しい畳み込みMixConvを提案 その２  MixConv層を含んだモデルをAIに自動生成(=NAS)させることでMixNetを開発 その３  MixNetはMobileNet-V3やMnasNetなどの小型画像認識モデルのみならずResNet-153に対してはパラメータ数1/9程度で性能を凌いだ MixConv: Mixed Depthwise Convolutional Kernels written by Mingxing Tan, Quoc V. Le (Submitted on 22 Jul 2019 (v1), last revised 1 Dec 2019 (this version, v3)) Journal reference: BMVC 2019 Subjects: Computer Vision and Pattern

3つの要点 ✔️その１ 高速・高精度な自然言語処理モデルELECTRAが登場 ✔️その２ 低精度なGeneratorにより入力を置換することで、文全体から効率的に学習を行う ✔️その３ RoBERTaの約1/4の学習量で同等の性能を発揮 ELECTRA: PRE-TRAINING TEXT ENCODERS AS DISCRIMINATORS RATHER THAN GENERATORS written by Kevin Clark, Minh-Thang Luong, Quoc V. Le, Christopher D. Manning (26 Sep 2019 (modified: 10 Mar 2020)) Comments: accepted by ICLR 2020 Subjects: Machine Learning (cs.LG); Machine Learning (sta

ZOZO創業者の前澤さんによる月旅行や、ホリエモンこと堀江貴文さんによるロケットの打ち上げなどによって、ぼくたち民間人にも、少しずつ身近になってきた感じもする「宇宙」。 実はまだまだいろんなところで、宇宙とぼくたちの生活は結びついていました。 そのひとつが、「衛星データ」。 宇宙から取得したデータを地上へ還元することによって、ぼくたちの生活をより安全にまた、豊かにしてくれます。 そして今回取り上げる『Tellus（テルース）』とは、日本初、無料で衛星データを活用することができる衛星データプラットフォームです。 経済産業省とさくらインターネットによって、2019年の2月に立ち上げられました。 本記事では、さくらインターネットにて、クロスデータアライアンスプロジェクト シニアプロデューサーを務める山崎 秀人さんにインタビュー。Tellusの画期的な点や具体的な取り組み、そして先日リリースされた

3つの要点 ✔️最先端のAIがファンタジー世界でロールプレイできるかを検証 ✔️ファンタジー世界を題材にしたテキストアドベンチャーゲームのデータセットを作成 ✔️BERTはある程度人間らしく振舞うことができるが、これからの発展に期待 Learning to Speak and Act in a Fantasy Text Adventure GameA Hierarchical Location Prediction Neural Network for Twitter User Geolocation Jack Urbanek, Angela Fan, Siddharth Karamcheti, Saachi Jain, Samuel Humeau, Emily Dinan, Tim Rocktäschel, Douwe Kiela, Arthur Szlam, Jason Weston

3つの要点 ✔️相互情報量を最大化する枠組みでニューラルネットを学習する教師なし学習手法IICの提案 ✔️予測値をそのまま出力するニューラルネットを学習可能であるため、クラスタリングが不要 ✔️従来の教師なし学習手法の「クラスタが一つにまとまってしまう問題」および「ノイズに弱いという問題」を解決 Invariant Information Clustering for Unsupervised Image Classification and Segmentation written by Xu Ji et.al (Submitted on 22 Aug 2019) subjects : Computer Vision and Pattern Recognition (cs.CV); Machine Learning (cs.LG) はじめに 近年、様々な場面において、深層学習手法が使用さ

3つの要点 ✔️顧客のカスタマーサービスに対する満足度を対話ログから分析 ✔️カスタマーサービスに特化したニューラルネットワークモデルを提案 ✔️従来の感情分析モデルなどに比べて高い性能で顧客の満足度を予測可能 続きを読むには (4397文字画像6枚) AI-SCHOLARに 登録いただく必要があります。 1分で無料で簡単登録する または ログイン

3つの要点 ✔️教師なし学習とメタ学習を組み合わせた手法CACTUsの提案 ✔️教師なし学習で得られた特徴量から自動的にタスクを生成し、メタ学習に利用 ✔️少ないデータでの学習で画像認識タスクにおいて高精度な結果を得ることに成功 続きを読むには (4274文字画像6枚) AI-SCHOLARに 登録いただく必要があります。 1分で無料で簡単登録する または ログイン

3つの要点 ✔️ 未来を予測するパーツの生成手法。その名もGENDIS ✔️ 高精度かつ高速に生成可能 ✔️ 進化計算を使うことで計算量削減 GENDIS: GENetic DIscovery of Shapelets written by Gilles Vandewiele, Femke Ongenae, Filip De Turck (Submitted on 13 Sep 2019) Comments: Published by arXiv. Subjects: Neural and Evolutionary Computing (cs.NE); Machine Learning (cs.LG); Machine Learning (stat.ML) はじめに 未来を予測したいという時系列問題は、人間的にとってもっともらしい欲求です。一般的な時系列問題(株価の予測や天気の予測)では、

※本記事は、2019年5月15日に配信された記事と同じ論文を題材にしておりますが、全く違うライターが執筆しております。 該当記事: 座標系に基づきマイクロパッチからイメージを結合していくGANが登場 3つの要点 ✔️訓練データに存在しない画像の生成。その名も外挿 ✔️現時点で世界で最も高精細な画像を生成可能なGAN ✔️画像をパッチごとに生成することで計算量を削減 概要 GANにはある一つの限界があるとされていました。それは、訓練データにない画像の生成は不可能であると。 この訓練データの生成分布(訓練データがサンプリングされると仮定される分布)の外側の生成を外挿 (Extrapolation)といいます。 しかし、今回紹介するCOCO-GANではこの不可能を可能にする結果を一つ示しました。 結果はそれだけではありません。 現在GANはProgressive GAN (PGGAN)やBigG

3つの要点 ✔️これまでの学習経験を元に、未知のタスクを少ないデータから解く手法の提案 ✔️一部のパラメータのみを更新することで、効率良く、そしてこれまでの学習を忘れないように学習可能 ✔️難しいタスクを重点的に学習することで、未知のタスクを少ないデータで精度良く学習可能 はじめに 近年、深層学習が世間にも浸透し、様々な場面で深層学習が使用されるようになってきました。深層学習を用いた有名なものとしては、自動運転に使用される画像認識技術や、アレクサやSiriに使用される自然言語処理技術などが挙げられます。 深層学習を代表とする人工知能研究の大きな目標は人間と同じような知性を作ることです。人間は一度物体を見るだけで、その物体を高精度に認識することが可能です。しかし、深層学習技術では、大量のデータで学習しなければ、物体を認識することが出来ません。 では、人間はどのように少ないデータから高精度に物

3つの要点 ✔️タスク(データセットとラベルの組み合わせ)をベクトル化するTASK2VECの提案 ✔️タスク間の類似度を計算することにより、どの学習済みモデルを使えば良いか判断可能に ✔️様々なタスクでの実験で、TASK2VECは最適に近い学習済みモデルを予測することに成功 はじめに 転移学習をご存知でしょうか。これは学習済みモデルを再利用することにより、少ないトレーニングデータでも、性能を発揮できる学習方法です。 転移学習の例としては、ImageNetによるものが最も有名でしょう。これは画像分類のタスクを行う際に、ImageNetで学習したモデルの最終層(分類を行う層)だけを、解きたいタスクに応じて再調整する、というものです。 このような学習が上手くいく理由の１つに、ImageNetでの学習によって、良い画像特徴量を抽出する機構が出来上がっているからです。その機構を再利用すれば、トレーニ