データの点と点をつなぐ！？GNNを用いた新たな多次元時系列データ分析手法の提案！
3つの要点 ✔️ 多変量時系列データ分析に特化した新たなGNNアーキテクチャを提案 ✔️ 従来のGNNに，変数の属性や，複数の時系列データ同士の時間的・空間的依存関係を捉えられる新たなモジュールを追加 ✔️ 4種類の評価用データセットで性能評価実験を行ったところ，４種中３種のデータセットでSoTAを達成 Connecting the Dots: Multivariate Time Series Forecasting with Graph Neural Networks written by Zonghan Wu, Shirui Pan, Guodong Long, Jing Jiang, Xiaojun Chang, Chengqi Zhang (Submitted on 24 May 2020) Comments: Accepted by KDD 2020. Subjects: Mac
ついに、ViTがビデオ認識の分野にやってきた！
3つの要点 ✔️ 初めてTransformerのみを用いたVideo Classificationモデルを提案し、ViTをVideoバージョンを目指した。 ✔️ 計算効率を上げるために、4種類のアーキテクチャを提案して詳細なアブレーション実験を行った。 ✔️ 5つのベンチマークにおいて、SOTAを達成 ViViT: A Video Vision Transformer written by Anurag Arnab, Mostafa Dehghani, Georg Heigold, Chen Sun, Mario Lučić, Cordelia Schmid (Submitted on 29 Mar 2021 (v1), last revised 1 Nov 2021 (this version, v2)) Comments: ICCV 2021 Subjects: Computer Vi
BERTのAttentionは何を見ているのか？
3つの要点 ✔️BERTのAttention機構の分析手法の提案 ✔️Attentin機構は全体的には区切り文字や[CLS]、[SEP]を見ている ✔️特定のAttention機構では「動詞とその目的語」、「名詞と修飾語」、「前置詞とその目的語」などの簡単な文法関係から、照応関係などの複雑な文法関係も獲得している 前書き 現在の自然言語処理ではTransformer以降、Attention機構を用いたモデルが流行となっています。その中でも最近はBERTなどの巨大な事前学習済みのモデルが大きな成功を収めています。 それらモデルが何を学習しているのかを分析する取り組みは行われてきましたが、モデルの出力自体や隠れ層でのベクトル表現に焦点を当てた分析手法が中心でした。 この論文では、Attention機構が何を見ているのかに焦点を当てたモデルの分析手法が提案されており、BERTのAttention
ファインマン物理学方程式を機械学習で発見する：AI Feynman
3つの要点 ✔️ 問題を単純で、変数の少ないものに変換する事を繰り返して解く ✔️ ニューラルネットワークによって関数同定問題を改善 ✔️ 既存のソフトウェアを上回る予測精度を達成 AI Feynman: a Physics-Inspired Method for Symbolic Regression written by Silviu-Marian Udrescu (MIT), Max Tegmark (MIT) (Submitted on 27 May 2019 (v1), last revised 15 Apr 2020 (this version, v2)) Comments: Published on arxiv. Subjects: Computational Physics (physics.comp-ph); Artificial Intelligence (cs.AI)
深層生成モデルを用いた教師なしメタ学習の可能性【ICLR2021】
3つの要点 ✔️ 潜在空間における線形補間を用いてメタタスクにおける人工ラベル付きデータを生成 ✔️ 線形補間によるデータ生成に関して3つの手法(LASIUM-N, LASIUM-RO, LASIUM-OC)を提案 ✔️ 教師なしメタ学習の従来手法を上回る性能を記録し、教師ありメタ学習の性能に近づいた Unsupervised Meta-Learning through Latent-Space Interpolation in Generative Models written by Siavash Khodadadeh, Sharare Zehtabian, Saeed Vahidian, Weijia Wang, Bill Lin, Ladislau Bölöni (Submitted on 18 Jun 2020) Comments: Published on arxiv. Sub
時系列予測に深層学習モデルが本当に必要？
3つの要点 ✔️ 時系列予測の領域で、最近深層学習モデルによる性能向上が急速に進んでいます。しかし、古典的な機械学習モデルはもう必要ないのかということで、この大規模な調査と比較実験が行われました。 ✔️ 古典的学習モデルの代表としてGBRTが使われています。深層学習モデルが実現した系列間の依存性の表現を入力の特徴量エンジニアリングベースのウィンドウ化で代替しました。 ✔️ 前処理により、改良GBRTは単変量、多変量両方のデータセットに対して、数多くの深層学習モデルと同等あるいは大きく上回る性能を示しました。 Do We Really Need Deep Learning Models for Time Series Forecasting? written by Shereen Elsayed, Daniela Thyssens, Ahmed Rashed, Hadi Samer Joma
捨ててしまうのはもったいない！BERTの出力を組み合わせて文ベクトルを作るSBERT-WK
3つの要点 ✔️ BERT の埋め込み表現が各層で異なる情報を捉えていることを実証 ✔️ 各層の情報を統合して文ベクトルを構成する手法を提案 ✔️ 提案手法で主要なタスクでの精度向上を達成 SBERT-WK: A Sentence Embedding Method by Dissecting BERT-based Word Models written by Bin Wang, C.-C. Jay Kuo (Submitted on 16 Feb 2020 (v1), last revised 1 Jun 2020 (this version, v2)) Comments: Accepted at arXiv Subjects: Computation and Language (cs.CL); Machine Learning (cs.LG); Multimedia (cs.MM) Of
Fairness入門 ~AIに倫理観を教える~
AIを勉強している皆さんこんにちは。 皆さんはFairnessを知っていますか？ FairnessはAIの分野の一つで、近年とても注目されています。そこで、A Survey on Bias and Fairness in Machine LearningというFairnessのサーベイ論文を軸にしてFairnessの入門記事を書くことにしました。 2011年から2017年までのFairnessの論文数 引用元: https://towardsdatascience.com/a-tutorial-on-fairness-in-machine-learning-3ff8ba1040cb Fairness(公平)とは AIにおけるFairnessという分野とは、「AIの判断を出来るだけ公平なものにしよう。」という分野です。公平なAIとは何でしょうか。例えば、人間に関する情報を入力とし、その人間が
低解像度ビデオもすぐに高解像度に変換できる超解像アルゴリズムTecoGANがすごい
3つの要点 ✔️ 低解像から高解像へ変換 ✔️ 時間的に一貫したフレームを生成するために双方向損失関数を採用 ✔️ 超解像度へ変換するTecoGANを提案 Learning Temporal Coherence via Self-Supervision for GAN-based Video Generation Temporally Coherent GANs for Video Super-Resolution (TecoGAN) written by Mengyu Chu, You Xie, Jonas Mayer, Laura Leal-Taixé, Nils Thuerey (Submitted on 23 Nov 2018 (v1), last revised 21 May 2020 (this version, v4)) Comments: Published by arXi
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
