BERTのAttentionは何を見ているのか？
3つの要点 ✔️BERTのAttention機構の分析手法の提案 ✔️Attentin機構は全体的には区切り文字や[CLS]、[SEP]を見ている ✔️特定のAttention機構では「動詞とその目的語」、「名詞と修飾語」、「前置詞とその目的語」などの簡単な文法関係から、照応関係などの複雑な文法関係も獲得している 前書き 現在の自然言語処理ではTransformer以降、Attention機構を用いたモデルが流行となっています。その中でも最近はBERTなどの巨大な事前学習済みのモデルが大きな成功を収めています。 それらモデルが何を学習しているのかを分析する取り組みは行われてきましたが、モデルの出力自体や隠れ層でのベクトル表現に焦点を当てた分析手法が中心でした。 この論文では、Attention機構が何を見ているのかに焦点を当てたモデルの分析手法が提案されており、BERTのAttention
GPT-3の真価を引き出す方法 : Promptプログラミング
3つの要点 ✔️ GPT-3におけるfew-shotの問題点 ✔️ GPT-3は本当は何を学習しているのか？ ✔️ GPT-3が学習した機能を本当に引き出す方法を提示 Prompt Programming for Large Language Models: Beyond the Few-Shot Paradigm written by Laria Reynolds, Kyle McDonell (Submitted on 15 Feb 2021) Comments: Accepted to arXiv. Subjects: Computation and Language (cs.CL); Artificial Intelligence (cs.AI) code： はじめに GPT-3は少数サンプル(Few-shot)のpromptを使う事で、様々な言語タスクに対して最高水準の結果を達成
時系列予測に深層学習モデルが本当に必要？
3つの要点 ✔️ 時系列予測の領域で、最近深層学習モデルによる性能向上が急速に進んでいます。しかし、古典的な機械学習モデルはもう必要ないのかということで、この大規模な調査と比較実験が行われました。 ✔️ 古典的学習モデルの代表としてGBRTが使われています。深層学習モデルが実現した系列間の依存性の表現を入力の特徴量エンジニアリングベースのウィンドウ化で代替しました。 ✔️ 前処理により、改良GBRTは単変量、多変量両方のデータセットに対して、数多くの深層学習モデルと同等あるいは大きく上回る性能を示しました。 Do We Really Need Deep Learning Models for Time Series Forecasting? written by Shereen Elsayed, Daniela Thyssens, Ahmed Rashed, Hadi Samer Joma
ファインマン物理学方程式を機械学習で発見する：AI Feynman
3つの要点 ✔️ 問題を単純で、変数の少ないものに変換する事を繰り返して解く ✔️ ニューラルネットワークによって関数同定問題を改善 ✔️ 既存のソフトウェアを上回る予測精度を達成 AI Feynman: a Physics-Inspired Method for Symbolic Regression written by Silviu-Marian Udrescu (MIT), Max Tegmark (MIT) (Submitted on 27 May 2019 (v1), last revised 15 Apr 2020 (this version, v2)) Comments: Published on arxiv. Subjects: Computational Physics (physics.comp-ph); Artificial Intelligence (cs.AI)
グラフってこんなにすごい！深層学習との融合をレビュー
3つの要点 ✔️ GNNの表現力の強さから、急速にアプリケーションが進んでいる。 ✔️ GNNの柔軟かつ複雑な構造への、従来深層学習手法の展開についてのレビュー ✔️ 一方で、深層学習に共通、グラフに固有の課題も継続中 Graph Neural Networks: A Review of Methods and Applications written by Jie Zhou, Ganqu Cui, Shengding Hu, Zhengyan Zhang, Cheng Yang, Zhiyuan Liu, Lifeng Wang, Changcheng Li, Maosong Sun (Submitted on 20 Dec 2018 (v1), last revised 9 Apr 2021 (this version, v5)) Comments: Published on AI O
ランダムラベルを利用することでテキスト分類が改善する！
3つの要点 ✔️ 予測手順において余分な計算コストをかけることなく性能を向上 ✔️ ラベルスムージング法に対するLabel Confusion Model(LCM)の優位性も検証 ✔️ LCMは混乱したデータセットやノイズの多いデータセットに特に有効であり、ラベル平滑化法（LS）よりもかなりの程度優れていることが実証 Label Confusion Learning to Enhance Text Classification Models written by Biyang Guo, Songqiao Han, Xiao Han, Hailiang Huang, Ting Lu (Submitted on 9 Dec 2020) Comments: Accepted by AAAI 2021. Subjects: Computation and Language (cs.CL); Art
タスクやモデルに依存しない新しい正則化手法: Flooding
3つの要点 ✔️ 損失関数/入力空間/タスク/モデルに依存しない新しい正則化手法（flooding）を提案 ✔️ 「training lossが0になるまで学習し続けると汎化性が低下する」という自然な仮定に基づく ✔️ floodingを使った副次的な効果として、早い段階（epoch数100前後）でdouble descentという現象が確認できる Do We Need Zero Training Loss After Achieving Zero Training Error? written by Takashi Ishida, Ikko Yamane, Tomoya Sakai, Gang Niu, Masashi Sugiyama (Submitted on 20 Feb 2020) Comments: Published by arXiv Subjects: Machine Le
深層学習による自然言語処理の発展の歴史を振り返る！包括的なサーベイ論文の紹介！
3つの要点 ✔️ 深層学習による自然言語処理の発展を振り返る包括的なサーベイ論文の紹介 ✔️ 自然言語処理の主なタスクに対して、二回に分けてどのように深層学習が用いられているか紹介 ✔️ 特徴表現・アーキテクチャ・基礎的なタスク・テキスト分類・情報抽出・感情推定を紹介 Natural Language Processing Advancements By Deep Learning: A Survey written by Amirsina Torfi, Rouzbeh A. Shirvani, Yaser Keneshloo, Nader Tavvaf, Edward A. Fox (Submitted on 2 Mar 2020 (v1), last revised 4 Mar 2020 (this version, v2)) Comments: Published by arXiv
ついに誕生！期待の新しい活性化関数「Mish」解説
3つの要点 ✔️ ReLU、Swishに次ぐ新たな活性化関数Mishを提案 ✔️ MNISTやCIFAR-10/100などでReLUとSwishを圧倒 ✔️ 論文筆者実装のGitHubレポは早速600以上のスターを持ち、非常に簡単に使える Mish: A Self Regularized Non-Monotonic Neural Activation Function written by Diganta Misra (Submitted on 23 Aug 2019 (v1), last revised 2 Oct 2019 (this version, v2)) Subjects: Machine Learning (cs.LG); Computer Vision and Pattern Recognition (cs.CV); Neural and Evolutionary Comp
機械学習のためのデータ収集に新たな希望！？半教師学習の最前線！
3つの要点 ✔️ 一部のクラスにラベルが付与されていないデータセットで学習する半教師学習の手法 ✔️ Consistency regularizationと呼ばれる手法で仮ラベルを付与し精度を向上 ✔️ 既存のデータセット(CIFER-10)で95％の識別精度を達成 FixMatch: Simplifying Semi-Supervised Learning with Consistency and Confidence written by Kihyuk Sohn,David Berthelot,Chun-Liang Li,Zizhao Zhang,Nicholas Carlini,Ekin D. Cubuk,Alex Kurakin,Han Zhang,Colin Raffel (Submitted on 21 Jan 2020) Comments: Published by arXi
パラメータ数を激減させる新しい畳み込み「MixConv」解説！
３つの要点 その１ パラメータ数を激減させる新しい畳み込みMixConvを提案 その２ MixConv層を含んだモデルをAIに自動生成(=NAS)させることでMixNetを開発 その３ MixNetはMobileNet-V3やMnasNetなどの小型画像認識モデルのみならずResNet-153に対してはパラメータ数1/9程度で性能を凌いだ MixConv: Mixed Depthwise Convolutional Kernels written by Mingxing Tan, Quoc V. Le (Submitted on 22 Jul 2019 (v1), last revised 1 Dec 2019 (this version, v3)) Journal reference: BMVC 2019 Subjects: Computer Vision and Pattern
「なぜここまで賢くなるのか説明不可能」 ―画像生成系AI、GANを例にして
今回紹介するのは、画像生成AI、GAN（敵対的生成ネットワーク）の中身を詳しく調査したという研究です。最近のGANは人でも本物の写真かどうか見間違うほどの性能を発揮しますが、GANがどのように『描いている』かを可視化した結果、簡単には説明できないような描画スキルを獲得していることがわかってきました。(※1) 論文 https://openreview.net/forum?id=Hyg_X2C5FX (1) AIの中身 先週、日本政府がまとめた人工知能（AI）に関する原則が明らかになったと日経新聞が報じました(※2)。AIの社会浸透は急激に進んでいますが、その判断過程がブラックボックスのまま使われることを国、あるいは国際的な枠組みである程度規制するとともに、AIの中身を専門家でなくても理解しやすくするための研究開発が進められています。 今回扱うのはGANを使った画像生成AIです。以前AI-S
BERTを超えた自然言語処理の最新モデル「XLNet」
3つの要点 ✔️ 自然言語処理でBERTを超える新しい事前学習モデルであるXLNetが登場 ✔️ マスク間の依存関係を学べないというBERTの弱点を、単語の並べ替えによって解決 ✔️ 長文読解タスクであるRACEで人を超えるスコアを達成 XLNet: Generalized Autoregressive Pretraining for Language Understanding written by Zhilin Yang, Zihang Dai, Yiming Yang, Jaime Carbonell, Ruslan Salakhutdinov, Quoc V. Le (Submitted on 19 Jun 2019 (v1), last revised 2 Jan 2020 (this version, v2)) Comments: Published by NIPS 2019.
CGとAIの架け橋「微分可能レンダラー」のルーツを日本発の論文から探る
論文 : Neural 3D Mesh Renderer Written by 加藤 大晴1 牛久 祥孝1 原田 達也1,2 (1東京大学 2理化学研究所) CVPR 2018 (spotlight) Google I/O 2019のプレゼンテーション”Cutting Edge TensorFlow”にて、GoogleからTensorFlow Graphicsが発表されました。 Tensorflow Graphicsはゲームや映画で多用される3Dコンピュータグラフィックスの知見を、画像認識に代表されるコンピュータビジョンの領域で活用することを目的に作られたもの（下図参照）で、現在は微分可能レンダラー(differential render)や3Dモデルに適応可能なグラフ畳み込みといった機能を持つTensorflow用のライブラリと、機械学習の可視化を支援する3D Tens
GANの進化形現る! 幾何学を利用した新たなモデル「Sphere GAN」理論
現在、様々な画像認識技術において”GAN”が利用されるようになり、その応用範囲はめざましいものがあります。新しく発表された「Sphere GAN」では幾何の理論を基に構成することで次元数を引き上げ、計算精度の向上を実現しています。 参考論文 : Sphere Generative Adversarial Network Based on Geometric Moment Matching 従来のGANモデルの弱点 従来のGANモデルの主なアイデアは、偽物のデータと本物のデータ間の分布散らばりを最小化するものでした。GANはこれまで様々なモデルに利用されてきましたが、処理できない複雑な問題も存在します。例えば、連続的に画像データを生成し学習しようとすると、計算が爆発してしまう場合があります。 従来のGANが処理できない問題を解決するため、これまでIPMs(integral probabili
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GoogleのDeepMindが囲碁のルールを自ら学習することでAlphaZeroを凌駕する強化学習手法「Muzero」を提案。