深層学習やGNN(Graph Neural Network)関連の論文を読み漁っていると、Graph Attention Network(GAT, グラフアテンションネットワーク)に関する論文を目にすることが多くあると思います。 GAT(は、GNN(Graph Neural Network)やGCN(Graph Convolutional Network)の枠組みに、Attentionの機構を取り入れることで、深層学習の予測精度を上げたモデルとなっています。 この記事では、2018年に発表された元論文に基づいて、GATについて分かりやすく解説していきます。 Graph Attention Networkの概要 GATは、一言で言えば、深層学習でグラフ構造の分類などを行うことができるGCNと呼ばれる手法に、Attentionの機構を取り入れた手法です。 Attentionの機構とは、入力され

GCN(Graph Convolution Network)は、GNN(Graph Neural Network)の1種類で、2022年現在、機械学習やAIのトップカンファレンスであるICMLやICLRで、非常に多くGCNやGNN関連の論文が登場するなど、現在非常に盛んに研究が盛んに行われています。 GCN自体の論文は、2017年にICLRで、 SEMI-SUPERVISED CLASSIFICATION WITH GRAPH CONVOLUTIONAL NETWORKS の論文として発表されました。 その後、GCNの派生系のアーキテクチャや手法は数多く登場していますが、一般的にGCNと呼ぶ際には、この論文の手法を指している場合が多く、非常に重要な論文となっています。なんと、2022年現在でも、14000件近い引用がされているほど、深層学習分野で非常に重要な論文となっていると思います。 今