PyG (PyTorch Geometric) で Graph Pooling Neural Network - Qiita
グラフ構造を深層学習する PyG (PyTorch Geometric) を Google Colaboratory 上で使ってみました。今回は、Graph Pooling Neural Network を使うことがテーマです。題材として、化学情報学のメインテーマの１つである、分子構造から物性を予測する問題を解いてみます。 PyG (PyTorch Geometric) インストール PyG (PyTorch Geometric) のレポジトリは https://github.com/pyg-team/pytorch_geometric にあります。また、コードはチュートリアルドキュメント https://pytorch-geometric.readthedocs.io/en/latest/index.html を参考にしています。 import os import torch torch
論文解説: P-Companion: A Principled Framework for Diversified Complementary Product Recommendation - Qiita
論文解説: P-Companion: A Principled Framework for Diversified Complementary Product RecommendationMachineLearningDNNRecommendation論文読みGNN はじめに P-Companion: A Principled Framework for Diversified Complementary Product Recommendation というAmazonがCIKM2020に投稿した論文について解説します。 論文を選んだ動機 E-Commerceサイトの推薦では、ユーザーが見ている商品詳細ページに対して、以下2種類の商品を推薦することが多いです。 substitute: 現在見ている商品と代替関係にある商品 complementary: 現在見ている商品と合わせて買われるよう
Label propagationとLabel spreading - でかいチーズをベーグルする
グラフベース半教師あり学習 (SSL) のLabel propagation (LP) とLabel spreading (LS) の違いを説明している文献があまりなかったのでそれについてちょっと書いてみる。SSL自体とかLP、LSについては以下の記事にまとめた文献がいい感じなのでそちらを参照。 半教師あり学習のモデル仮定 - でかいチーズをベーグルする LPの元論文はこれ (PDF) "Semi-Supervised Learning Using Gaussian Fields and Harmonic Functions", ICML2003 LSの元論文はこれ (PDF) "Learning with Local and Global Consistency", NIPS2003 まとめ LPとLSの超概要、ランダムウォークとしての解釈、最適化問題としての解釈を書いた 軽い実験をした
VAEに基づくグラフの表現学習 - Sansan Tech Blog
こんにちは。年末年始はファイアーエムブレムで可処分時間が消えてしまった DSOC R&D Group の橋本です。 さて、今回の記事では、変分オートエンコーダ (Variational Auto-Encoder, VAE) [1]に基づくグラフの表現学習について紹介したいと思います。 近年グラフに対する深層学習手法の発展が目覚ましく、応用先としては材料科学（分子や結晶をグラフと見る）*1や、ソーシャルネットワークなどが挙げられます。ここではソーシャルネットワークのようなグラフに対するものに限定して、ノードの潜在表現を得る手法を紹介します。*2 Variational Graph Auto-Encoder 変分グラフオートエンコーダ (Variational Graph Auto-Encoder, VGAE) とは、VAEにおけるencoderの部分にグラフ畳み込みネットワーク (Graph
Product Knowledge Graph Embedding for E-commerceを読んだ - Qiita
また、提案手法ではcomplementの関係を複雑に分けていないため、アクセサリーも付属品も拡張もアドオンも全てcomplementになる。 (Remote control, complement, TV): accessory (TV mount frame, complement, TV): structural attachment (Audio speaker, complement, TV): enhancement (HDMI Cable switcher, complement, TV): add-on モデル構造 基本的にはword2vecのアナロジーとして考える。 word2vec(skip gram)の場合は、ある単語を入力し、その周辺単語の予測確率が高くなるように学習を行う。 提案手法では6つのrelationをタスクとして扱う。 商品の入力ベクトルを各タスクで共有し
[論文読み] GRAPH-BERT: Only Attention is Needed for Learning Graph Representations - Qiita
[論文読み] GRAPH-BERT: Only Attention is Needed for Learning Graph Representations機械学習DeepLearning論文読み はじめに GRAPH-BERTの論文を読んだので簡単に内容をまとめておきたいと思います。 論文： GRAPH-BERT: Only Attention is Needed for Learning Graph Representations 公式リポジトリ： https://github.com/jwzhanggy/Graph-Bert 注意事項として、必ずしも私が正しい理解をできている保証はありません。論文も公式実装も易しめなので気になった方は公式をご覧ください。 論文概要 GRAPH-BERTとは、グラフデータをBERTで学習しようというGraph Neural Network（GNN）です
![[論文読み] GRAPH-BERT: Only Attention is Needed for Learning Graph Representations - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/298a85002fc4060e83eabcedd94dad73c835960c/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Farticle-ogp-background-9f5428127621718a910c8b63951390ad.png%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTkxNiZoPTMzNiZ0eHQ9JTVCJUU4JUFCJTk2JUU2JTk2JTg3JUU4JUFBJUFEJUUzJTgxJUJGJTVEJTIwR1JBUEgtQkVSVCUzQSUyME9ubHklMjBBdHRlbnRpb24lMjBpcyUyME5lZWRlZCUyMGZvciUyMExlYXJuaW5nJTIwR3JhcGglMjBSZXByZXNlbnRhdGlvbnMmdHh0LWNvbG9yPSUyMzIxMjEyMSZ0eHQtZm9udD1IaXJhZ2lubyUyMFNhbnMlMjBXNiZ0eHQtc2l6ZT01NiZ0eHQtY2xpcD1lbGxpcHNpcyZ0eHQtYWxpZ249bGVmdCUyQ3RvcCZzPTVhYWU5NTBmMDkwNTJiN2M2NjgwN2Y3YjAwOGI5MjM1%26mark-x%3D142%26mark-y%3D112%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTcxNiZ0eHQ9JTQwY2h5b25ldnZpJTIwaW4lMjAlRTYlOTclQTUlRTklODklODQlRTMlODIlQkQlRTMlODMlQUElRTMlODMlQTUlRTMlODMlQkMlRTMlODIlQjclRTMlODMlQTclRTMlODMlQjMlRTMlODIlQkElRTYlQTAlQUElRTUlQkMlOEYlRTQlQkMlOUElRTclQTQlQkUmdHh0LWNvbG9yPSUyMzIxMjEyMSZ0eHQtZm9udD1IaXJhZ2lubyUyMFNhbnMlMjBXNiZ0eHQtc2l6ZT0zMiZ0eHQtYWxpZ249bGVmdCUyQ3RvcCZzPTMwNGUzMmZlMDBiOTgyZGU0ZTJlYzQ5ZTgxNDU4NjBh%26blend-x%3D142%26blend-y%3D491%26blend-mode%3Dnormal%26s%3D0e867035f9808d7a4da4cfba20536446)
IRGAN (SIGIR 2017)→GraphGAN (AAAI 2018)→CFGAN (CIKM 2018) を読んで GAN による購買予測/協調フィルタリングを学ぶ - 糞糞糞ネット弁慶
CFGAN (CIKM 2018) を読もうと思ったら「そもそも発想としては IRGAN (SIGIR 2017) と GraphGAN (AAAI 2018) が先にあって……」と触れられていたので順に読むことにする． そもそもタイムラインで「CFGAN がはじめて商品推薦に GAN を使っていてすごい」という風潮で取り上げられていて，「2018年まで誰も思いついていないとかまさかそんな馬鹿な話があるわけないだろう」と思ったのがきっかけ． 結論から言うと 商品推薦に GAN を用いるのは CFGAN が初出ではなく IRGAN が初出であり， GraphGAN でも実現している CFGAN は IRGAN/GraphGAN における「真のデータを Generator がサンプリングしてしまうことで Discriminator が混乱して精度悪化を引き起こす」という問題に対して「離散的に点
Integrated Gradientsでグラフニューラルネットワークを可視化する - Qiita
Integrated Gradientsでグラフニューラルネットワークを可視化する TL;DR Integrated Gradients(統合勾配)を利用して、グラフニューラルネットワークによる推論モデルの可視化を行ってみました。よくあるデータセットだと効果が直感的にわかり難いと感じたため、日本語ベンチマーク用データセットであるJGLUEのMARK-jaを利用し、日本語の文を係り受け解析した上でグラフ構造に変換して入力し、Itegrated Gradientsによりどの語句として表現されたノードの反応を可視化してみました。 環境 dgl==0.9.1 ginza==5.1.2 networkx==2.8.7 capsum==0.5.0 データセット ヤフー株式会社が提供するGLUEの日本語版です。いくつかのタスク用のデータセットが提供されていますが、今回は Multilingual Ama
PyG (PyTorch Geometric) で MetaPath2Vec して Node2Vec と比較 - Qiita
グラフ構造を深層学習する PyG (PyTorch Geometric) を Google Colaboratory 上で使ってみました。今回は、MetaPath2Vec を使うことがテーマです。Node2Vecとの比較も行ないました。 PyG (PyTorch Geometric) インストール PyG (PyTorch Geometric) のレポジトリは https://github.com/pyg-team/pytorch_geometric にあります。また、コードはチュートリアルドキュメント https://pytorch-geometric.readthedocs.io/en/latest/index.html を参考にしています。 import os import torch torch.manual_seed(0) os.environ['TORCH'] = torch.
PyG (PyTorch Geometric) のデータセットを自作する - Qiita
グラフ構造を深層学習する PyG (PyTorch Geometric) を Google Colaboratory 上で使ってみました。今回は、PyG (PyTorch Geometric)のデータセットを自作することがテーマです。自作ではなくベンチマーク用に用意してあるデータを用いる場合は過去記事をご覧ください。 日本地図のデータ 題材として日本地図のデータを用います。日本語を matplotlib で表示するための準備をします。 Looking in indexes: https://pypi.org/simple, https://us-python.pkg.dev/colab-wheels/public/simple/ Collecting japanize-matplotlib Downloading japanize-matplotlib-1.1.3.tar.gz (4.1
株式会社ALBERT（レコメンドエンジン）
データ分析から導き出されたインサイト無しにAI（人工知能）の活用は始まりません。私たちは、各業界知識とデータ・アナリティクス技術を駆使しデータドリブン経営を強力に支援します。 データ、アナリティクス、AIは企業にとって競合他社との差別化を図るかつてないほど大きな要因になっています。今日の経営幹部が効率を向上しながら新たな収益源を開拓し、新しいビジネスモデルをタイムリーに構築する方法を模索する中、価値を生み出し成長を続ける企業には「データ活用」という共通項があります。私たちは、無数のデータから企業にとって本当に必要なデータを活用するための方法を知っています。 将来を見据えたオペレーション体制を備えている企業の半数以上（52％）は、すでにデータとアナリティクスを大規模に活用しています。データとAIに関する取り組みをビジネス戦略に沿って実施することで投資利益率を迅速に最大化し、最終的にはAIをビ
TensorFlowに挫折した僕がPyTorchで圧倒的にシンプルなGCNを実装した話 - Qiita
はじめに 化学構造を対象としたGraph Convolutional Network(GCN)に関して、Convolutional Networks on Graphs for Learning Molecular Fingerprints とい論文が広く知られている。2015年に発表された論文であるが、化合物系のGCNの論文には必ず引用されていると言っていい程、有名な論文である。 既に様々なライブラリに実装されているが、今回PyTorchの力を借りてこの論文を自力で実装したので詳細を共有したい。 モチベーション 論文の著者による実装コードは https://github.com/HIPS/neural-fingerprint で公開されている。 また、化合物によるディープラーニングライブラリとして DeepChem や Chainer Chemistry などいくつか存在するが、これらの
AWSのライフサイエンス分野向けグラフ深層学習ライブラリ DGL-LifeSci を触ってみた - Qiita
はじめに AWS がライフサイエンス分野向けグラフ深層学習ライブラリをリリースしていると聞き、触ってみたメモ。その名も「DGL-LifeSci」。 DGLというグラフ深層学習ライブラリをベースとした、ライフサイエンス分野向けの機能やアルゴリズム搭載したライブラリである。 何ができるの？ ざっくりいうと以下の4種類のバイオ/化学に関するタスクを行うことができる。 Molecular property prediction (分子の特性予測) Generative models (生成モデル) Reaction prediction (反応予測) Protein-ligand binding affinity prediction (タンパク質-リガンド結合親和性予測) これらタスクを実現するための様々なアルゴリズムが搭載されている。 環境 以下の環境で確認した。 Windows 10 (RA
グラフニューラルネットワークでQiitaのタグづけをレコメンドする - Qiita
本記事はNTTドコモR&Dアドベントカレンダー2021の8日目の記事です． こんにちは、NTTドコモの橋本(@dcm_hashimotom)です． 業務ではレコメンド関連の技術開発・施策検討を行っており，主にPythonやBigQuery, Apache Sparkを触ってます． SNSなどで投稿したコンテンツの検索性を上げるためには，そのコンテンツへのタグ(またはハッシュタグ)の付与が重要です．Qiitaではタグは5つまで付与することができ，タグを指定した絞り込み検索や，マイページでのプロフィールに使われております．しかし，タグの付与はユーザ手動なものが多く(要出典)，検索性が高いものを選択するためには，ドメイン知識が必要です．なので，タグを付ける際に「このタグがついた投稿では他にこんなタグもついてます」的なレコメンドがあれば有用そうです．また，レコメンドということですが，近年レコメンド
Introducing TensorFlow Graph Neural Networks
Posted by Sibon Li, Jan Pfeifer and Bryan Perozzi and Douglas Yarrington Today, we are excited to release TensorFlow Graph Neural Networks (GNNs), a library designed to make it easy to work with graph structured data using TensorFlow. We have used an earlier version of this library in production at Google in a variety of contexts (for example, spam and anomaly detection, traffic estimation, YouTub
GNNを使ってビットコインWalletを分類して可視化してみた - GMOインターネットグループ グループ研究開発本部
こんにちは。次世代システム研究室のC.W.です。 暗号資産って最近流行っていますね。今年の年始からビットコイン(BTC)の価格がジェットコースターの様に動いているのは皆さんご存知かと思います。その後ろにインフルエンサー達がSNSで暗号資産の良し悪しについて発信して価格を動かしたり、BTCの資産家が膨大なBTCを買い売りしていることが存在しています。 BTCの一つの特性は全ての取引(Transactions)が公開資料です。ですけど、前記のインフルエンサーや資産家の様なことが存在しているのは分かっていますが、そうの様は容易に捉えることができません。その根本的な原因は複雑なTransactionsのネットワークと個人が複数のWalletを所有しているのだと思います。その謎を少しでもときたいため、今回は機械学習のGraph Neural Network(GNN)を使ってTransaction N
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
PyTorch-BigGraph: A Large Scale Graph Embedding System
GNNによる制約なし二次最適化問題へのアプローチ
グラフニューラルネットワークとグラフ組合せ問題
http://i.stanford.edu/~jure/pub/talks2/graphsage-ieee_bigdata-dec17a.pdf