Graph Convolutionを自然言語処理に応用する Part3
Graph Convolutionを自然言語処理に応用するための調査Part3となります。 Part3では理論/実装から少し離れ、グラフ構造を扱うタスクの種類について整理します。具体的には、タスクとそのタスクにおけるinputとoutput(prediction)を整理します。これにより、応用しようとしている問題(自然言語処理)をどんな「グラフ構造を扱うタスク」に変換できるのかを考えられるようにします。理論・実装編であるPart2についてはこちらをご参照ください。 グラフ構造を扱うタスクの種類グラフ構造を扱うタスクは、以下のように整理できます。 Structured deep models: Deep learning on graphs and beyond p12よりNode Classification: グラフのノードについて、そのクラスを分類するGraph Classificat
ChatGPTでdot言語を使って図解してみた結果ーエヴァンゲリオンの関係図編ー｜AIの使い手
ChatGPTでdot言語を使った手順1. dot言語で図解したい内容を事前に質問まず、いきなりdot言語で図解させると想定外の内容で関係図を書く可能性が高いので、一度テキストでChatGPTに整理してもらいます。 今回はエヴァンゲリオンの登場人物の関係図を書いてもらうので、最初に登場人物たちの関係をテキストで質問しました。 ChatGPT2. dot言語で図解するよう指示次に、テキストで聞いた登場人物の関係をdot言語で図解するように指示します。 ChatGPT3. dot言語のコードで図解を表示最後に、ChatGPTが出力したコードをdot言語用のサイトへ貼り付けて表示させます。 dreampuf.github.ioChatGPTでdot言語を使って図解してみた結果 エヴァンゲリオン登場人物の関係図ChatGPTでdot言語を使って図解したエヴァンゲリオン登場人物の関係図は以上です。
GPT Index のナレッジグラフ機能を試す｜npaka
GPT Index のナレッジグラフ機能を試したので、まとめました。 1. ナレッジグラフ「ナレッジグラフ」 (Knowledge Graph) は、さまざまな知識の関係をグラフ構造で表したものです。知的システムの基盤となるデータベースとして用いられます。 「GPT Index」は、RDF フレームワークと直接互換性のある「トリプル」 (主語、述語、目的語) として表されるナレッジグラフデータをサポートします。内部的には、グラフデータは有向グラフとして管理されます。 現在、「GPT Index」は、LLMがサポートするトリプルの操作を2つ提供しています。 ・グラフ抽出 (Graph extraction) : 与えられたテキストからトリプルを抽出 ・グラフQ&A (Graph Q&A) : グラフデータを応答合成のコンテキストとして利用 2. グラフ抽出Google Colabでの「GPT
Integrated Gradientsでグラフニューラルネットワークを可視化する - Qiita
Integrated Gradientsでグラフニューラルネットワークを可視化する TL;DR Integrated Gradients(統合勾配)を利用して、グラフニューラルネットワークによる推論モデルの可視化を行ってみました。よくあるデータセットだと効果が直感的にわかり難いと感じたため、日本語ベンチマーク用データセットであるJGLUEのMARK-jaを利用し、日本語の文を係り受け解析した上でグラフ構造に変換して入力し、Itegrated Gradientsによりどの語句として表現されたノードの反応を可視化してみました。 環境 dgl==0.9.1 ginza==5.1.2 networkx==2.8.7 capsum==0.5.0 データセット ヤフー株式会社が提供するGLUEの日本語版です。いくつかのタスク用のデータセットが提供されていますが、今回は Multilingual Ama
良いニュースキュレーションアプリを目指して - Qiita
この記事は『ドワンゴ AdventCalendar 2020』の17日目の記事です。 今回はMenthasというニュースキュレーションアプリを運用して得られた知見について書こうと思います。Menthasは5年前のアドベントカレンダーで話題になった後も定期的にリニューアルを行っており、現在月に約4000人ほどのユーザが安定的に使っている状況のようです1。数年ごとの大きなリニューアル以外はあまり手を入れることはしていないので、ここまでの人に使ってもらえるのはありがたい限りです。 これまで何年もニュースアプリを作り続けてきたのもあって、それなりにニュースアプリで重要となる要素を把握できたように思います。この記事では、前半は今月の上旬に行った三度目のリニューアルの内容を解説し、後半ではこれまでの内容を振り返りつつ自分なりのニュースアプリの哲学についてまとめていきます。 コンテンツを考慮する~プログ
PositionRankでarXivの論文からキーフレーズ抽出 - Qiita
7/30~8/4にかけてカナダのバンクーバーで自然言語処理の国際学会である「ACL2017」が開催されました。 その中で要約の文脈でキーフレーズ抽出のアルゴリズム「PositionRank」が発表されていたので、実装してarXivの論文からキーフレーズ抽出を行ってみました。 元の論文とGithubのリポジトリは以下になります。 PositionRank: An Unsupervised Approach to Keyphrase Extraction from Scholarly Documents ymym3412/position-rank PositionRankとは PositionRankは学術論文のタイトル(Title)と概要(Abstract)からキーフレーズを抽出するアルゴリズムです。 アルゴリズムはシンプルなので、学術論文以外にも適用が可能です。 また論文では英語の論文を
論文要約: GraphCodeBERT - コードの変数の依存関係を入力して事前学習したモデル
概要 テキスト、コードに加え、コードの変数の依存関係を表す有向グラフ（＝データフロー）の情報を入力し、グラフの構造を加味した2つのタスクで事前学習を行うことで、4つの下位タスクでCodeBERTを抜いてSOTAを達成した。 Abstract: https://arxiv.org/abs/2009.08366v4 研究の特徴 CodeBERTはコードを一方向のシーケンスとして捉えるためコードの構造を意識しない。 例えばv = max_value - min_valueという式において、変数名のみから変数vの役割を推定するのは困難だが、「vが2つの変数max_value, min_valueに依存する」という情報を用いると、変数vの役割を知る手がかりとなる。 先行研究には構文木を利用した研究があるが、本研究では構文木を直接利用せず、そこから抽出したデータフロー（＝変数どうしの依存関係を示す有効
Gephi,Rを用いた邦楽有名アーティストの歌詞類似度可視化 - メモ帳
概要 日本で最も売れた邦楽アーティストの歌詞を対象に、頻出単語をランク付けしました。また、アーティスト間の類似度を求め、可視化してみました。 対象アーティスト CD総売上Top100邦楽アーティスト(2011年) http://chanz.jp/open_data/top_artist 主要アーティスト700超(2015年) http://chanz.jp/open_data/artist 検証動機 売れているアーティストの歌詞の特徴を知りたい 歌詞の類似度が高いアーティストを知りたい データ収集・類似度評価 アーティストの歌詞から名詞を形態素解析ツールMeCabにより抽出し、データベースに保存 http://chanz.jp/nitoru/artist.php?name=Mr.Children ここで保存したデータを参照できます(例：Mr.Children) 各アーティスト間において、名
テキストに含まれた情報を有向グラフに変換する話（三）：知識構造グラフの章 - Qiita
ひさしぶりです。グラフ大好きのスーパーケロケロです。前回のテキストに含まれた情報を有向グラフに変換する話（二）：依存構造グラフの章で依存構造のグラフについて色々考察しましたが、今回はその発展としての知識構造グラフを紹介します。 何故の知識構造グラフなのか 前回の考察で、依存構造グラフでは色々情報をなくしている事について説明しました。そのひとつの例として、下記のテキストから依存構造グラフを生成してみました： 猫はネズミが好きだ。 ネズミは犬が好きだ。 犬は猫が好きだ。 # ライブラリーのインポート from naruhodo import parser # パーサ取得 dp = parser(lang='ja', gtype='d') # dp.add("猫はネズミが好きだ。") dp.add("ネズミは犬が好きだ。") dp.add("犬は猫が好きだ。") # Jupyter Notebo
Graph Convolutionを自然言語処理に応用する Part1
Graph Convolutionを自然言語処理に応用するため、何回かに分けて学習した内容をまとめていきます。内容については、最終的にQiitaなどで1記事にまとめる予定です。 Part1では、Graphを扱う過去の手法からGraph Convolutionへと到るまでの過程を解説します。また、Graph Convolutionに着目した理由についても述べておきます。 なぜ自然言語でGraph ConvolutionかGraph Convolutionに着目した理由はTransformerです。Transformerで使用されているSelf-Attentionは、各単語が他の全単語とどれくらい関係しているかの重みを算出します。これは、単語をノードとみなすとまさにグラフ構造のような形になります。 Attention-based Models (DLAI D8L 2017 UPC Deep L
抽出的文書要約における hetero graph の応用 Heterogeneous Graph Neural Networks for Extractive Document Summarization
ACL 2020 に採択された Heterogeneous Graph Neural Networks for Extractive Document Summarization を読んでいます。
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
