ネットワーク分析から直感的に理解するTransformerの仕組みと処理の流れ - あつまれ統計の森
グラフ理論と隣接行列 グラフ理論は点と線で物事を表す理論です。たとえば駅の路線図では下記のように駅を点、路線を線で表します。 東京メトロホームページより 上記の路線図では「駅と駅が隣接するかどうか」を中心に取り扱う一方で、それぞれの位置や方角などは厳密に再現はされません。このように、「隣接するかどうか」のみに着目して物事を表す際の理論を「グラフ理論」といいます。 グラフ理論では点をノード(node)、線をエッジ(edge)、全体をグラフ(graph)と定義します。数式で表すと$G = (V,E)$のように表しますが、$V$が頂点のVertice、$E$がEdge、$G$がGraphであるとそれぞれ解釈すると良いです。 グラフの表記法に関しては主に$2$通りあり、「①図を用いる」と「②隣接行列を用いる」をそれぞれ抑えておくと良いです。例があるとわかりやすいので下記のWikipediaの例を元
行列入門
行 列 入 門 i 本教材について 本教材は，行列の基本的な性質を学ぶために作成したものです。 行列については，平成 21 年告示の学習指導要領における新設科目「数学活用」の「社会 生活における数理的な考察」の「数学的な表現の工夫」の内容となりました。行列は現代数 学の基礎的な内容として様々な場面で活用されているにもかかわらず，繁雑な計算の意味 やどのような場面で活用されるのかがわかりにくかったことから， 「数学活用」の内容とし たものです。ただし， 「数学活用」の内容としたことから内容は大綱的に示すことになりま した。そこで，専門教科理数科の「理数数学特論」の内容としてはそれ以前のもの（平成 11 年告示の学習指導要領における数学 C の内容）をそのまま残すとともに，高等学校数学を 超える内容に興味をもつ生徒には「数学活用」の内容を踏まえ「線型代数学入門」のような 学校設定科目を設けて指
この記事は私, wataokaが1年間をかけて作り続けた超大作記事です. 総文字数は8万を超えていますので, お好みのところだけでもみていってください. ついにこの時が来ました！！！！！ 1年間書き続けたQiita記事です！！！！！ ご覧下さい！！！！！https://t.co/eKBwP1zoeB — 綿岡 晃輝 (@Wataoka_Koki) December 31, 2020 俺的ランキング 動画での解説も挑戦してみました！ ぜひぜひご覧下さい！ 動画のリンク 第3位: Likelihood-Free Overcomplete ICA and Applications in Causal Discovery wataokaの日本語訳「尤度が必要ない過完備ICAと 因果探索における応用」 - 種類: ICA - 学会: NeurIPS2019 - 日付: 20190904 - URL:
Sports Analyst Meetupは、現役スポーツアナリストとスポーツ分析に興味のある方の情報共有イベントです。バスケットボールの選手・コーチとしての経験をもつ藤井慶輔氏が機械学習による攻撃守備戦術の分類についての研究を共有しました。 見てわかるデータしか信用されない現状 藤井慶輔氏：よろしくお願いします。藤井と申します。今回は初参加です。ちょっと雰囲気が掴めてないんですが、よろしくお願いします。タイトルは『バスケットボールの攻撃・守備戦術の自動分類』という話をします。 初参加なのでまず自己紹介から。スポーツ歴は今日お話をするバスケットで、大学時代まで選手をやっていて、大学院の5年間はコーチをやっていました。 大学院時代はこの動画にあるような対人の動作分析を、モーションキャプチャを使ってやっていました。ポスドク時代は、この動画にあるように、体育館で頭と肩に反射マーカーを付けてモーシ
[翻訳]AI生成コンテンツの総合調査：GANからChatGPTまでのGenerative AIの歴史｜株式会社ガラパゴス
原文の総文字数15万字超え！生成AI研究の歴史をまとめた論文をChatGPTを使って翻訳しました。ところどころ日本語がおかしいところもありますが、15万もの文字翻訳するのめんどくさい！という方、参考程度にご覧ください。ポイントだけ読み進めるとサクッと把握できます。 こちらの翻訳です 本書は抄訳であり内容の正確性を保証するものではありません。正確な内容に関しては原文を参照ください。 脚注、参考文献、Appendixなどは本文をご覧ください。 概要【POINT1】ChatGPTはAIGCのカテゴリに属し、効率的で高品質なコンテンツ作成をします。 【POINT2】大規模モデルの利用で、意図抽出や生成結果が向上し、現実に近いコンテンツが生まれます。 【POINT3】この調査では、生成モデルの進歩や未解決の問題・将来の課題について解説しています。 最近、ChatGPT は、DALL-E-2 [1]や
![[翻訳]AI生成コンテンツの総合調査：GANからChatGPTまでのGenerative AIの歴史｜株式会社ガラパゴス](https://cdn-ak-scissors.b.st-hatena.com/image/square/42e972c45efb6ae68a15f6d7f0f7500c7abf73dd/height=288;version=1;width=512/https%3A%2F%2Fassets.st-note.com%2Fproduction%2Fuploads%2Fimages%2F102831564%2Frectangle_large_type_2_9569f338254fe055a87e1118321f258a.jpeg%3Ffit%3Dbounds%26quality%3D85%26width%3D1280)
あなたはUMAPを知っていますか？ わたしは知っています。 聞いたことあるけど知らない人は、この記事でなんとなく理解しましょう。 UMAPとは t-SNEよりも高速・高性能に次元削減・可視化する手法である。よく使われる t-SNE と比較してみよう。以下の図は Fashion MNIST の可視化である。 （Understanding UMAP より） t-SNE に比べて、UMAP ではクラスタが明確に分かれているように見える。また似たカテゴリどうしは近くに、似ていないカテゴリどうしは遠くに配置されている。（Understanding UMAPの解説に可視化の例が豊富にあるので詳しくはそちらを見てほしい。上の3Dの図をぐりぐり回して見れるので） UMAPは埋め込み次元数によらず、実行時間がほとんど一定である。t-SNE のように埋め込み次元が増えても指数関数的に実行時間が増えることはない
2019年7月3日、nlpaper.challengeが主催するイベント「第1回 NLP/CV最先端勉強会」が開催されました。NLP/CVの知見をもとにEmbedding やグラフ、対話応答、text2image などの様々な分野の最先端の研究成果をサーベイする本勉強会。今回は、グラフと対話応答のサーベイチーム報告会と、CVPR2019速報を行いました。プレゼンテーション「Graph: A Survey of Graph Neural Networks, Embedding, Tasks and Applications」に登壇したのは、内橋堅志氏。 グラフにまつわるサーベイまとめ Kenshi Uchihashi氏：僕はグラフについてサーベイしていまして、幅広くやっているのですが、特にGraph Neural NetworksやGraph Embedding、Link Predictio
高等学校数学科「行列入門」
行 列 入 門 i 本教材について 本教材は，行列の基本的な性質を学ぶために作成したものです。 行列については，平成 21 年告示の学習指導要領における新設科目「数学活用」の「社会 生活における数理的な考察」の「数学的な表現の工夫」の内容となりました。行列は現代数 学の基礎的な内容として様々な場面で活用されているにもかかわらず，繁雑な計算の意味 やどのような場面で活用されるのかがわかりにくかったことから， 「数学活用」の内容とし たものです。ただし， 「数学活用」の内容としたことから内容は大綱的に示すことになりま した。そこで，専門教科理数科の「理数数学特論」の内容としてはそれ以前のもの（平成 11 年告示の学習指導要領における数学 C の内容）をそのまま残すとともに，高等学校数学を 超える内容に興味をもつ生徒には「数学活用」の内容を踏まえ「線型代数学入門」のような 学校設定科目を設けて指
グラフニューラルネットワーク(GNN; Graph Neural Network)入門 - あつまれ統計の森
前提知識 Transformerとグラフニューラルネットワーク 下記で詳しく取り扱いました。当記事は下記の副読的な内容になるように取りまとめました。 「Transformer＝グラフニューラルネットワーク＋ネットワーク分析」と大まかに解釈できるので、当記事ではグラフニューラルネットワークについて詳しく取り扱います。 集合と要素 グラフ理論では基本的に数ⅠAの「集合」で取り扱われる内容を元に立式されます。当項では「集合」の基本的な式表記の確認を行います。たとえばサイコロの出目の$1$〜$6$の集合を$X$とおくとき$X$は下記のように定義できます。 $$ \large \begin{align} X = \{ 1, 2, 3, 4, 5, 6 \} \end{align} $$ このとき$X$の要素を$x$とおくと、$x \in X$のように表すことができます。$x \in X$は$x$が$
ベイジアンネットワークの推論では良く用いられるアルゴリズムです。分子構造もグラフ構造なので本アルゴリズムは適用することができます。グラフを木分解（tree decomposition）することで得られる構造がjunction treeです。有向グラフの場合、無向グラフにする操作（モラル化など）が必要となりますが、分子構造の場合は無向グラフなので、この変換は必要ありません。 参考にしてる文献は下記です。 arxiv.org JT-VAEを使ってみた結果など、こちらも参考になります。 qiita.com グラフ理論 改めてグラフ理論の定義をおさらいしてみます。 グラフは頂点もしくはノードの有限非空集合 (finite non-empty set) の非順序ペア (unordered pairs of vertices)からなるエッジの集合からなるデータ構造です。 \begin{align} G
2022/12/20 追記 本学内マップを実装した大元のWebサイトについての記事を、@いなにわうどんが筑波大学学園祭 Web サイト構築の舞台裏として執筆してくれました。ぜひそちらも併せてお読みください！ 自己紹介 こんにちは。筑波大学情報メディア創成学類2年の@chururiです！ 2022年度の筑波大学学園祭「雙峰祭」で、情報メディアシステム局（jsys）Web担当をしておりました。 今回はその仕事の一つとして来場者向け学内マップを実装したので、それについて紹介したいと思います！ 背景 「雙峰祭（そうほうさい）」は、筑波大学で毎年行われている学園祭です。第48回を飾る今年度の雙峰祭は、3年ぶりに来場者数制限をしたうえでの対面での実施となりました。そのため、来場者の多く（特に学外者）は筑波大学の敷地については慣れておらず、遭難者が発生してもおかしくない状況でした。 実際に3年前の19年
約一年ぶりの更新です。 タイトルにある通り、東京大学情報理工学系研究科創造情報学専攻に合格し、今年度から大学院に進学することにしました。 自分のような経歴の人が少ないこともあり、進学のプロセスや院試の勉強を進めるにあたって難儀なことが色々あったので、今後の誰かの参考となるようにそれらのことについて書いておきます。 TL;DR:東大情理院試は勉強過程でCS・数学・プログラミングの知識が身につくのでお勧め 略歴 自分の経歴は MARCH文系卒→IT企業→1年ニート→現在です。 普通に社会人してたら今年度で四年目になります。 会社では営業・マーケティング・ディレクターの仕事をしていました。 ニート期間は4~8月プログラミングスクール、9~2月 院試勉強という感じで過ごしていました。 9月時点での知識はCS関連はゼロ、数学の知識は高校2年レベルも無いくらいでした。 数学については例えば、Σの意味す
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
【動画解説】2020年に読んだAI論文100本全部解説(俺的ベスト3付き) - Qiita
バスケの選手とボールの位置データから機械学習で攻撃・守備戦術を分類
t-SNEより強いUMAPを（工学的に）理解したい - Qiita
グラフ構造にまつわるサーベイ結果まとめ GNNからApplicationsまで Part1
Junction Treeアルゴリズム - グラフ機械学習と強化学習について
遭難者をこれ以上出さないために学内マップを実装した話 - Qiita
文系社会人から東大情報理工に進学する話(2019冬入試) - 意識高い系が研究するブログ