ニューラルネットワークの損失地形
『グラフニューラルネットワーク』を上梓しました - ｼﾞｮｲｼﾞｮｲｼﾞｮｲ
グラフニューラルネットワーク (機械学習プロフェッショナルシリーズ) 作者:佐藤 竜馬講談社Amazon 講談社より『グラフニューラルネットワーク（機械学習プロフェッショナルシリーズ）』を上梓しました。 グラフニューラルネットワークはグラフデータのためのニューラルネットワークです。化合物やソーシャルネットワークのようなグラフデータの解析に使うことができます。また後で述べるように、テキストも画像もグラフなのでテキストや画像の分析にも使えますし、それらを組み合わせたマルチモーダルなデータにも適用できます。要は何にでも使うことができます。この汎用性がグラフニューラルネットワークの大きな強みです。 本稿ではグラフニューラルネットワークを学ぶモチベーションと、本書でこだわったポイントをご紹介します。 グラフニューラルネットワークは何にでも使える 付加情報をグラフとして表現できる グラフニューラルネッ
Transformers are Graph Neural Networks
My engineering friends often ask me: deep learning on graphs sounds great, but are there any real applications? While Graph Neural Networks are used in recommendation systems at Pinterest, Alibaba and Twitter, a more subtle success story is the Transformer architecture, which has taken the NLP world by storm. Through this post, I want to establish a link between Graph Neural Networks (GNNs) and Tr
Jochen Görtler
I am a consulting software engineer and research scientist. I develop hand-tailored visualization systems that help my clients make sense of complex data and machine learning models. I'm based in Germany and I have a Ph.D. in computer science. Jochen Görtler ✌️ Build understanding. The systems I develop typically leverage a combination of frontend and backend components. Because of this, I have ex
使える統計モデル10選（後編） | AIdrops
使える統計モデル10選（後編） 前回の記事では、使える統計モデル10選の前編として、主に回帰モデルに焦点を絞って紹介しました。 今回はその後編に当たる生成モデル編です。生成モデル（generative model）は、端的に言うと、コンピュータシミュレーションによりデータを人工的に作ることができるモデルです。データが作られる過程をうまく表現したモデルを構築することができれば、予測だけではなく異常検知やデータ圧縮など幅広いタスクに応用することができます。 生成系（教師なし系） 回帰モデルと同様、生成モデルも数個のパラメータから構成される簡単なものから、複数のモデルを巧みに組み合わせた複雑なものまで無限に存在します。ここでは、データ圧縮から自然言語処理、ソーシャルネット解析までさまざまなデータ解析のタスクで利用されている代表的な生成モデルを5つ選んで紹介します。また、生成モデルのすべては潜在変
使える統計モデル10選（前編） | AIdrops
使える統計モデル10選（前編） 統計モデリング（statistical modelling）はデータ解析の方法論の1つです。データ解析の目的は、通常はただの数値や記号の羅列であるデータから、人間が何かしらの判断を行うために有益な情報を引き出すことにあります。データ分析者は、そのままでは意味をなさないデータに対して、折れ線グラフやヒストグラムなどを用いて、人間が判断を行いやすいようにデータの可視化を行います。一方で、時にはニューラルネットワークのような複雑な計算モデルを使ってデータを解析し、まだ観測されていない将来の値を予測させたりします。このように、データから有益な情報を引き出すために、データに対して人為的な視点や事前知識、数学的な仮定などを設計する作業をモデリング（modeling）と呼びます。 統計モデリングによるデータ解析では、データ自体や解析の目的に合わせて分析者が適切なモデルを設
Neural Tangentsによる無限幅深層ニューラルネットワークの構築とベイズ推論
要点¶Neural TangentsはGoogle AIが開発したJAXのラッパーライブラリです。無限幅 (中間層のユニット数$\to \infty$)のニューラルネットワーク (以後, NN: neural networks)を高速かつ簡単に構築及び学習させることを目的としています。 Neural Tangentsでは無限幅のNNを学習させる手法としてNNGP (Neural Network Gaussian Process)と NTK (Neural Tangent Kernel)の2つを実装しています。 この記事ではNNGPとNTKの要点を紹介し、Neural Tangentsを用いた実装について紹介していきます。 Neural-Tangentsに関連する文献¶ Paper : https://arxiv.org/abs/1912.02803 OpenReview : https:/
機械学習で抑えておくべき損失関数（分類編） - HELLO CYBERNETICS
はじめに ニューラルネットワーク 損失関数を考えるモチベーション 分類の損失関数 ０−１損失関数 分類における損失関数の基本 0-1損失の問題点と代理損失 色々な損失関数 分類の損失を考える上で重要な「正解と出力の積」 ロジスティック損失 指数損失 ヒンジ損失 平滑化ヒンジ損失 損失関数の図示 0-1損失で図の見方を確認 ロジスティック損失 指数損失 ヒンジ損失 平滑化ヒンジ損失 比較 最後に モデルの方の話 実際に使う場合の話 学習の評価は「正解・不正解」だけでない 回帰における損失関数 はじめに 機械学習における教師あり学習では、入力に対してパラメータを用いて関数を構築し、正解データに対して損失を定義し、これを最小化する手続きを取ります。 損失を、色々なとの組に対して計算し、その総和が最小化されるようにを決めることを学習と呼びます。これにより未知のデータを入力した時に、それに対する正解
ベイズ事後分布の相転移と数学・物理学 - 東京工業大学
ベイズ事後分布の 相転移について 渡辺澄夫 東京工業大学 相転移とは何ですか 学生のみなさまから「学習理論における相転移とは具体的に何か」という質問を いただきましたので、具体的な例について紹介します。 相転移とは データの数 n やハイパーパラメータ α を変化させたとき、ある値を境界として その前後で事後分布が急激に形を変えることにより、ベイズ自由エネルギーや 汎化損失の値がそれらのなめらかな関数でなくなることがあります。そのような 変化を相転移と呼びます。 具体例として、ここでは次の問題を考えます。 (1) データの数 n が小さいうちは真の分布の構造を詳しく知ることはできないが データの数が増えるにつれて真の分布の構造が見えてくる(構造の発見)。 (2) 事前分布を決めているハイパーパラメータを変えると事後分布が急激に 変化する点がある (「事前分布は何でもよい」ではないのです）。
「情報幾何の新展開」のやばさ - xiangze's sparse blog
「情報幾何の新展開」という本が話題になっています。 http://www.saiensu.co.jp/?page=book_details&ISBN=ISBN4910054700848&YEAR=2014 別冊数理科学 情報幾何学の新展開 2014年 08月号 [雑誌] 出版社/メーカー: サイエンス社発売日: 2014/08/22メディア: 雑誌この商品を含むブログを見る 著者は情報幾何という学問分野を創始したともいえる甘利俊一先生です。 本書においては今までの分野の総括のみならず機械学習の理論や応用の進展を受けた今後の発展の方向を示しているような非常に野心的であおられているような書き方であったので、非常に簡単ではあり、また理解が不足している部分がありますが感想をまとめます。 ４部構成になっていて、第I部、第II部は情報幾何を理解する為の基礎となる数学についての解説で、第III部は統計的
【決定版】スーパーわかりやすい最適化アルゴリズム -損失関数からAdamとニュートン法- - Qiita
オミータです。ツイッターで人工知能のことや他媒体で書いている記事など を紹介していますので、人工知能のことをもっと知りたい方などは気軽に@omiita_atiimoをフォローしてください！ 【決定版】スーパーわかりやすい最適化アルゴリズム 深層学習を知るにあたって、最適化アルゴリズム(Optimizer)の理解は避けて通れません。 ただ最適化アルゴリズムを理解しようとすると数式が出て来てしかも勾配降下法やらモーメンタムやらAdamやら、種類が多くあり複雑に見えてしまいます。 実は、これらが作られたのにはしっかりとした流れがあり、それを理解すれば 簡単に最適化アルゴリズムを理解することができます 。 ここではそもそもの最適化アルゴリズムと損失関数の意味から入り、最急降下法から最適化アルゴリズムの大定番のAdamそして二階微分のニュートン法まで順を追って 図をふんだんに使いながら丁寧に解説 し
スパース推定法による統計モデリング - 共立出版
変数選択問題は統計学における重要な問題の一つである。この問題に対して、近年、変数選択とモデルの推定を同時に行うスパース正則化を用いる方法が開発された。この方法によって、従来では扱うことが難しかった高次元データに対しても変数選択が実行可能となり、スパース正則化法は一気に注目されるようになった。さらに、変数選択だけでなく、データ発生の疎性構造を抽出するという、より一般的な観点からの研究が進むようになり、たとえば、グラフ構造における辺選択などにも拡張されている。これらの方法は総称してスパース推定と呼ばれ、統計学の基本ツールになりつつある。 本書は、スパース推定の入門的内容から発展的内容までを解説している。実用性を重視するため、スパース推定を用いた統計モデリングを中心にできるだけ数多く解説し、「スパース推定を用いると、こういう統計解析が可能になる」というような、統計解析におけるスパース推定の有用性
スパースモデルではshrinkage factorの分布を考慮しよう ～馬蹄事前分布（horseshoe prior）の紹介～ - StatModeling Memorandum
ベイズ統計の枠組みにおいて、回帰係数の事前分布に二重指数分布（ラプラス分布）を設定し回帰を実行してMAP推定値を求めると、lassoに対応した結果になります。また、回帰係数にt分布を設定する手法もあります。これらの手法は「shrinkage factorの分布」という観点から見ると見通しがよいです。さらに、その観点から見ると、馬蹄事前分布が魅力的な性質を持っていることが分かります。この記事ではそれらを簡単に説明します。 なお、lassoそのものに関しては触れません。岩波DS5がlassoを中心にスパースモデリングを多角的に捉えた良い書籍になっているので、ぜひそちらを参照してください。 岩波データサイエンス Vol.5 発売日: 2017/02/16メディア: 単行本（ソフトカバー） 参考文献 [1] C. Carvalho et al. (2008). The Horseshoe Esti
双曲空間ではじめるレコメンデーション - Gunosyデータ分析ブログ
はじめに こんにちは、MediaAds ML Teamに所属している飯塚(@zr_4) です。 以前書いたブログ*1をベースに変更を加えた論文がRecSys 2019 *2 に通りました(ヤッター)。 埋め込みベースの推薦は、近年最も成功を収めた推薦手法の一つです。 埋め込みベースの推薦を行っている多くの大企業では、精度良くアイテムやユーザーを表現するため、数百次元のベクトルを使用しています。それによって、莫大な計算リソースを日々消費していることと思います。またリアルタイムにベクトルの演算を行うために検索システムを自作している企業も少なくないと思います*3。負荷の大きさから、特定のロジックの実装に踏み込めないケースも多々あるかと思います。 一方で近年、埋め込みの空間に双曲空間を用いることで、階層構造、木構造、Directed Acyclic Graph (DAG) が低次元のベクトルで表現
Disk Embedding による非循環有向グラフの表現獲得 - LAPRAS AI LAB
LAPRAS のアルゴリズムエぬジニア 兼 リサーチャーの鈴木です。AI Lab への投稿は初めてですので、簡単に自己紹介をしておきます。私は大学で理論物理学の修士号を取った後、大手電機メーカーの研究所で機械学習・信号処理などを研究していましたが、「世の中のミスマッチをなくす」というビジョンに共感し、昨年の11月からLAPRAS (旧 scouty) にジョインしました。これまでの主な研究成果は [Suzuki, 2014], [Suzuki, 2017] などです。よろしくお願いします。LAPRAS のリサーチチームでは、LAPRASの「世の中のミスマッチをなくす」というビジョンを達成するため、「個人に最適な選択肢を与えるための基盤技術」となりうる分野について調査・研究を進めています。現在は特に、自然言語処理、知識グラフ、埋め込みの分野から新しいブレークスルーが生まれるのではないかと信じ
四角が丸に、魚が蝶に──“不可能立体”研究10年、杉原教授が導き出した「錯視の方程式」
杉原教授は3月に明治大を定年退職するに当たり、12日に最終講座を行った。10年間の錯視研究で、「タネ明かしをしても脳は錯覚を修正できないこと」と「両目で見ても錯覚は起こる場合があること」に衝撃を受け、その上で1つの疑問が浮かんだと話す。 「非直角を直角に見せる」新たな立体トリックを考案 ペンローズの四角形に見える立体を作ったのは、杉原教授が初めてではない。従来も、実際にはつながっていない四角柱をつながっているように見せかける「不連続のトリック」や、四角柱を曲げてつながった立体を作る「曲面のトリック」といった立体化があったが、杉原教授は「直角に見えるところに直角以外の角度を使う」という方法を取った。 非直角のアプローチでは、四角柱は曲がらず、不連続にもならない。
UMAP 論文を読む - Qiita
この記事は 機械学習の数理 Advent Calendar 2018 の 11 日目のための記事です. 間に合いましたか? この記事について McInnes らによる "Uniform Manifold Approximation and Projection (UMAP)" を読み, その解説を試みます. UMAP は t-SNE のようにデータの次元削減とその可視化を提供する手法です. t-SNE よりも可視化の結果がより良く見える (同じクラスタはよりまとまっている) ことや, データを fuzzy topology というこれまで使われてこなかったけど数学的裏付けがあってイケてる方法で表現したぜ！ と言ってる点が目を引き, 読んでみようと思ったのですが, 圏論の言葉で書かれており読むのに苦労していたら12月になっていました. 機械学習界隈で圏論に馴染みがあることを仮定するのは無理が
機械学習におけるカーネル法について - めもめも
何の話かというと 機械学習におけるカーネル法の説明で、よく登場するのがこちらの図です。 左側の (x, y) 平面上の点を分類する場合、このままだと線形分類器（直線で分類するアルゴリズム）ではうまく分類できないのが、右図のように z 軸を追加してデータを変形すると、平面できれいに分割できるようになって、線形分類器による分類がうまくいくというものです。このように、高次元空間にデータを埋め込むことでうまいこと分類するのがカーネル法の仕組みだというわけです。 なのですが・・・・・・・・・・・・・・・・・・・・ これ、本当にカーネル法の原理を知っている方には、ちょっと気持ち悪くないですか？ ※ 以下はカーネル法を知っている方向けのつぶやきです。 上記の例は、データの配置にあわせて、うまいこと z 軸方向の変形をしているのでうまくいっているのですが、カーネル法には、データの配置にあわせてうまいこと変
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
https://ibisml.org/ibis2019/files/2019/11/slide_imaizumi.pdf
須山敦志 Suyama Atsushi on Twitter: "これはかなりあるあるで、多くの教師ありのシチュエーションだと前処理(スケーリングとか)とk近傍法で他の手法と大差ない。どころか説明しやすい。 https://t.co/F2YtXr4Wsn"