グラフニューラルネットワーク - Forkwell Library #50 https://forkwell.connpass.com/event/315577/ での講演スライドです。 サポートサイト：https://github.com/joisino/gnnbook グラフニューラルネット…
僕たちがグラフニューラルネットワークを学ぶ理由
グラフニューラルネットワーク - Forkwell Library #50 https://forkwell.connpass.com/event/315577/ での講演スライドです。 サポートサイト：https://github.com/joisino/gnnbook グラフニューラルネット…
『Winny』の金子勇さんの失われたED法を求めて - Qiita
普段は「通知が迷惑かなー」と思ってブックマークしていただいている方に通知せず記事を編集しているのですが、この記事をブクマしていただいている方は続きが気になっている方だと思いますので通知させていただきます。 結論から言うと、この記事を読んだ @pocokhc (ちぃがぅ)さんという方が金子勇さんが書いたED法のサンプルプログラムを見つけてくださいました。 ちぃがぅさんの記事はこちら 自分で解明したかったという気持ちも無いことは無いですが、バズった時点で誰かが実装してくれそうな気はしていました。新卒からIT業界に入って4年目が始まったところですが、業務以外で初めて業界にコントリビュートできた気がして嬉しいです！ 追記ついでに、謝罪します。初回公開時に記事タイトル含め本文中で何か所か「Winney」と書いてしまっていた箇所がありました。失礼いたしました。誤字修正してあります。指摘してくださった何
Winnyの金子さんのED法について | やねうら王 公式サイト
Winnyの金子勇さんが考案された機械学習アルゴリズムED法を再現して実装した人がいていま話題になっている。 『Winny』の金子勇さんの失われたED法を求めて…いたら見つかりました https://qiita.com/kanekanekaneko/items/901ee2837401750dfdad いまから書くことは私の記憶頼りなので間違ってたらコメント欄で教えて欲しい。 1998年ごろだと思うのだが、私はWinnyの金子勇さんのホームページの熱心な読者だった。(ページも全部保存してたので私のHDDを漁れば出てくると思うが、すぐには出せない。) Winnyのβ版が発表されたのが2002年なのでそれよりはずいぶん前である。 当時、金子さんはNekoFightという3D格闘ゲームを公開されていた。そのゲームには、自動的に対戦から学習するAIが搭載されていた。 当時の金子さんのホームページの
Self-Attentionを全面的に使った新時代の画像認識モデルを解説！ - Qiita
08/31 (2020): 投稿 08/31 (2020): 「畳み込みを一切使わない」という記述に関して、ご指摘を受けましたので追記いたしました。線形変換においては「チャネル間の加重和である1x1畳み込み」を実装では用いています。 08/31 (2020): 本論文で提案されているモデルの呼称に関して認識が誤っていたためタイトルおよび文章を一部修正しました。 言葉足らずの部分や勘違いをしている部分があるかと思いますが、ご指摘等をいただけますと大変ありがたいです。よろしくお願いします！(ツイッター:@omiita_atiimo) 近年の自然言語処理のブレイクスルーに大きく貢献したものといえば、やはりTransformerだと思います。そこからさらにBERTが生まれ、自然言語の認識能力などを測るGLUE Benchmarkではもはや人間が13位(2020/08現在)にまで落ちてしまっているほ
Graph Neural Network を用いたグラフの木幅予測 - Preferred Networks Research & Development
本記事は、2019年夏のインターンシップに参加された中野裕太さんによる寄稿です。 皆様はじめまして。2019 年 PFN 夏季インターンシップに参加していた北海道大学の中野裕太です。本ブログでは、私が夏季インターンで取り組んだテーマである、「Graph Neural Network を用いたグラフの木幅予測」について説明します。 要旨 与えられた無向グラフがどれくらい木に近いかを表す値である木幅は、グラフ上の組み合わせ最適化問題に対するアルゴリズムの効率性や解そのものと深く関係しています。しかし、木幅を計算することは NP 困難なため、木幅を計算するには頂点数に対し指数時間かかってしまいます。そこで、今回 Graph Neural Network を用いた 2 つの方法でこの問題にアプローチしました。1 つ目は、よく知られた既存のアルゴリズムと組み合わせ探索木の枝刈りを行い高速化を図り計算
要注目？DeepGBM: ニューラルネット+GBDT（速報） - Paoの技術力を磨くブログ
KDD2019のPaper一覧で気になるものがあったので紹介します。 ※記載時点でまだ論文公開、発表されておらず、こちら鮮度重視の記事です。 内容に誤りがある可能性は十分あるのでご了承ください。 DeepGBMとは データマイニングのトップカンファレンスKDD2019で発表される予定の手法です。 Guolin Ke, Zhenhui Xu, Jia Zhang, Jiang Bian, and Tie-yan Liu. "DeepGBM: A Deep Learning Framework Distilled by GBDT for Online Prediction Tasks." In Proceedings of the 25th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining, ACM
フロッピーディスクに収まる評価関数バイナリ公開しました | やねうら王 公式サイト
NNUE評価関数は、ネットワーク構成を簡単にカスタマイズできるようになっている。 そこで、入力をK(玉のいる升)とP(どの升にどの駒がいるかに対応する値)だけにして(81升 + 1629通り = 1710)、hidden層の1層目を256×2、2層目・3層目を32にして学習させた。(K-P-256-32-32) NNUEを知らない人のために書くと、各層は全結合。 ※ 補足 : ニューラルネットの入力は、駒が存在するところを1、存在しないところを0とした1710次元のベクトル。 教師はdepth 8で生成した10億局面から学習させてみたところ、elmo – R30程度になった。 ファイルサイズは873KB。(zipで圧縮して400KB程度) 教師をもう少し深いdepthで生成すれば、まだ強くなるはず。 とりあえず公開しておいた。 https://github.com/yaneurao/Yan
ニューラルネットの共通フォーマット対決！ NNEF vs ONNX - Fixstars Tech Blog /proc/cpuinfo
このブログは、株式会社フィックスターズのエンジニアが、あらゆるテーマについて自由に書いているブログです。 遠藤です。 ニューラルネット界隈では、Caffe、TensorFlow、Chainer をはじめ、数々のフレームワークが群雄割拠の様相を呈しております。弊社でも、プロジェクトに応じて適宜フレームワークを使い分け、日々の業務にあたっております。 多数のフレームワークを扱っていると「あっちのフレームワークで学習したモデルを、こっちのフレームワークで使いたい！」といった、フレームワーク間をまたいでモデルを共有したいというニーズが出てきます。そのために、フレームワーク間で共通して使える交換フォーマットが開発されるようになりました。 そこで、今回はニューラルネットの共通フォーマットとして NNEF と ONNX の2つをご紹介したいと思います。 NNEF とは？ 概要 NNEF – Neural
Webブラウザでディープニューラルネットワーク高速実行 東大、「WebDNN」開発
「あなたのスマホへ最新の人工知能をお届けします」――東京大学は10月17日、スマートフォンやPCのWebブラウザ上で、ディープニューラルネットワーク（DNN）を高速で実行できるソフトウェアフレームワーク「WebDNN」を開発したと発表した。画像認識処理なら従来の約50倍の速度で実行でき、「世界最速」をうたう。Webサイトでサンプルを試せる。 DNNは画像や音声の認識・生成に有効な手法だが、計算負荷が高いため、Webサービスに組み込むためには、サーバ側で大量の計算機を用意するか、ユーザーの端末に専用アプリをインストールする必要があった。WebページにDNNの処理を行うソフトを組み込み、Webブラウザで開いて端末上で計算処理を行わせるというアイデアもあったが、既存のシステムは処理速度が遅く、実用的なサービスを提供することが難しかった。 今回、実行結果が変わらない範囲で計算量を削減したほか、We
CNTK 2.2 Python API 入門 - パッケージ構成、基本演算 & 順伝播型 NN 分類器 - Qiita
CNTK 2.2 Python API 入門 - パッケージ構成、基本演算 & 順伝播型 NN 分類器Python機械学習DeepLearning深層学習CNTK 0. はじめに CNTK ( Microsoft Cognitive Toolkit ) 2.2 の Python API 入門です。 CNTK は、公開当初はスマートな Caffe ツールというフレーバーのインターフェイスが基本でしたが、現在では普通に Python API が公開されています。つまり、他の深層学習フレームワークと同様に CNTK でも Python プログラムを作成することで深層学習モデルが構築できます。(書きやすいという評判のフレームワークの多くと同様に) CNTK のニューラルネットワークは Python の関数オブジェクトで表現されます。私見では、他のフレームワークよりも straightforward
fastTextの実装を見てみた
最適輸送問題（Wasserstein 距離）を解く方法についてのさまざまなアプローチ・アルゴリズムを紹介します。 線形計画を使った定式化の基礎からはじめて、以下の五つのアルゴリズムを紹介します。 1. ネットワークシンプレックス法 2. ハンガリアン法 3. Sinkhorn アルゴリズム 4. ニューラルネットワークによる推定 5. スライス法 このスライドは第三回 0x-seminar https://sites.google.com/view/uda-0x-seminar/home/0x03 で使用したものです。自己完結するよう心がけたのでセミナーに参加していない人にも役立つスライドになっています。 『最適輸送の理論とアルゴリズム』好評発売中！ https://www.amazon.co.jp/dp/4065305144 Speakerdeck にもアップロードしました: https
ニューラルネットワークが持つ欠陥「破滅的忘却」を回避するアルゴリズムをDeepMindが開発した論文を読んだ - Qiita
はじめに ニューラルネットワークが持つ欠陥「破滅的忘却」を回避するアルゴリズムをDeepMindが開発したらしいので、元論文を読んでみた。 Overcoming catastrophic forgetting in neural networks https://arxiv.org/abs/1612.00796 Introの最初から汎用人工知能とかいきなり出てくるのでおおっと思うが、やってることはめちゃくちゃシンプル 端的に言えば学習したニューラルネットのパラメータのそのタスクに対する重要度がフィッシャー情報行列で測れるよ 脳神経科学系の単語が結構出てくるので、専門家がいるのかな？とはいえこの背景は後付で、アルゴリズムが先なんじゃないかな… 元の論文では数式を端折っている箇所があるので、適宜補完しつつ、直感的解釈とかは勝手に入れている。論文の流れにはそこまで沿っていない 不正確・間違ってい
ニューラルネットワークの動物園 : ニューラルネットワーク・アーキテクチャのチートシート(前編) | POSTD
新しいニューラルネットワークのアーキテクチャがその時々で誕生するため、それら全部を把握することは困難です。全ての略語を覚えようとすると、最初はその数の多さに圧倒されてしまうでしょう（DCIGNやBiLSTM、DCGANを知っている人はいますか？）。 そんなわけで、これらのアーキテクチャの多くを盛り込んだチートシートを作ることにしました。そのほとんどはニューラルネットワークです。しかし、中には全く異なるアーキテクチャも潜んでいます。どれも独特で目新しいアーキテクチャばかりですが、ノードの構造を描くことで基本的な関係が分かりやすくなってきます。 これらをノードマップとして描くことの問題点は、これらがどのように使われるかを明確に示していないという点です。例えば、変分オートエンコーダ（VAE）はオートエンコーダ（AE）と同じように見えますが、実際は訓練過程が全く異なりますし、訓練したネットワークの
Neural networks and deep learning (日本語訳)
ニューラルネットワークと深層学習 What this book is about On the exercises and problems ニューラルネットワークを用いた手書き文字認識 逆伝播の仕組み ニューラルネットワークの学習の改善 ニューラルネットワークが任意の関数を表現できることの視覚的証明 ニューラルネットワークを訓練するのはなぜ難しいのか 深層学習 Appendix: 知性のある シンプルな アルゴリズムはあるか? Acknowledgements Frequently Asked Questions Sponsors Resources 「ニューラルネットワークと深層学習」は無料のオンライン書籍です。 この本では、次のような内容を扱います。 ニューラルネットワーク：コンピュータに、観測データにもとづいて学習する能力を与える、生物学にヒントを得たプログラミングパラダイム。 深
「ニューラルネットワークと深層学習」の翻訳ページリンク - Qiita
① ニューラルネットワークと深層学習(和訳) ② Michael Nielsen著のオンライン書籍「ニューラルネットワークと深層学習」の翻訳に参加しました 上記リンクは Deep learning オンライン書籍の和訳をされているお二方のブログ記事です。本当に有難いですね。 以下は自分用メモ、オンライン書籍和訳ページのリンクまとめになります。 【ニューラルネットワークと深層学習(和訳)】 ・CHAPTER 1：ニューラルネットワークを用いた手書き文字認識 ・CHAPTER 2：逆伝播の仕組み ・CHAPTER 3：ニューラルネットワークの学習の改善 ・CHAPTER 4：ニューラルネットワークが任意の関数を表現できることの視覚的証明 ・CHAPTER 5：ニューラルネットワークを訓練するのはなぜ難しいのか ・CHAPTER 6：ディープラーニング
素人が学んだ A Neural Network Playground の遊び方
ニューラルネットワークを理解するためのツールA Neural Network PlaygroundがGoogleのTensorFlowのチームから出されました。 これを分かってる社員に解説してもらいながら触ってみて若干理解してきたのでその経過を報告したいと思います。 素人がいじるべきパラメータまずはじめにA Neural Network Playgroundにアクセスしてもらうと上のようなページになるかと思いますがいじるべきパラメータをお教えしたいと思います。 ①まずは4つから図形を選びます。始めは左上の画像にしましょう。 ②層の深さを決めましょう。1か2くらいで良いと思います。 ③ユニットの数を決めましょう。2か3くらいで良いと思います。 ④再生ボタンを押して右下の画像の変遷を楽しみましょう。 見るべき結果どうでしょうか？機械がだんだんと図を理解してる様子が右下の図⑤の変遷で見て取れるで
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Suggestions and techniques for building neural networks with Go
GitHub - olivia-ai/olivia: 💁♀️Your new best friend powered by an artificial neural network
The math of neural networks - Marshall Shen
【明日使いたくなる】人工知能のキーワードを解説！ 5.ニューラルネットワーク