タグ

algorithmとnnに関するmanabouのブックマーク (10)

  • 『Winny』の金子勇さんの失われたED法を求めて - Qiita

    結論から言うと、この記事を読んだ @pocokhc (ちぃがぅ)さんという方が金子勇さんが書いたED法のサンプルプログラムを見つけてくださいました。 ちぃがぅさんの記事はこちら 自分で解明したかったという気持ちも無いことは無いですが、バズった時点で誰かが実装してくれそうな気はしていました。新卒からIT業界に入って4年目が始まったところですが、業務以外で初めて業界にコントリビュートできた気がして嬉しいです! 追記ついでに、謝罪します。初回公開時に記事タイトル含め文中で何か所か「Winney」と書いてしまっていた箇所がありました。失礼いたしました。誤字修正してあります。指摘してくださった何人かの方に感謝申し上げます。 はじめに 今更ですが映画『winny』を見ました。 劇中で、金子勇さんのセリフにED法という聞いたことのないアルゴリズムが登場しました。 『このNekoFightにはAIを搭載

    『Winny』の金子勇さんの失われたED法を求めて - Qiita
  • Winnyの金子さんのED法について | やねうら王 公式サイト

    Winnyの金子勇さんが考案された機械学習アルゴリズムED法を再現して実装した人がいていま話題になっている。 『Winny』の金子勇さんの失われたED法を求めて…いたら見つかりました https://qiita.com/kanekanekaneko/items/901ee2837401750dfdad いまから書くことは私の記憶頼りなので間違ってたらコメント欄で教えて欲しい。 1998年ごろだと思うのだが、私はWinnyの金子勇さんのホームページの熱心な読者だった。(ページも全部保存してたので私のHDDを漁れば出てくると思うが、すぐには出せない。) Winnyのβ版が発表されたのが2002年なのでそれよりはずいぶん前である。 当時、金子さんはNekoFightという3D格闘ゲームを公開されていた。そのゲームには、自動的に対戦から学習するAIが搭載されていた。 当時の金子さんのホームページの

  • 外部メモリー付きのニューラルネット"Differentiable Neural Computing (DNC)"について解説するよ - Qiita

    Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? この記事について DeepMind が Nature に投稿した論文 Hybrid computing using a neural network with dynamic external memory で使用されている "Differentiable Neural Computing (DNC)" について解説します。ロジックの説明がメインですが、Python - Chainer による実装例も紹介します。 Differentiable Neural Computing (DNC)とは sequential data を Neur

    外部メモリー付きのニューラルネット"Differentiable Neural Computing (DNC)"について解説するよ - Qiita
  • ( 事例調査 )トポロジー・ 微分幾何学・ 情報幾何学 の 高み から、(深層)ニューラル・ネットワークモデル の 情報処理過程 を 可視化し、学習速度 を 早める 視座 の 有効性 を 考える - Qiita

    ( 事例調査 )トポロジー・ 微分幾何学・ 情報幾何学 の 高み から、(深層)ニューラル・ネットワークモデル の 情報処理過程 を 可視化し、学習速度 を 早める 視座 の 有効性 を 考える人工知能深層学習DeepLearning情報幾何学InformationGeometry (深層)ニューラル・ネットワークモデル を 改良して、 局所最適解への陥落 を 防ぎ、 なるべく短い学習回数で、全体最適解 に 到達する より良い (Deep) neural networkモデル を 見い出す 上 で、 【 情報幾何学(微分幾何学)の 見地 】 (1)誤差逆伝播(BP)法 の パラメータ更新式 を Riemann空間で組成し、 (2)フィッシャー行列 で 表現される Riemann計量 を 用いる 方法 及び 【 位相幾何学 の 見地 】 (1)(Deep) neural network モデ

    ( 事例調査 )トポロジー・ 微分幾何学・ 情報幾何学 の 高み から、(深層)ニューラル・ネットワークモデル の 情報処理過程 を 可視化し、学習速度 を 早める 視座 の 有効性 を 考える - Qiita
  • 誤差逆伝播法をはじめからていねいに - Qiita

    はじめに この記事は、私が機械学習、特に「誤差逆伝播法」 (あるいは「バックプロパゲーション (Backpropagation)」) を勉強するうえで辿った道筋を記録しておくものです。 誤差逆伝播法に関する分かりやすい解説は、ここ Qiita にも多数存在しますので、正直 $n$ 番煎じなところがありますが、あくまで記録ですのでここは 1 つ。 「記録」というには長過ぎてイマイチ感溢れてますが、そこは気にしないでください。これでも要点をしぼったつもりなのです… ゆっくりしていってね!!! 途中の数式について 記事の前後から参照されている数式については右側に番号を振っています。 初回記載時は $\text{(1)}$ とかっこ付き数字で、2 回目以降記載時は $\text{[1]}$ と角かっこ付き数字で示します。記載済みの数式を変形したものについては $\text{(1')}$ とプライム

    誤差逆伝播法をはじめからていねいに - Qiita
  • Neural Network Architectures

    My views on tech; views that are ideas and comments and like code constantly change and evolve. These views are my own, but feel free to comment and improve them.

  • Neural Network Learns to Generate Voice (RNN/LSTM)

    [VOLUME WARNING] This is what happens when you throw raw audio (which happens to be a cute voice) into a neural network and then tell it to spit out what it's learned. This is a recurrent neural network (LSTM type) with 3 layers of 680 neurons each, trying to find patterns in audio and reproduce them as well as it can. It's not a particularly big network considering the complexity and size of the

    Neural Network Learns to Generate Voice (RNN/LSTM)
  • ニューラルネットワークを活用した文字認識のプロセスを三次元で可視化した WebGL デモがすごい! - WebGL 総本山

    手書き文字の認識が違った意味でよく見える! 今回ご紹介するのは、ニューラルネットワークを活用し二次元平面上に描かれた模様から、数字として認識される様子を可視化した、面白いデモンストレーションです。 私は残念ながらこの手の学がまったく無く、正確に解説することが難しいのですが、Convolutional Neural Network というものを使って文字を認識するような、特殊なアルゴリズムを可視化しているのだと思います。 階層構造になった状態に、どのようなつながりがあるのかを可視化するのには三次元表現がうってつけですね。 数字を描いてみるだけでも楽しめる 先に触れたとおり、私はこういった学問の知識がないのでものすごく初歩的なことや、間違ったことを書いているかもしれません。その点はご了承ください。 今回のデモを見ると、文字認識のためのニューラルネットワークが、どのように機能しているのか、その一

    ニューラルネットワークを活用した文字認識のプロセスを三次元で可視化した WebGL デモがすごい! - WebGL 総本山
  • あなたは3秒後に車線変更します。ほーらね!

    「ほら、言った通り車線変更したー! やっぱりねー、やると思ってた! 」 自動運転、それを実現するために車のシステムは周辺環境を確認します。道路の状態はどうか、人や障害物はないか、常にチェックしています。さて、自動運転は自動運転でも、自律運転となれば、チェックするのは周辺環境ではなく、ドライバーの動き。そこから、どう運転すべきかを学ぶのです。 コーネル大学の研究チームが開発しているのは、ドライバーの動きを追うカメラシステム。カメラがドライバーをとらえることで、次に何をしようとしているのかを、そのアクションを起こす数秒前に予測するトレーニングを行なっています。このシステム、まずはドライバーの手助け、補助をするところからのスタートですが、将来的には数々のデータを元に自律運転するシステムになればと期待されています。 開発しされたシステムRecurrent Neural Networkはいくつもの情

    あなたは3秒後に車線変更します。ほーらね!
  • 計算グラフの微積分:バックプロパゲーションを理解する | POSTD

    はじめに バックプロパゲーションとは、ディープモデルの学習を計算可能にしてくれる重要なアルゴリズムです。最近のニューラルネットワークではバックプロパゲーション (誤差逆伝播法) を使うことで、最急降下法による学習が愚直な実装と比べて1000万倍速くなります。 例えば,バックプロパゲーションでの学習に1週間しかかからないのに対して、愚直な実装では20万年かかる計算になります。 ディープラーニングでの使用以外にも、バックプロパゲーションはさまざまな分野で使えるとても便利な計算ツールです。それぞれで呼ばれる名称は違うのですが、天気予報から、数値的安定性を分析する時にまで多岐にわたり使用できます。実際に、このアルゴリズムは、いろいろな分野で少なくとも20回は再開発されています(参照: Griewank(2010) )。一般的な用途自体の名前は”リバースモード微分”といいます。 基的に、この技術

    計算グラフの微積分:バックプロパゲーションを理解する | POSTD
  • 1