AIディフェンス研究所 - special第1話 ～AIをとりまく環境とセキュリティ～ 近年、ディープラーニングをはじめとする様々な機械学習を活用したAI*1の発展に伴い、日本国内においても顔認証システムや防犯システム、自動運転技術など、様々な分野でAIの社会実装が進んでいます。 その一方で、AIに対する攻...
物理を習ったことがある人向けの誤差逆伝播法 - Qiita
機械学習のニューラルネットワークにおける誤差逆伝播について、物理を習ったことがある人にわかりやすいようにまとめてみました。 なお、物理を習ったことがある人、というのは未定義で、「なんとなく物理をやったことがあるならわかりやすいかな」という程度です。 物理をやったことがあるなら、偏微分とか連鎖律とかはよく知っているわけです。また、あまりに煩雑な計算はうまいこと避けたいなとか思っていると思います。そして、変に図を描くよりも式変形した方がわかりやすいなとか思ったりすると思います。 参考文献 http://nnadl-ja.github.io/nnadl_site_ja/chap2.html 追記：全結合型以外の一般的な形の時の誤差逆伝播法についても追記しました。 追記：$\delta$の定義をより自然にした方法を追記しました。 ニューラルネットワーク まず、ニューラルネットワークについて考えます
【一問一答】マヅコの知らない「異常検知」の世界 - Qiita
これから異常検知を勉強される初心者、中級者の方のために一問一答集を作ってみました。 実際にあった質問も含まれますが、ほとんどの質問は、私が勉強しながら疑問に思ったことです。 なお、各質問には私の失敗談を添えております。皆さんは私のような失敗をしないよう 祈っております(^^)。異常検知に特化した内容となっておりますので、ご了承ください。 初心者の方向け 勉強の仕方編 Q：異常検知を勉強したいのですが、何から手をつけて良いのか分かりません。 A：書籍を買って読むのがおススメです。 最初、私はネット情報で勉強していました。しかし、それにも限界があります。 ところが、書籍（入門 機械学習による異常検知）を買って読んだところ、かなり知識を 得ることができました。最初から、書籍を買っていれば、一年くらい得することができたのに... と思うこともあります（^^； ただ、こちらの本はディープラーニング系
End-to-End音声認識の計算量を削減した話
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog こんにちは、音声処理黒帯（黒帯はヤフー内のスキル任命制度）の藤田です。今日のブログでは、音声認識技術の研究開発におけるヤフーの最新の取り組みを紹介します。 特に、近年注目されているTransformerという手法に基づく、End-to-End音声認識の計算量を削減した研究を紹介します。この研究は、難関国際会議IEEE ICASSP2020に投稿し、採択されました。また、arXivでプレプリントを公開しています。そして、ESPnetというEnd-to-Endモデルのツールキット上でソースコードも公開しています。興味のある方はぜひ、こちらもご参照ください。 音声認識で用いられるEnd-to-Endモデルとは？ 音声認識技術は音声をテキ
化合物でもDeep Learningがしたい！ - kivantium活動日記
この記事は2017年12月15日に https://kivantium.net/deep-for-chem/ に投稿したものです。 情報が古くなっていますが、まだ参照されているようなので再掲します。 この記事はDeep Learningやっていき Advent Calendar 2017の15日目です。 Deep Learningの威力が有名になったのは画像認識コンテストでの圧勝がきっかけでしたが、今ではDeep Learningはあらゆる分野に応用され始めています。NIPS2017でもMachine Learning for Molecules and Materialsが開催されたように、物質化学における機械学習の存在感が高まりつつあります。この記事ではその一例として化学の研究にDeep Learningが使われている例を紹介していきます。 化学物質の研究に機械学習が使われる主なパター
活性化関数一覧 (2020) - Qiita
対象者 活性化関数について、どんなものがあるのかまとめました。 最新のSwishとMish、さらにtanhExpも載せています！ 一覧探してもなかなか良いの見つからないな〜という層をターゲットにしてます。 新しいのは見つけ次第追加します。 新しい関数の情報や、下記のTODOリストにある関数の情報をお持ちの方はぜひ教えてください！ 勾配降下法もこちらでまとめています。 何かの役に立てばぜひLGTMやストック、コメントしていただけると励みになります！ 更新履歴(2020/9/22~) 2020/9/22 softmax関数の微分の修正 softmin関数の微分の訂正とグラフの差し替え logSoftmax関数の微分の訂正 バッチ法、ミニバッチ法に対応したコードに差し替え メモリを犠牲に計算回数を削減する工夫をしてみました。有効かは未検証です。 2020/9/23 効果がほぼなかったので修正 2
数学系向けDeepLearning/Tensorflow入門 - Qiita
DeepLearningは最近ブームであり,その有名なライブラリとしてTensorflowがあります． この記事ではDeepLearningの基本的な部分を数式を使って書き下すこととTensorflowの使い方を紹介します. 今更っていう気もしますが…，そこは気にしないでおくことにします 主な対象はベクトル空間やテンソル積等をある程度知っているけれど，DeepLearningは知らない人です. なので表記も大学の数学でよく出てくるものしています. なおニューラルネットワークの積分表現には触れません. 三層パーセプトロン ニューラルネットワークの基本的な形の一つである三層パーセプトロンを定義します. 定義 (三層パーセプトロン) 行列$W_1 \in M_{n_0 n_1}(\mathbb{R}),W_2 \in M_{n_1 n_2}(\mathbb{R})$とベクトル$b_1 \in \
古典的ゲームAIを用いたAlphaGo解説 | フューチャー技術ブログ
はじめにこんにちは。データ分析チームの李(碩)です。 この記事はAlphaGo解説の紹介です。本文を直接読みたい方は下記AlphaGo解説にてスライドをご覧になってください。 AlphaGo調査のきっかけ私がAlphaGoについて初めて聞いたのは2016年3月、囲碁の伝説的な棋士、イ・セドルとの対局の時でした。AlphaGoの勝利が確定した時に「人間はもはや機械に勝てない!」とか、「AIが支配する世界」など海外のメディアも非常に炎上してたことを今でも覚えています。囲碁のプレイ経験もないし、ゲームAIなんて興味もなかったのですが、さすがにこれだけ大騒ぎになると調べたくなるものですね(笑)。 AlphaGoは背景知識がない人には難しいAlphaGoの中身はどうなってるのかを調べるためにいろいろとブログや記事などを読んでいたのですが、当時は難しいアルゴリズム説明がドンとくる不親切な情報しか見あた
深層学習の数理
2. １９４６： ＥＮＩＡＣ，高い計算能力 フォン・ノイマン「俺の次に頭の良い奴ができた」 １９５２： Ａ．Ｓａｍｕｅｌによるチェッカーズプログラム 機械学習と人工知能の歴史 2 １９５７：Ｐｅｒｃｅｐｔｒｏｎ，ニューラルネットワークの先駆け 第一次ニューラルネットワークブーム １９６３：線形サポートベクトルマシン １９８０年代：多層パーセプトロン，誤差逆伝搬， 畳み込みネット 第二次ニューラルネットワークブーム １９９２： 非線形サポートベクトルマシン （カーネル法） 統計的学習 線形モデルの限界 非凸性の問題 １９９６： スパース学習 （Lasso） ２００３： トピックモデル （LDA） ２０１２： Supervision （Alex-net） 第三次ニューラルネットワークブーム データの増加 ＋計算機の強化 １９６０年代前半： ＥＬＩＺＡ（イライザ）， 擬似心理療法士 １９８０年代
Deep Learning
An MIT Press book Ian Goodfellow and Yoshua Bengio and Aaron Courville The Deep Learning textbook is a resource intended to help students and practitioners enter the field of machine learning in general and deep learning in particular. The online version of the book is now complete and will remain available online for free. The deep learning textbook can now be ordered on Amazon. For up to date an
超シンプルにTensorFlowでDQN (Deep Q Network) を実装してみる 〜導入編〜 | ALGO GEEKS
みなさん、DQNしてますか？ DQNについては、下記の記事によくまとめられており、実装してみようとした方も多いのではないでしょうか。 DQNの生い立ち ＋ Deep Q-NetworkをChainerで書いた ゼロからDeepまで学ぶ強化学習 しかし、いざ自力で動作させてみようとすると、こんな問題にぶち当たると思います。 「学習時間なげえ。。。」 DQNに限らず、ディープラーニングのモデルを学習させようとすると、平気で数日以上かかります。 そして、学習させたモデルが期待通りの動作をしなかったとしたら、もう投げ出したくなってしまいます。 (よくある話です) なので、筆者が新しいモデルを一から実装する際には、なるべく単純なモデル、データから始めるようにしています。 ここでは、超シンプルなDQNを実装し、動作させてみることにします。 早速いってみましょう。CPUで3分もあれば学習が終わります！
深層強化学習アルゴリズムまとめ
はじめに 深層強化学習の分野では日進月歩で新たなアルゴリズムが提案されています. それらを学ぶ上で基礎となるアルゴリズム(というより概念に近い？)はQ学習, SARSA, 方策勾配法, Actor-Criticの4つだと思われるので, これらを軸としてまとめてみたいと思います. 以下の4点はあらかじめご了承ください. コードは書いていません. 概念のみの説明です 他のアルゴリズムの基礎となりうる重要な概念については詳しく書きました. その他については簡潔に書きました 深層学習についてはある程度理解している読者を想定しています 書いているうちに規模がどんどん大きくなってしまったので, どこかに必ず間違いや不足があります. 「この式がおかしい！」「このアルゴリズムも追加するべき！」などコメントがあればぜひお願いします 全体像 扱うアルゴリズムを相関図にしてみました(私のイメージです). まず,
Deep Metric Learning 入門 - Qiita
1. Deep Metric Learning 概要 Metric Learningとは日本語で「距離学習」と呼ばれる方法で, 入力空間におけるサンプル同士の類似度が, ユークリッド距離やコサイン類似度などの尺度と対応するように別空間に埋め込むための変換を学習する方法です. この別空間のことを埋め込み空間や特徴空間といいます(以後, 埋め込み空間で統一). DMLは, この変換をDeep Neural Networkによって非線形に設計します. とりわけ入力が画像であれば, DNNとしてConvolutional Neural Networkが用いられます. 犬種を用いた例をあげます. $x_1$, $x_2$はチワワの画像を表しており, $x_3$は柴犬の画像を表しています. $x_1$と$x_2$は同じ犬種なので画像としての類似度が高いと言えます. 一方で$x_1$と$x_3$は異なる
自然言語処理の王様「BERT」の論文を徹底解説 - Qiita
オミータです。ツイッターで人工知能のことや他媒体で書いている記事など を紹介していますので、人工知能のことをもっと知りたい方などは気軽に@omiita_atiimoをフォローしてください！ 2018年10月に登場して、自然言語処理でもとうとう人間を超える精度を叩き出した ことで大きな話題となったBERT。それ以降、XLNetやALBERT、DistillBERTなどBERTをベースにしたモデルが次々と登場してはSoTAを更新し続けています。その結果、GLUEベンチマークでは人間の能力が12位(2020年5月4日時点)に位置しています。BERTは登場してまだ1年半程度であるにもかかわらず、被引用数は2020年5月4日現在で4809 にも及びます。驚異的です。この記事ではそんなBERTの論文を徹底的に解説していきたいと思います。BERTの理解にはTransformer[Vaswani, A.
ニューラルネットワークの普遍性定理 - Qiita
ニューラルネットワークって何かな〜って調べていたら普遍性定理(universal approximation theorem)という面白そうなものを見つけたのでCybenkoさんの有名な論文で証明を追ってみました。日本語でこの定理の証明まで書いてくれているところはざっと見た感じ無かったのでTeX打ちの練習も兼ねてQiitaに纏めてみようってことでこの記事を書きました。この記事ではCybenkoさんの論文を少し一般化した普遍性定理を述べます。証明はほとんどCybenkoさんによる証明に基づいています(一部修正しているくらい)。 この記事の目的は皆さんに普遍性定理の内容と証明を伝えることなのですが、証明に使う数学はそれなりに高級で誰でも読めるように書くのは難しかったので、以下に挙げる3つの分野すべてに少しでも触れたことがある人を読者として想定しています。 位相空間論 測度論・積分論 関数解析学
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Trends in Deep Learning Theory at NeurIPS 2019