失敗から学ぶ機械学習応用
NLP コロキウム https://nlp-colloquium-jp.github.io/ で発表した際のスライドです。 論文: https://arxiv.org/abs/2205.01954 GitHub: https://github.com/joisino/wordtour 概要 単語埋め込みは現代の自然言語処理の中核技術のひとつで、文書分類や類似度測定をはじめとして、さまざまな場面で使用されていることは知っての通りです。しかし、ふつう埋め込み先は何百という高次元であり、使用する時には多くの時間やメモリを消費するうえに、高次元埋め込みを視覚的に表現できないため解釈が難しいことが問題です。そこで本研究では、【一次元】の単語埋め込みを教師なしで得る方法を提案します。とはいえ、単語のあらゆる側面を一次元で捉えるのは不可能であるので、本研究ではまず単語埋め込みが満たすべき性質を健全性と完
Pythonで3層パーセプトロンの誤差逆伝播を実装してみる - TadaoYamaokaの開発日記
入力層、隠れ層、出力層で構成される単純なニューラルネットワークで、 誤差逆伝播を計算します。 隠れ層の活性化関数はsigmoid、 出力層の活性化関数はsoftmaxとします。 誤差関数(損失関数)は、交差エントロピーを使用します。 それぞれの式は以下の通りです。 sigmoid: softmax: softmaxの交差エントロピー: ここで、は各層の入力ベクトル、は教師データのベクトル、は出力層の出力ベクトルとします。 ネットワークのパラメータの行列は、 1層目を、 2層目をで表します。 行列の成分の添え字は、jが出力側のベクトル成分、iが入力側のベクトル成分を表します。 上付きの数字nは、何番目の層かを表します。 順伝播 順伝播は、入力から出力を以下の式で計算します。 出力は、出力層の活性化関数にsoftmaxを使用しているので、ベクトルの各成分がクラスを表し、値がそのクラスに属する確
機械学習の要「誤差逆伝播学習法」を解説・実装してみる！ - 株式会社ライトコード
「誤差逆伝播学習法」とは？ 誤差逆伝播学習法(BP: Backpropagation)とは、ニューラルネットワークの学習法の１つで、今現在もっとも主流で強力な学習法を指します。 その名の通り、ネットワークを誤差情報が逆伝播することから名前がつけられていますが、ちょっとそれだけでは分かりづらいですね。 この記事では、誤差逆伝播学習法の仕組みとその実装を解説していきます。 解説部では、少し数式が多いですが、ひとつひとつ丁寧に見ていけば必ず理解できると思います。 また、誤差逆伝播学習法の考え方は、様々な学習方法に応用されている学習法なのでしっかりと理解しておきましょう！ 実行環境 以下は筆者の実行環境です。 今回も数値計算用のNumPyとグラフ描画用のmatplotlibを使います。 Python 3.7.3 NumPy 1.16.3 matplotlib 3.0.3 「誤差逆伝播学習法」実装の
機械学習で使う微分って結局どこまでわかってれば良いのさ - 白猫のメモ帳
こんにちは。 年度が変わりましたね。 そして、春ですね。 久しぶりに機械学習関連の記事を書こうかなと思ったのですが、 ある解説の途中でその前提知識の解説とかが入って、すぐ脇道に逸れてしまうんですよね。 とはいえ、詳しくは他の人が書いてるからググってね！ってすると、 戻ってきた頃には「で、なんだっけ？」ってなっちゃうし、難しいものです。 特に微分積分と線形代数は最低限必要みたい言われるのですが、最初から全部が必要ってわけではないと思うんです。 というわけで、今回はとりあえずこれ覚えとけばなんとかなるんじゃない？ っていう微分テクニックについて書いてみようかと思います。 なんで微分するのって話はこちらをどうぞ。 shironeko.hateblo.jp 初等関数の微分 これは別にテクニックとかじゃなくてこうなるよってだけです。 何なら覚えなくても、毎回調べればいいと思います。 「なんか式の形が
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
コサイン類似度を利用し、集団の類似性を測ってみる - Qiita
https://www.marsa-blog.com/2019/06/statisticsarticle1.html
様々な尺度の変数同士の関係を算出する(Python) - Qiita