【PyTorch】地味に知っておくべき実装の躓きドコロ - HELLO CYBERNETICS
はじめに 自動微分に関すること 全バッチのLossを計算 Validation時に計算グラフを保持しない VariableのRank変更 viewメソッドが使えないケース（メモリの同一ブロックに格納されていない） ドロップアウト関数とドロップアウトクラス 使い分け？？ 順伝播毎に異なるドロップアウト率を採用する ドロップアウトを用いたベイズ学習とベイズ予測分布の近似 自分で層を定義する 全結合層を作る 最後に はじめに 最近、TensorFlowのEagerが登場したため、Debugの難しさという欠点が緩和される見込みがあります。そこで私自身はPyTorchからTensorFlowに移行しようかなと思っているところです。 s0sem0y.hatenablog.com その前にPyTorchでところどころ実装時に躓いたりした部分をまとめておきたいと思います。PyTorchに自分自身が戻ってき
ChainerのDefine by Runとは？ - HELLO CYBERNETICS
Define by Run Define by Run Define and Run 具体例を見る 上記のコードのネットワークにおける動作 Define by Run 今回は、Chainerの特徴の1つであるDefine by Runについて、どんなものであるかを理解できるようにします。 Define by Run Define by Runでは、計算グラフ（ニューラルネットの構造）の構築をデータを流しながら行います。 Define and Run Define and Runでは、計算グラフを構築してから、そこにデータを流していきます。 これだけで違いが理解できるでしょうか？ おそらく難しいかと思います。 上記の2つの違いを認識するのが目標です。 具体例を見る やはり、具体例を見たほうがつかみやすいかと思います。 Chainerの以下のコードを見てください。 どのようなネットワーク構造が
【多様体学習】LLEとちょっとT-SNE - HELLO CYBERNETICS
多様体学習の必要性 クラスタリングという観点 次元削減という観点 多様体とは 多様体学習の狙い 多様体学習の例 Locally Linear Embedding(LLE) 他の多様体学習の紹介 Modified Locally Linear Embedding t-distributed Stochastic Neighbor Embedding 多様体学習の発展版 最後に 多様体学習の必要性 クラスタリングという観点 データがD次元空間にプロットされる際には、データに意味があれば、似たようなデータは近い位置に現れることが期待できます。そのような考えに基づいて、K平均法などによってデータをクラスタリングすることが可能になります。 s0sem0y.hatenablog.com しかし、実際には似たようなデータが必ずしもD次元空間上で近い位置に現れるとは限りません。例えば以下のようなデータがあ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
