ブックマーク / s0sem0y.hatenablog.com (2)

  • 【PyTorch】地味に知っておくべき実装の躓きドコロ - HELLO CYBERNETICS

    はじめに 自動微分に関すること 全バッチのLossを計算 Validation時に計算グラフを保持しない VariableのRank変更 viewメソッドが使えないケース(メモリの同一ブロックに格納されていない) ドロップアウト関数とドロップアウトクラス 使い分け?? 順伝播毎に異なるドロップアウト率を採用する ドロップアウトを用いたベイズ学習とベイズ予測分布の近似 自分で層を定義する 全結合層を作る 最後に はじめに 最近、TensorFlowのEagerが登場したため、Debugの難しさという欠点が緩和される見込みがあります。そこで私自身はPyTorchからTensorFlowに移行しようかなと思っているところです。 s0sem0y.hatenablog.com その前にPyTorchでところどころ実装時に躓いたりした部分をまとめておきたいと思います。PyTorchに自分自身が戻ってき

    【PyTorch】地味に知っておくべき実装の躓きドコロ - HELLO CYBERNETICS
    yag_ays
    yag_ays 2018/02/21
  • TensorFlowを始める前に知っておくべきテンソルのこと(追記:より一般的な話題へ) - HELLO CYBERNETICS

    TensorFlowとは Googleが開発したライブラリ Tensorとは Tensorとは多次元配列のこと Tensorの名前を与える 数式に落としこむ データとテンソル グレースケール画像は2階テンソル RGB画像は3階テンソル インデックスは人間が決めていい 注意点 余談 1階のテンソルを例に 応力解析での応用 数学ではテンソルがなぜ複雑に見えるか TensorFlowとは Googleが開発したライブラリ TensorFlowとはGoogleが開発し、オープンソースとして公開したニューラルネットを記述するライブラリです。社内でも実際の業務に運用されており、研究から開発まで同じツールを使うことで業務を一化しています。人工知能の最先端を行くGoogleが実際の業務に用いているということで、公開されてから爆発的に利用人口が増加しています。 実際にはニューラルネットワークを記述するのに

    TensorFlowを始める前に知っておくべきテンソルのこと(追記:より一般的な話題へ) - HELLO CYBERNETICS
    yag_ays
    yag_ays 2016/12/01
  • 1