タグ

ブックマーク / akabe.github.io (2)

  • 機械学習による関数型ブーリアンプログラムの型推論

    特徴関数 研究では以下のような単純型付け規則を弱めた規則を特徴として用いた(T-True, T-False を除く)。 なお、型付け規則において型環境を陽に考慮する代わりに、 型注釈付き構文木において同一変数の頂点をマージすることで、 同一変数には1つの型しか割り当てられないことを保証している。 角括弧内は学習(事前ガウシアン分布の分散が 0.1 の 対数事後確率を最急降下法で最適化)により得られた重みである。 弱めた規則の重みは正となり、型付けに有用な規則であることが学習された。 T-True ------------- [1.3052] T-False -------------- [1.3346] true : Bool false : Bool x : T1 E2 : T2 x : T1 E2 : T2 T-WeakAbs1 -------------------- [0.564

  • Recursive Neural Network の訓練 (Backpropagation Through Structure)

    Recursive Neural Network の訓練 (Backpropagation Through Structure) Recursive neural network (RNN) は, 構文木の意味を表現する特徴ベクトルを計算するために使用されるモデルである. 歴史的には,主に自然言語処理において利用されてきたが, プログラミング言語の意味の解析とかにも使える [Li14](詳細は, 1月2日の記事を参照のこと). 今日は,RNN の訓練に用いられる backpropagation through structure (BPTS) [Go96] というアルゴリズムについて紹介する. Recursive neural network (RNN) RNN では,子を表現する特徴ベクトルを用いて,親を表現する特徴ベクトルを計算する, という処理を再帰的に繰り返すことで,根に対応する特

  • 1