タグ

algorithmとAdventに関するslay-tのブックマーク (2)

  • EMアルゴリズム徹底解説 - Qiita

    ステップ2 $r_{nk}$を固定して$J$を$\mu_k$で偏微分して最小化します。 式変形をすると、 クラスタ$k$の最適なCentroidは上記のように、クラスター$k$に所属しているデータの平均であることがわかりました。 上記より最初のデモンストレーションで行っていたアルゴリズムは損失関数$J$の最適化によって導出されたものを適用していたことがわかります。 2−3. 実装 上記で示した2ステップを計算して、イテレーションを回すだけのシンプルなプログラムです。最後に更新前のmuと更新後のmuの差を取り、それがある程度小さくなったら収束したと判断し、イテレーションを止めるようにしています。 下記はアルゴリズム部分の抜粋です。プログラムの全文はコチラにあります。 for _iter in range(100): # Step 1 =============================

    EMアルゴリズム徹底解説 - Qiita
  • fastTextを使って単語じゃないものの分散表現を獲得する - Qiita

    ※ 2017/1/16に追記しました Retty Advent Calendarで穴が空きそうになったとき用に記事用意してたんですが、ちゃんとみんな埋めてくれたみたいです。良かった。 で、用意した記事が無駄になってももったいないので普通の記事として公開しちゃいます。 皆さんfastTextって知ってますか? Facebookが公開している自然言語処理用のツールです。GPU使わないのに超速いのでありがたく使ってます。 単語の分散表現を学習させたり文章の分類とかができるんですが、分散表現の学習の仕組みって語彙にID振ってone-hot vectorにして、それを次元圧縮してるんですよね?(適当) じゃあ、ID列で表せる何かならなんでも分散表現にできるんじゃね?って思いません? 思いついたらやってみましょう。 用意するもの fastText Rettyユーザーのお店詳細ページの閲覧履歴 やること

    fastTextを使って単語じゃないものの分散表現を獲得する - Qiita
  • 1