タグ

ブックマーク / conditional.github.io (7)

  • [MLAC 2013 7日目] Torch7でお手軽ニューラルネットワーク - a lonely miner

    はじめに この記事は Machine Learning Advent Calendar 2013 の 7日目の記事です． 2013年，Deep Learning もアカデミックレベルではさまざまな分野への浸透が進み，バズワードの域を脱したように思えます． これまでは，機械学習というと，応用分野においては(分類/回帰といった)タスクを決めてしまった上でブラックボックスとして 扱うもの，という空気がありましたが， Deep Learning に代表される柔軟な，いかようにも組み上げられるモデルは，問題の性質を積極的に(特徴量としてではなく，モデル自体に)組み込むことを容易にする，大きな武器になるのではないかと感じています． 素性エンジニアリング vs モデルパラメータエンジニアリング の不毛な戦いが幕を上げた，という見方もできちゃいそうですが・・・．． さて今回は， Torch7 という，Ne

    [MLAC 2013 7日目] Torch7でお手軽ニューラルネットワーク - a lonely miner

  • Deep Learning : Bengio先生のおすすめレシピ - a lonely miner

    先日，身内の勉強会(&ラボの勉強会)で，Deep Learningについてお話してきました．これまで興味がなさそうだったのに何故急に？というのはおいておいて． 紹介したのは，Deep Learningの第一人者のひとり， Yoshua Bengio先生自身が執筆された，以下の論文． Yoshua Bengio, Practical recommendations for gradient-based training of deep architectures, arXiv:1206.5533v2, 2012 どうやら書籍の草稿のようで，Bengio先生の長年の研究で得られたさまざまなノウハウ(最近の手法まで)がぎっしり詰め込まれています．すごい． 以前から気にはなりつつも，ちょっと分量が多い(30ページくらいある)ので，なかなか手を出すことができなかったのですが，ようやくヤル気が出てきた

  • コンピュータが政治をする時代(あるいは，行列とテキストの結合モデル)について - a lonely miner

    前回のVanishing Component Analysisに関する記事が思いのほか好評だったようで， なんか自分に対してのハードルあげちゃった感あったり，記事冒頭でデブとか書くんじゃなかった・・・（ハハハ）と後悔してたり．．． いつもどおり肩肘はらずに書きますね．例によって，マンスリー読み会で紹介した論文について． “Joint Modeling of a Matrix with Associated Text via Latent Binary Features” XianXing Zhang and Lawrence Carin , NIPS 2012. Joint Modeling of a Matrix with Associated Text via Latent Binary Features from Koji Matsuda 行列と，その列or行に紐づいたテキストが存在

  • どんなデータでも(※)線形分離可能にしてしまう技術，Vanishing Component Analysis(ICML 2013)を紹介してきました - a lonely miner

    急に蒸し暑くなってきましたね．でぶちんなのでけっこうこたえます．タイトルはちょっと釣り気味．ビビっと来た方は是非論文に目を通してみてください:) 例によって，仲間内でやっている小さな勉強会で論文紹介をしてきましたので，そのご紹介です．ぼくの専門というか興味の中心は自然言語処理なので，ふだんはそっち方面を追っているのですが，勉強会では機械学習方面を中心にいろいろ読んでみてます． 今回は岡野原さんのこのツイートで興味を持った以下の論文を読ませていただきました．名前もかっこいい．ヴァニッシングコンポーネントアナリシス！ ICML2013のbestpaper。データ中の集合（例えば画像中の8の字など）が0になるような生成多項式を求める（=集合のコンパクトな表現）効率的なアルゴリズムを提案し教師有学習時の特徴生成などに使える。すごい http://t.co/DedSoyLaJR — 岡野原 大輔 (

  • Programming by Exampleに対する機械学習からのアプローチ（あるいは，「重い」処理を機械学習で「軽く」する，という視点）について - a lonely miner

    およそひと月ぶりに，仲間内で行っている小さな勉強会で論文紹介をしてまいりました．ICML2013の予稿がちょっとづつ出てきているので，本日はその中から一本． “A Machine Learning Framework for Programming by Example” Aditya Menon et al, ICML 2013 A Machine Learning Framework for Programming by Example from koji_matsuda 機械学習を使って，Programming by Example(PbE)をしようという論文です．PbEというのは私も初耳だったのですが，ざっくり言うと，人間が「例」を与えることで，その例をうまく再現するようなプログラムを自動的に生成する，というタスクのようです． それを部分的に実現している（らしい）のが，Excel2

  • Posterior Regularization と Unified Expectation Maximizationについて - a lonely miner

    桜がとってもきれいですね．すずかけ台は8分咲きといったところです．ところで，仲間で行っている小規模な勉強会で “Unified Expectation Maximization” Samdani et al, NAACL2012 を紹介してきたので，資料をslideshareにあげておきました． Unified Expectation Maximization from koji_matsuda Unified EMというと，じゃっかん大風呂敷な感じのタイトルですが，キーとなるアイデアはとても単純で，EMアルゴリズムのE-Stepで最小化するKLダイバージェンスにちょっと細工を入れることで，Hard-EMとふつうのEMの中間くらいの性質を持ったアルゴリズムになりますよ．というお話です．Deterministic Annealing EMの逆バージョンみたいな雰囲気(実際，DAEMもこの枠組

  • 距離計量学習とカーネル学習について - a lonely miner

    こんにちは．英語が書けなくて悩んでいる今日このごろです． 先月に引き続き，仲間内で行っている小さな勉強会にて論文紹介をしてまいりました． “Information-Theoretic Metric Learning” V. Davis et al, ICML 2007 (Best Paper) ちょっと古めの論文ですが，あまり踏み込んだことのない分野なので，名著っぽいものから確実におさえていくスタンスで． 発表スライドは以下においておきます．最後のスライドにいろいろ文献リンクしておいたので，ご興味をもって頂けましたら是非そちらも当たってみてください． Information-Theoretic Metric Learning from koji_matsuda 距離計量学習(以下単に距離学習)とは何ぞや，というのは小町さんの日記をご参照いただけると良いと思うのですが， ざっくり言うと，「分

  • 1

お知らせ

もっと読む

公式Twitter

  • @HatenaBookmark

    リリース、障害情報などのサービスのお知らせ

  • @hatebu

    最新の人気エントリーの配信

はてなブックマーク

公式Twitter

はてなのサービス

  • App Storeからダウンロード
  • Google Playで手に入れよう
Copyright © 2005-2024 Hatena. All Rights Reserved.