マルチタスク学習 - 機械学習の「朱鷺の杜Wiki」
マルチタスク学習 (multitask learning)† 関連する複数のタスクを同時に学習させることで，これらのタスクに共通の要因を獲得させ，タスクの予測精度を向上させるのがマルチタスク学習．古典的には，ニューラルネットの中間層で共通要因を獲得させていた．最近では，転移学習で，複数のドメイン間で相互に転移するような場合で，階層ベイズなどで共通の要因を獲得している． ↑ マルチタスク学習がうまくいく理由† 基本文献ではマルチタスク学習がうまく動作する理由として次のものを挙げている データ拡張 (data amplification)：共通する因子がある複数タスクがあれば，共通因子のノイズがタスク間のキャンセルで緩和される 特徴選択：複数のタスクを同時に学習させることで，それらのタスクで共通に有用な特徴が選ばれ易くなる． 立ち聞き (eavesdropping)：タスク間で学習の難易度に差
PRML/course - 機械学習の「朱鷺の杜Wiki」
必要な事前知識† 微積分：多変量の微分や積分は必要です．ラグランジュの未定乗数法や簡単な変分も必要ですがこれらは付録に簡単な解説があります．複素数の微積分については不要です． 線形代数：3×3以上の固有値・逆行列，行列に対する微積分は必要ですが，これらについては付録に簡単にまとめられています．\(l^2\)空間やヒルベルト空間，複素数については不要です． 確率：基礎については1章で述べられていますが，確率の扱いや考えに慣れていると便利です．確率測度など公理にまで踏み込んだ知識や，統計の検定などの知識は不要です． ↑ 本書に関連する分野† 以下の分野でデータからの予測や分析が必要とされる分野 対象分野：本書と直接的な関連がある分野には次のようなものがあります． 機械学習，パターン認識，統計，データマイニング 応用分野：機械学習，パターン認識，統計的予測技術が応用されている分野には次のようなも
しましま/IBIS2013 - 機械学習の「朱鷺の杜Wiki」
第16回 情報論的学習理論ワークショップ (IBIS2013)† このページはしましまが IBIS2013 に参加してとったメモです．私の主観や勘違いが含まれていたり，私が全く分かってなかったりしていますので，その点を注意してご覧ください．誤りがあれば，指摘してください． チュートリアル1：機械学習概要† 村田 昇（早稲田大学） 学習とは『賢くなる手続き』 スパムメール，Googleの検索，推薦システム，Watson，将棋，徴税システム 計算論的学習理論 人工知能とアルゴリズムの初期研究：決定的 → 確率的・非決定的な考え方の登場 80年代の Valiant 十分な確率で正解に達すればよい → PAC学習 統計的学習理論 確率的近似法（統計的探索に確率探索の手法を導入）→ 学習系の平均挙動の統計的解析 → VC次元の理論と発展 学習問題の枠組み 教師あり（回帰，識別）・教師なし（クラスタリ
劣モジュラ - 機械学習の「朱鷺の杜Wiki」
劣モジュラ (submodular)† 離散最適化問題を解くとき，目的関数に劣モジュラ性があれば，多項式時間で解くことができる． 有限集合 \(V\) に対して，その任意の部分集合 \(X\subseteq V\) から実数への関数を \(f(X)\) とする．この関数が劣モジュラ関数であるとは，任意の部分集合 \(X,Y\subseteq V\) に対して次の性質があること： \[f(X)+f(Y)\ge f(X\cap Y)+f(X\cup Y)\] これは次の性質と等価 \[X\subseteq Y\subseteq V,\, x\in V\backslash Y,\;f(X\cup\{x\})-f(X)\ge f(Y\cup\{x\})-f(Y)\] 劣モジュラ関数を最小化する部分集合は，\(|V|\) の5〜6乗の多項式時間で解くことができる． さらに，\(f(X)=f(V\ba
不均衡データ - 機械学習の「朱鷺の杜Wiki」
不均衡データ (imbalanced data)† 識別問題において，各クラスのデータが生じる確率に大きな差がある場合．例えば，二値識別問題で正例が 1% で，負例が 99% といった状況．はずれ値検出を識別問題として解く場合などが該当する．こうしたデータについては，予測精度が非常に低下する場合があることが知られている． 文献1は，人工データに対してニューラルネット系の手法と適用して実験． 不均衡データに対する対策は次の三種類 少ない方のクラスをオーバーサンプリングしてもう一方のクラスの大きさに合わせる 大きい方のクラスをサブサンプリングしてもう一方のクラスの大きさに合わせる 一方のクラスを無視して，もう一方のクラスをカバーするような規則を獲得 ※ 各クラスごとに異なる損失を考えるコストを考慮した学習も 1 や 2 と同様の対策とみなせる 実験的に次のような結果を報告している 線形分離でき
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
