はてなブックマーク

第21回 情報論的学習理論ワークショップ (IBIS2018)† このページはしましまが IBIS2018 に参加してとったメモです．私の主観や勘違いが含まれていたり，私が全く分かってなかったりしていますので，その点を注意してご覧ください．誤りがあれば，指摘してください． 深層学習入門† 園田 翔（理研AIP) 深層学習のNN構造一覧 https://www.asimovinstitute.org/neural-network-zoo 深層学習 深層ニューラルネットの学習法：難しいといわれていたが，2012年から学習が可能になった ニューラルネットによる機械学習の応用：画像処理，音声信号処理委，自然言語処理，ゲーム，ロボティクス 深層学習 ⊂ 機械学習 ⊂ 人工知能 応用： 認識（YOLOによる一般物体検出，階層的なダウンサンプリング構造）生成（GAN，認識NNを逆に使って乱数をアップサン

招待講演１：Supervised Learning without Discrimination† Nathan Srebro (TTI-Chicago) 統計的予測が人種や性別で差別的にならないようにする たとえ，保護属性 A が予測関数 ^Y(X) に含まれていなくても，A に依存する可能性 すくなくともテストのときは A を使って補正する必要 demographic parity：Aの各特徴ごとの割合を合わせる → 誤差を細かく制御できない equalized odds: 観測値が与えられたとき，予測値と保護属性が独立 → 属性ごとに誤差が同じ ^Y が実数のときは，ROC曲線を一致させるようにする ↑ 招待講演２：Advice to Young and New AI Scientists† Edward Albert Feigenbaum If you see an area in

順序構造上の情報幾何的解析† 大阪大学　杉山麿人 半順序構造 S,≦上の分布 対数線形モデル：ζ関数 ζ(s,x) （s≦xなら1）と係数θ(s) log p(x) ＝ Σ ζ(s, x) θ(s) 線形モデル：メビウス関数 μ(s,x) （ζ^-1 ）と期待値θ(s) p(x) ＝ Σ μ(s, x) η(s) おいしいところ 分布のKLダイバージェンスば分解可能 dually flat manifold 構造 半順序構造：べき集合，正整数，プレフィックス木，有向非循環グラフ 分布：半順序をグラフで書くと，各ノードに確率質量がついている 情報幾何的に，このような分布を空間中の点と考える べき集合：特徴の組み合わせ全体の集合とみなせる 頻出パターンマイニング：頻度の大きな組み合わせを発見する 順序構造で，ある特徴の組み合わせより大きなものの頻度が大きなパターンを見つける→有用な特徴の選択に

マルチラベル (multi-label)† マルチラベル分類問題は，多クラス分類と同様に，クラスのとりうる値の数（定義域の大きさ）が3以上．しかし，通常の多クラス分類では，各事例はどれか一つのクラスに分類される．一方，マルチラベル分類では，一つの事例が複数のクラスに同時に分類されうる． 例えば，Webページを分類を考えたとき，機械学習について書かれたページを「機械学習」と「統計」の両方のクラスに同時に分類する． クラスの定義域を \(\mathcal{C}\) とすると，多クラスの訓練事例は \((c_i\in\mathcal{C},\mathbf{x_i})\) の形式だが，マルチラベルでは定義域の部分集合を使った \((C\subseteq\mathcal{C},\mathbf{x}_i)\) の形式． ↑ 解法† 文献1で照会された問題を変換する方法を紹介 binary releva

人工知能学会第30回全国大会† このページはしましまが人工知能学会全国大会2016に参加してとったメモです．私の主観や勘違いが含まれていたり，私が全く分かってなかったりしていますので，その点を注意してご覧ください．誤りがあれば，指摘してください． ホームページ： http://ai-gakkai.or.jp/jsai2016/ 日時：2014年6月6日（月）〜 6月9日（木） 会場：北九州国際会議場他（福岡県北九州市） ↑ 1C2-1 画像特徴量を利用したユーザプロファイルの拡張とローカルショップ推薦への応用† 井 源(筑波大学システム情報工学研究科) 延原 肇(筑波大学/システム情報工学研究科/知能機能システム専攻) 横石 圭介(株式会社サイバード) 大東 佑太(筑波大学システム情報工学科知能機能システム専攻) 利用者の過去の行動履歴中の画像とFBから得た近所の店舗の画像をマッチングして

2024-11-07 しましま/IBIS2024 2024-11-04 IBIS 2024-05-31 人工知能学会全国大会 しましま/人工知能学会全国大会2024 2024-04-13 python 2024-04-09 K-NEL K-NEL/errata 2023-11-22 PRML/errata2 2023-11-21 PRML/errata1 2023-11-01 しましま/IBIS2023 2023-06-11 しましま/人工知能学会全国大会2023 2023-03-28 Book 2022-11-27 朱鷺の社 2022-11-24 しましま/IBIS2022 2022-07-08 AutoTicketLinkName 2022-06-17 しましま/人工知能学会全国大会2022 2021-11-13 しましま/IBIS2021 2021-10-29 回帰分析 2021-0

オープニング† 佐久間 淳 （筑波大） IBISの役割：理論的基盤と社会応用の両面から先導 → 「このビックウェーブを導こう」 ポスター発表件数 135 （うち学生発表 70） 参加登録者数 約350 + 当日参加 ↑ 大規模機械学習のための事例と特徴のセーフスクリーニング† 竹内 一郎（名工大） スパースモデリング：線形モデルの重みパラメータやカーネルモデルの事例パラメータが 0 になる lasso：L1正則化項を用いる SVM：損失関数にヒンジ損失関数を利用した場合 スパース学習の計算コスト 学習後の最適解において，どのパラメータが 0 になるか分からない → スパースでないモデルと計算量は変わらない → スクリーニングによる高速化 スクリーニング：学習前にどうにか 0 になりそうなパラメータを探す ヒューリスティクス：0 になりそうなもの推測して取り除きあとで最適性を確認 安全スクリ

1H2-1 フィルターバブルを気づかせるシステムの提案† 片岡 雅裕， 橋山 智訓， 田野 俊一(電気通信大学　大学院情報システム学研究科　情報メディアシステム学専攻) プライベート検索をオン・オフで順位が異なる場合の変化から，順位が大きく変化する検索結果があるとき，インジケータを付ける ↑ 1H2-2 推薦理由を提示する情報推薦システム† 折原 レオナルド賢， 橋山 智訓， 田野 俊一(電気通信大学　大学院情報システム学研究科　情報メディアシステム学専攻) 内容ベースの推薦で，利用者プロファイル中で推薦に影響した項目を示す 推薦のある方が満足度が下がる結果 ↑ 1H2-3in コミックの探索的検索支援にむけたジャンル情報の利用に関する検討† 山下 諒， 松下 光範(関西大学総合情報学部総合情報学科) コミックの個人化検索：好み自体の他，ストーリーや絵柄が興味の観点が異なる → レビュー文

第17回 情報論的学習理論ワークショップ (IBIS2014)† このページはしましまが IBIS2014 に参加してとったメモです．私の主観や勘違いが含まれていたり，私が全く分かってなかったりしていますので，その点を注意してご覧ください．誤りがあれば，指摘してください． 統計・機械学習の基礎† 池田和司 (奈良先端科学技術大学院大学) 概要： 機械学習ではデータから確率モデルを構築し、それを予測や知識発見に利用します。 本 チュートリアルでは、機械学習の基礎となる確率・統計および確率モデルの構築を 構築するための推定法についてその基本的な考え方を解説します。 その後、推定において問題になる事項とその解決法を紹介します。特に、モデルサイズ 決定の問題に対してノンパラメトリックベイズ法を紹介し、分布を仮定できない パラメータの扱いに対してセミパラメトリック推定を紹介します。 キーワード： 確

共変量シフト (covariate shift)† 説明変数 \(x\) が与えられたときの応答変数 \(y\) の条件付き分布を，モデル \(p(y|x,\theta)\) の中から適切なものを，訓練事例 \(\{(x_i,y_i)\}\) を使って選び出す． このとき，訓練事例をサンプリングするときの \(x\) の分布 \(p_0(x)\) と，予測に使うときの分布 \(p_1(x)\) が異なるのが共変量シフト (covariate shift)． 共変量シフトの状態では次の荷重対数尤度を最大化するようにパラメータ \(\theta\) すると良い． \[\sum_i \frac{p_1(x_i)}{p_0(x_i)}\log p(y_i|x_i,\theta)\] -- しましま ↑

第18回 情報論的学習理論と機械学習研究会† このページはしましまが 第18回電子情報通信学会 情報論的学習理論と機械学習研究会 に参加してとったメモです．私の主観や勘違いが含まれていたり，私が全く分かってなかったりしていますので，その点を注意してご覧ください．誤りがあれば，指摘してください． ↑ パターン認識におけるAdaBoostの予測誤り率改善に関する一考察† ○増井秀之・都築遼馬・宮　希望・松嶋敏泰（早大） AdaBoost で弱学習器を加えてその重みを指数損失を最小化するのではなく，現状の重みを急激には変化させないようなパラメータを導入 決定株を弱学習器にすると，適切な変数がモデルにとりこまれやすくなる ↑ ［招待講演］ゲノミックセレクションで植物育種を加速する　〜 遺伝的能力を予測するためのモデリング手法 〜† ○岩田洋佳（東大） 2050年に90億人の食料をまかなうには？ 穀

BLAS (basic linear algebra subprograms) / LAPACK (linear algebra package)† BLAS は積やトレースなどの行列やベクトルの四則演算を行うライブラリ．対称行列や対角行列は専用の関数がある． 上位の LAPACK は逆行列や特異値分解などを担当するライブラリ． 行列演算の標準APIになっており，R，octave，numpy などの行列演算を担当している． 必要に応じてリンクすれば，いろいろな実装が利用できる． -- しましま ↑ リンク集† NETLIB：数値計算のポータルサイト．BLAS/LAPACKの基本情報を提供 BLAS FAQ BLAS Technical Forum：文書群 BLAS：Fortran と C による参照実装 LAPACK Users' Guide LAPACK：Fortranの参照実装 CLA

第16回 情報論的学習理論ワークショップ (IBIS2013)† このページはしましまが IBIS2013 に参加してとったメモです．私の主観や勘違いが含まれていたり，私が全く分かってなかったりしていますので，その点を注意してご覧ください．誤りがあれば，指摘してください． チュートリアル1：機械学習概要† 村田 昇（早稲田大学） 学習とは『賢くなる手続き』 スパムメール，Googleの検索，推薦システム，Watson，将棋，徴税システム 計算論的学習理論 人工知能とアルゴリズムの初期研究：決定的 → 確率的・非決定的な考え方の登場 80年代の Valiant 十分な確率で正解に達すればよい → PAC学習 統計的学習理論 確率的近似法（統計的探索に確率探索の手法を導入）→ 学習系の平均挙動の統計的解析 → VC次元の理論と発展 学習問題の枠組み 教師あり（回帰，識別）・教師なし（クラスタリ

1A3 International Organized Session「IOS-3 INTELLIGENT DATA ANALYSIS AND APPLICATIONS-1」† ↑ 1A3-IOS-3a-1 Unsupervised Sense Clustering of Related Chinese Words† Chia-Ling Lee, Yen-Ling Kuo, Chia-Mau Ni, Yu-Ju Chen, Chao-Lin Liu, Jane Yung-Jen Hsu (National Taiwan University) 中国語での文字の意味の曖昧性解消．同じ意味で用いられているものをまとめたクラスタを作る コーパス中の頻度，シソーラス，Jaccard係数などを用いて文脈の距離を定義 凝集型階層的クラスタリングのセントロイド法を適用 ↑ 1A3-IOS-3a-2 Gr

Huber関数 (Huber function)† Huber関数は次式 \[H(x)=\left\{\begin{array}{ll}x^2/2 & \text{if }|x|\le\epsilon\\\epsilon|x|-\epsilon^2/2&\text{otherwise}\end{array}\right.\] \(|x|\le\epsilon\) の範囲では2次関数だが，その外側の範囲では線形に増加する． ロバスト推定での回帰や，サポートベクトル回帰の損失関数として利用される．\(x\) が 0 から遠いところでは線形にしか増加しないので，はずれ値の影響が2次の損失関数と比べてずっと小さい．また，絶対損失と違って定義域全体で微分可能なので便利． -- しましま ↑

第15回 情報論的学習理論ワークショップ (IBIS2012)† このページはしましまが IBIS2012 に参加してとったメモです．私の主観や勘違いが含まれていたり，私が全く分かってなかったりしていますので，その点を注意してご覧ください．誤りがあれば，指摘してください． 統計的学習理論チュートリアル：基礎から応用まで† 鈴木 大慈 (東京大学) 資料： http://www.simplex.t.u-tokyo.ac.jp/~s-taiji/ibisml2012/IBIS2012.pdf 理論は必要なのか? 理論を知らなくても実装できる → 理論家は役に立たない理論をこねくり回している？ 応用は基礎から発展してきた過去 理論は基本技術を開発して，応用手法の閉塞を打破する 成功例：SVM←VC次元，AdaBoost←弱学習器による学習可能性，Dirichlet過程←Fergusonの理論，そ

DBSCAN (Density-Based Spatial Clustering)† 超球状ではない任意形状のクラスタの抽出を目的としたクラスタリング手法． MinPts と Eps の二つのパラメータをとる．ある点 \(x\) から，距離 Eps 内にある点集合を近傍 \(N_{\mathrm{Eps}}(x)\) と定義． \(x\)から\(y\)が直接密度到達可能 (directly density-rechable) は次の条件を満たすこと \(y\in N_{\mathrm{Eps}}(x)\) \(|N_{\mathrm{Eps}}(x)|\ge\mathrm{MinPts}\) あるseed点から，この直接密度到達可能な関係を推移的にたどって到達可能な極大集合を一つのクラスタとして抽出する． MinPts や Eps のパラメータを変化させたクラスタを抽出できる OPTICS

コスト考慮型学習 (cost-sensitive learning)† 広義には特徴量の取得コストなどを考慮する学習も含まれるが，狭義には次のクラスの誤分類コストを考慮した問題をコスト考慮型学習 (cost-sensitive learning) と呼ぶことが多い． 予測正解率を最大化するのではなく，実用面でのコストを考慮して予測クラスを決定する学習手法．次のような場合を想定： クレジットカードの審査：不正利用を正規の利用と誤分類すると元本も含めた利益の損失となるが，正規の利用を不正利用として誤分類すると，利息分機会損失と，信用に対するダメージが生じる．このように，誤分類に非対称性がある． 検査でのスクリーニング：全数検査をするのは人員不足で無理だが，不良が疑われるサンプルだけを検査するために，不良の可能性があるものを抽出したい．良品を不良と誤分類してもあとの検査で良品と分かれば出荷できて

バイアス-バリアンス (bias-variance)† モデル \(Y=f(X)+\varepsilon\) から訓練サンプル集合 \(T\) が生成されたとする． ただし，\(\varepsilon\) は正規分布 \(N(0,\sigma^2)\) に従う真のエラー項． この訓練サンプル集合から \(\hat{f}(x)\) を推定したとする． このとき，点 \(x\) の汎化誤差を最小2乗で測ると \[\mathrm{E}[(Y-\hat{f}(x))^2|X=x]=\sigma^2+\Bigl(\mathrm{E}_T[\hat{f}(x)]-f(x)\Bigr)^2+{\mathrm{E}_T}\bigl[(\hat{f}(x)-\mathrm{E}_T[\hat{f}(x)])^2\bigr]\] \[=\sigma^2+{\mathrm{Bias}}^2[\hat{f}(x)

損失関数 (loss function)† 入出力をまとめたデータを \(z\)：クラス分類ならクラスと特徴ベクトルの対であり，回帰なら独立変数と従属変数の対． \(f\)：データを処理する関数 \(L(z;f)\)：損失関数 (loss function)は推定の悪さを定義した関数 回帰の場合は，データは \(z=(x,y)\) で，\(L(z,f)=(y-f(x))^2\) のような 二乗損失 (squared loss) が利用される クラス分類の場合は，データは \(z=(x,c)\) で，クラス \(c\) と関数の出力クラス \(f(x)\) が一致すれば 0，そうでなければ 1 をとる 0/1損失 (0/1 loss) が利用される \(f(\cdot;\theta)\) がパラメトリックな確率分布だったとき，対数損失は\(-\log f(\cdot;\theta)\)．この

圧縮センシング (compressed sensing, compressive sensing)† 未知の大きさ \(m\) の信号ベクトル \(\mathbf{x}\)，観測される大きさ \(n\) の観測ベクトル \(\mathbf{y}\)，既知の \(n\times m\) の変換行列 \(A\) について，次の関係が成立しているとする \[\mathbf{y}=A\mathbf{x}\] \(A\) のランクが \(m\) 未満なら \(\mathbf{x}\) を知ることはできず，よって \(n\lt m\) なら一般には知ることはできない．しかし，信号ベクトルの非0要素の数 \(k\) が \(k \ll m\) なら \(\mathbf{x}\) を高い確率で復元できる． \(L_0\) 復元法では， \(\mathbf{y}=A\mathbf{x}\) を満たす \(\

バギング (bagging)† ブートストラップサンプリングを繰り返して生成した判別器を合成して，より判別精度の高い判別器を生成する方法． Bagging 以下の手続きを \(t=1,2,\ldots,T\) について反復 入力訓練データ集合 \(D\) から，事例の重複を許してブートストラップサンプル \(D_t\) を得る． \(D_t\) を弱学習器に与えて仮説 \(h_t\) を得る． 最終結果は，クラス分類問題の場合は \(h_1,\ldots,h_T\) の多数決投票で，回帰問題の場合は，平均 \(\frac{1}{T}\sum_t^T h_t\) とする． 名称は Bootstrap AGGregatING に由来 ブースティングと違って，弱学習器が事例を重み付け出来なくても適用でき，また，回帰問題への適用も容易． 比較実験では，ブースティングに対して負けることが多い． 回帰

PAC学習 (probably approximately correct learning)† パラメータ：入力の誤差 \(\epsilon\)，信頼度 \(\delta\)，学習する概念の複雑さの上限 \(s\)． 学習する概念についてのエラーがたかだか \(\epsilon\) である確率が \(1-\delta\) 大きくなるような仮説を出力できるアルゴリズムが存在するとき PAC学習可能 (probably approximately correct learnable)． こうした学習問題を扱うのがPAC学習 (probably approximately correct learning) さらに，\(1/\epsilon\)，\(1/\delta\)，\(s\) について，計算時間が多項式時間で抑えられるとき，多項式時間PAC学習可能であるという． -- しましま ↑

ブートストラップサンプリング† サンプル集合 \(X=\{x_i\}^N\) から，重複を許してサンプリングして新たなサンプル集合 X' を作る方法 ↑ ブートストラップ法† 与えられたサンプル集合 X を用いて，学習器の汎化 e* を推定する方法 \(i = 1,\ldots,m\) について以下の値を計算 X からブートストラップサンプリング でサンプル集合 X'i を生成 訓練集合に X'i を，テスト集合に X を使って推定したエラーを \(e_i\) 訓練集合に X'i を，テスト集合に X'i を使って推定したエラーを \(\hat{e}_i\) 汎化誤差と経験誤差の差 \(R_i=e_i-\hat{e}_i\) を計算 訓練集合に X を，テスト集合に X を使って推定したエラーを \(e\) 汎化誤差の推定値は \(e + \frac{1}{n}\sum_i^n R_i\)

リッジ回帰 (ridge regression)† パラメータの二乗和の正則化項を加えた（Tikhonov正則化ともいう）回帰分析． (記号の定義は回帰分析を参照) 通常の回帰分析の最小二乗法に正則化項を加えた次式を最小にする： \[(\mathbf{y}-X\mathbf{\theta})^\top(\mathbf{y}-X\mathbf{\theta})+\alpha\theta^\top\theta\] ただし，\(\alpha\ge0\) は複雑度(complexity)パラメータという． このパラメータが大きいと高バイアス-低バリアンスに，小さいと低バイアス-高バリアンスになる．このパラメータは交差確認などで適宜定める．また，この目的関数は，通常の最小二乗エラーを，パラメータの二乗和が定数以下との制約で最小化するのと等価． パラメータの推定値は次式 \[\mathbf{\hat{

周辺分布 (marginal distribution)† 結合分布 \(\Pr[X_1,X_2,\ldots,X_n,Y_1,Y_2,\ldots,Y_m]\) に対して，次の分布を周辺分布と呼ぶ： 確率変数 \(Y_1,Y_2,\ldots,Y_m\) が離散の場合 \[\Pr[X_1,X_2,\ldots,X_n]=\sum_{Y_1,Y_2,\ldots,Y_m} \Pr[X_1,X_2,\ldots,X_n,Y_1,Y_2,\ldots,Y_m]\] 確率変数 \(Y_1,Y_2,\ldots,Y_m\) が連続の場合 \[\Pr[X_1,X_2,\ldots,X_n]=\int_{-\infty}^{+\infty} \Pr[X_1,X_2,\ldots,X_n,Y_1,Y_2,\ldots,Y_m] dY_1 dY_2 \cdots dY_m\] 周辺確率 は周辺分布中の確率

パッケージ† pip や easy_install によるインストールの前に多くの外部ライブラリやfortranコンパイラなどが必要になるので，numpy等の科学技術計算パッケージをインストールするには以下のようなパッケージを一般には利用する： 商用（サポートなしなら無料でも利用できる） Anaconda：無料版でもIntel MKLが使える Enthought Canopy フリー Unofficial Windows Binaries for Python Extension Packages (個人ベースの管理で非公式版) ↑ その他† pyvideo.org：PyCon, SciPy, PyData などの講演ビデオリンク集 100 numpy exercises：練習問題 Pythonidae：Python関連のライブラリのリンク集 SciPy Central：SciPy 関連コ

no free lunch定理 (no free lunch theorem)† 直観的には，事例の分布などについて事前知識がなければ， あらゆる目的関数について他を常に上回るような学習アルゴリズムは存在しないという定理． 「ただ(=事前の知見なし)の飯(=予測や探索での改善)はない(no free lunch)」といった意味の名称． 形式的には，訓練事例に含まれないデータに対するエラーを \[\mathcal{E}_k(E|F,\mathcal{D})=\sum_{\mathbf{x}\notin\mathcal{D}}P(\mathbf{x})[1-\delta(F(\mathbf{x}),h(\mathbf{x}))]P_k(h(\mathbf{x}|\mathcal{D})\] ただし \(F(\mathbf{x})\)：学習目標の関数 \(h(\mathbf{x})\)：アルゴリ