はてなブックマーク

1 トピックモデル LSA/LSI と pLSA/pLSI と LDA 櫻井 彰人 1 ベクトル空間モデル • 目的: 文書検索 • 文書を、高次元ベクトルで表現する – 単語＝次元という空間 • 各要素は、異なる単語に対応し、当該単語が当該文書に現れた 回数を表す – 非常に次元が高くなる – 必要に応じて、単語を制限する • 機能語や共通に現れる内容語（stop word）は使わない • 語幹抽出を行う（複数形、過去形、派生形等は一つにして扱う • 実際に取り扱う単語の集合は、辞書と呼ばれる • 文書間の類似性は、しばしば、ベクトルの内積で表現する G. Salton, A. Wong, and C. S. Yang (1975), "A Vector Space Model for Automatic Indexing," Communications of the ACM, vol

1 情報意味論 パーセプトロンと多層パーセプトロン 櫻井彰人 慶應義塾大学理工学部 多義語: パーセプトロン � パーセプトロン: 同じ言葉で別のものを指している � 線型閾値素子: 次のスライド � 元祖パーセプトロン: 下記. これが本当 ! � シグモイド素子: 今回の後半 � シグモイド素子のネットワーク: 多層パーセプトロンと呼ばれる: 今回の後半 � 線型閾値素子のネットワーク: 多層パーセプトロン. 稀 � 本講義では, 習慣に従い「間違った」用法に従う � 元祖パーセプトロン � Rosenblatt 1962 � Minsky and Papert 1969 � パーセプトロン Perceptron: 単一ニューロンのモデル � 別名 線型閾値素子 Linear Threshold Unit (LTU) or Linear Threshold Gate (LTG) � 素

2012/11/19 1 情報意味論 (第15回) Deep Learning 慶應義塾大学理工学部 櫻井 彰人 機械学習に関する最近のバズワード • Big Data • Deep Learning いえいえ、バズワードではありません。 非常に真っ当な専門用語です なぜ注目されるのか • Deep Learningが各分野のコンペティションで 優勝し話題になっています。Deep Learningは 7、8段と深いニューラルネットを使う学習手法 です。すでに、画像認識、音声認識、最も最 近では化合物の活性予測で優勝したり、既存 データ・セットでの最高精度を達成しています。 岡野原 大輔氏のブログ http://research.preferred.jp/2012/11/deep‐learning/ 画像認識では • ILSVRC 2012 (ImageNet Large Scale Vis

1 情報意味論（7） EM 櫻井彰人 慶應義塾大学理工学部 より複雑なモデル � 確率モデルであって、一個の著名(?)な分布で表せないもの、… で 表せそうもないもの、…ではなさそうなものが、世の中にはたくさんあ る。 � 様々な分布を考える � 指数・ポアソン・t・対数正規・… � 分布を組み合わせる � 線形和 – 非観測変数の出現 � しかし、工夫がある → EMアルゴリズム � 分布を考えない – しょせん、多項分布 � 変数が多いと大変。 � しかし、工夫がある → Bayesian network 例: 混合正規分布 � 正規分布（ガウス混合）の線形和 線形和（重みの和は１） p(x) = ∑ πj pj(x) 考え方: 各データは、まず、 j のどれか をランダムに選び（確率分布は {πj} ）、 次に pj に従い生成される -10 -5 0 5 10 0.0 0.05 0

1 知的情報処理 10. 仲間を集めるクラス タリング 櫻井彰人 慶應義塾大学理工学部 クラスタとは � クラスタとは cluster のこと。 � cluster とは房のこと。 葡萄の房 � 小さいものが複数個集まって、大きな一個の塊を構 成するとき、この塊をクラスタという あの、忌まわしきクラスタ爆弾の「クラスタ」もこれ クラスタリング・クラスタ分析とは? � クラスタ: 対象（データ）の集合 同一クラスタ内では、似ている 他のクラスタの対象とは似ていない � クラスタ分析 対象の集合を（複数個の）クラスタに集める � クラスタリングには、普通、正解がない 葡萄の房はつながっているか否かでわかるが、「似ている」か否かの判断に は、多くの視点があるし、程度問題でもあるから � 正解があっても、与えられていない or 人知には知りえない � どんなときに使うか スタンドアロンとして: 対

Rubyで書かれたCommon Lisp（っぽい）インタプリタです。 こもりすぷ、と読めばいいと思う。 Hikikomo Lispにしようかと思ったけど、やめた。 Uncommon Lispって一番最初に考えたけどやっぱりそういう名前を使ってる人がいた。 仕様 ANSI Common Lispになるべく準拠したい処理系。 現在進行形で進化中。 特徴 基本的なフロー制御用のスペシャルフォームを全て備える lisp-2 基本的なPackageシステム リードマクロによってリーダを拡張可能 関数を簡単にコンパイルすることで、レキシカルクロージャ、スペシャル変数のサポート などなど ドキュメントは基本的に整備中。ソース読んで細かい仕様は察してください。 何の役に立つの？ 本来は、「Rubyでマクロを使えるようにしちゃおうよ」という考えが出発点でした。 ですが、今のRuby文法のままでは扱いにくいな

レポート提出/確認システム 第１回講義資料(2007.09.30) 第２回講義資料(2007.10.14) 第３回講義資料(2007.10.21) 第４回講義資料 (2007.10.28) 第４回講義資料補足 (2007.11.04) 第４回講義資料補足2 (2007.11.05) 第５回講義資料(2007.11.11) 第１回演習課題 (2007.11.11) 第６回講義資料(2007.11.18) 第７回講義資料(2007.11.25) 第８回講義資料(2007.12.02, 2007.12.09) 第２回演習課題(2007.12.09) 第９回講義資料(2007.12.09) 第１０回講義資料(2007.12.16) 第１０回講義資料その2(2007.12.16) 第３回演習課題(2008.01.06) 第１１回講義資料(2008.01.06) (no.27 を追加しました) 第１２

YNU: Yokohama National University Topics in Machine Learning (Fall, Thursday, 13:00-14:30, General Research Building, S9-1, Room E205) - 2019 Lecture Notes 大学院 開放環境科学専攻 情報意味論（秋学期、月曜3限、14-202） - ２０１７年度 講義資料 プログラミング特論（春学期、月曜3限、12-209） - ２００３年度 講義資料 人間とシステムB（秋学期、火曜2限、25-601） - ２００２年度 講義資料 人間社会システム特別講義（秋学期、木曜4限、12-106） 学部 管理工学科２年生 プログラミング言語 (春学期、月曜2限、703/704) - ２０１７年度 講義資料 管理工学概論 データマイニングと機械学習（春学期 5/1

内容 印刷用     1-6, 7-12, 13-18, 19-24, 25-30, 31-36, 37-42, 43-48, 49-50, スライド　1 情報意味論（５） 決定木 スライド　2 本日の目標 スライド　3 決定木（decision tree）の例 スライド　4 決定木の別表現 スライド　5 決定木 スライド　6 どんな時、決定木を用いるか スライド　7 決定木の作成：トップダウン スライド　8 どの属性を選ぶか？ スライド　9 エントロピー スライド　10 エントロピー関数 スライド　11 エントロピー（続） スライド　12 情報量の増分 （information gain） スライド　13 訓練事例 スライド　14 次の属性を選ぶ スライド　15 : スライド15 スライド　16 ID3による仮説空間探索 スライド　17 ID3による仮説空間探索 スライド　18 ID3の

内容 印刷用     1-6, 7-12, 13-18, 19-24, 25-30, 31-33 スライド　1 情報意味論（１０） ベイズ学習 スライド　2 目次 スライド　3 ベイズ的方法の役割 スライド　4 ベイズの定理 スライド　5 仮説の選択 スライド　6 ベイズの定理 スライド　7 力ずくMAP学習 スライド　8 概念学習との関係 スライド　9 概念学習との関係 スライド　10 事後確率の先鋭化 スライド　11 学習アルゴリズムと等価なMAP スライド　12 実数値関数の学習 スライド　13 実数値関数の学習 スライド　14 実数値関数の最大化 スライド　15 確率の予測 スライド　16 最小記述長原理(MDL) スライド　17 最小記述長原理 スライド　18 未知事例の最もありうべき分類 スライド　19 ベイズ最適な分類器 スライド　20 Gibbs 分類器 スライド　21 ナ