はてなブックマーク

Manifold OptimizationComputer Vision、ロボットの制御、機械学習モデルのパラメータ推定など様々な場面で登場する多様体上での最適化の理論とアルゴリズムについて勉強した際のノートです。 日本語文献が少ないように思ったので、他の人の役に立てばと思い公開して書きます。 このノートでは、基本的には Optimization Algorithms on Matrix Manifoldsを読み進めながら、分からなかったところを補いながら書いています。 もし内容に誤りがありましたら、 IssueやPull Requestを頂けますとありがたいです。 モチベーション多様体の定義多様体の位相構造可微分写像、部分多様体多様体の構成方法接ベクトル空間、接バンドル、ベクトル場微分リーマン多様体、勾配レトラクション直線探索索引参考にした文献 Optimization Algorith

Koichi Nakamura (中村晃一) Titles CEO&Founder of Idein Inc. Arm Innovator Accounts Twitter Linkedin Facebook Github Speakerdeck Qiita Career Born in 1984. 2003- The University of Tokyo 2010- Graduate School of Information Science and Technology, University of Tokyo. Dept. of Compute Science. (dropped out in 2015) My major was a theory of optimizing compiler for parallel computing 2015.4 Founded Idein

プログラマの為の 数学勉強会 第7回 (於)ワークスアプリケーションズ 中村晃一 2013年10月24日 謝辞 この会の企画・会場設備の提供をして頂きました ㈱ ワークスアプリケーションズ様 にこの場をお借りして御礼申し上げます。 この資料について http://nineties.github.com/math-seminar に置いてあります。 SVGに対応したブラウザで見て下さい。主要なブラウザで古いバージョンでなければ大丈夫だと思います。 内容の誤り、プログラムのバグは@9_tiesかkoichi.nakamur AT gmail.comまでご連絡下さい。 サンプルプログラムはPythonで記述しています。 線型代数 本日から線型代数学を学んでいきます。微積分学と同様に,理工学の様々な問題に取り組む上で必須の学問です。 線型代数は大きく分けて 行列・行列式と連立一次方程式の理論 線型

2013年 プログラマの為の数学勉強会 資料 第1回:イントロダクション 第2回:浮動小数点数・極限・微分 第3回:微分法の応用・多変数関数の微分法 第4回:微分法の応用(続き)・方程式の数値解法 第5回:微分方程式の数値解法・積分法 第6回:数値積分法・積分法の応用 第7回:行列・ベクトル・ガウス消去法 第8回:行列式・逆行列・連立一次方程式の直接解法 第9回:線型空間・線型写像・固有値固有ベクトル(その1) 第10回:線型変換・固有値固有ベクトル(その2)・内積空間 第11回:連立一次方程式の反復解法・二次形式・多変数関数の極値・重積分 第12回:確率論入門 第13回:情報量・エントロピー・重要な確率分布・大数の法則・中心極限定理 第14回:擬似乱数の生成法・推定 第15回:検定 第16回:検定の続き, 回帰分析 第17回:回帰分析の続き 第18回:ベイズ統計

プログラマの為の 数学勉強会 第6回 (於)ワークスアプリケーションズ 中村晃一 2013年10月17日 謝辞 この会の企画・会場設備の提供をして頂きました ㈱ ワークスアプリケーションズ様 にこの場をお借りして御礼申し上げます。 この資料について http://nineties.github.com/math-seminar に置いてあります。 SVGに対応したブラウザで見て下さい。主要なブラウザで古いバージョンでなければ大丈夫だと思います。 内容の誤り、プログラムのバグは@9_tiesかkoichi.nakamur AT gmail.comまでご連絡下さい。 サンプルプログラムはPythonで記述しています。 数値積分法 数値積分法 解析的に定積分を求める事が出来ない・難しい関数では数値計算によって定積分の値を求める事になります。 準備:ラグランジュ補間 データ列\((x_0, y_0

プログラマの為の 数学勉強会 第14回 (於)ワークスアプリケーションズ 中村晃一 2013年12月12日 謝辞 この会の企画・会場設備の提供をして頂きました ㈱ ワークスアプリケーションズ様 にこの場をお借りして御礼申し上げます。 この資料について http://nineties.github.com/math-seminar に置いてあります。 SVGに対応したブラウザで見て下さい。主要なブラウザで古いバージョンでなければ大丈夫だと思います。 内容の誤り、プログラムのバグは@9_tiesかkoichi.nakamur AT gmail.comまでご連絡下さい。 サンプルプログラムはPython及びMaximaで記述しています。 擬似乱数の生成法 与えられた確率分布に従う擬似乱数を生成する方法を説明します. 有名な確率分布に従う乱数生成器は標準で用意されていると思いますが, 自前での実装

プログラマの為の 数学勉強会 第12回 (於)ワークスアプリケーションズ 中村晃一 2013年11月28日 謝辞 この会の企画・会場設備の提供をして頂きました ㈱ ワークスアプリケーションズ様 にこの場をお借りして御礼申し上げます。 この資料について http://nineties.github.com/math-seminar に置いてあります。 SVGに対応したブラウザで見て下さい。主要なブラウザで古いバージョンでなければ大丈夫だと思います。 内容の誤り、プログラムのバグは@9_tiesかkoichi.nakamur AT gmail.comまでご連絡下さい。 サンプルプログラムはPython及びMaximaで記述しています。 確率論入門 今回から確率・統計分野に入ります。 最初に確率の基礎知識を確認しましょう。 単に「確率」と言ってもいくつかの解釈があります。具体的な問題で考えてみま

パターン認識・ 機械学習勉強会 第1回 @ワークスアプリケーションズ 中村晃一 2014年2月13日 謝辞 この会の企画・会場設備の提供をして頂きました ㈱ ワークスアプリケーションズ様 にこの場をお借りして御礼申し上げます. 自己紹介 中村晃一 東京大学 大学院 情報理工学系研究科 コンピュータ科学専攻 後期博士課程 2年 プログラム最適化・言語処理系の実装技術・人間と言語の関係等に興味があります. twitter: @9_ties はじめに この会について パターン認識・機械学習の基礎を勉強します. 基本的な微積分・線形代数・確率統計の知識を前提とします. 資料中のサンプルコードは主にPythonで書きます.ライブラリはNumPy, SciPy, Matplotlibを利用します. 数式の記法について 列ベクトル・行列はボールド体の小文字・大文字で表します. \[\text{列ベクトル

2014年 パターン認識・機械学習勉強会 資料 第1回:イントロダクション 第2回:ベイズ確率・ベイズ識別・モデルの検証 第3回:モデル選択基準・MCMC法 第4回:ギブスサンプリング・線形識別モデル 第5回:線形識別モデル:ロジスティック回帰 第6回:線形識別モデル:ベイズロジスティック回帰,フィッシャーの線形判別 第7回:ニューラルネットワーク 第8回:ニューラルネットワーク(続き) 第9回:ニューラルネットワーク(続き) 第10回:カーネル法, カーネル密度推定法,カーネル回帰分析 第11回:カーネル法:ガウス過程 第12回:サポートベクターマシン, ソフトマージン 第13回:多クラスSVM, SVM回帰, 関連ベクターマシン 第14回:ベイジアンネットワーク 第15回:ジョインツリーアルゴリズム 第16回:ジョインツリーアルゴリズム(続き) 第17回:マルコフ確率場・ファクターグラ

プログラマの為の 数学勉強会 第3回 (於)ワークスアプリケーションズ 中村晃一 2013年9月26日 謝辞 この会の企画・会場設備の提供をして頂きました ㈱ ワークスアプリケーションズ様 にこの場をお借りして御礼申し上げます。 この資料について http://nineties.github.com/math-seminar に置いてあります。 SVGに対応したブラウザで見て下さい。主要なブラウザで古いバージョンでなければ大丈夫だと思います。 内容の誤り、プログラムのバグは@9_tiesかkoichi.nakamur AT gmail.comまでご連絡下さい。 サンプルプログラムはPythonで記述しています。 微分法の応用 準備 最初に,本日の議論に必要となる連続性，微分可能性,極値,ロルの定理について説明します。 連続性 \[ \lim_{x\rightarrow a}f(x) = f

プログラマの為の 数学勉強会 第2回 (於)ワークスアプリケーションズ 中村晃一 2013年9月19日 謝辞 この会の企画・会場設備の提供をして頂きました ㈱ ワークスアプリケーションズ様 にこの場をお借りして御礼申し上げます。 この資料について http://nineties.github.com/math-seminar に置いてあります。 SVGに対応したブラウザで見て下さい。主要なブラウザで古いバージョンでなければ大丈夫だと思います。 内容の誤り、プログラムのバグは@9_tiesかkoichi.nakamur AT gmail.comまでご連絡下さい。 サンプルプログラムはPythonで記述しています。 浮動小数点数と誤差 浮動小数点数と誤差 浮動小数点数を利用した計算結果には誤差が含まれます。 複雑な計算をしたり多数のデータを扱う場合にはその影響が目に見えて現れますので， 最初に

プログラマの為の 数学勉強会 第1回 (於)ワークスアプリケーションズ 中村晃一 2013年9月12日 自己紹介 中村晃一 東京大学 大学院 情報理工学系研究科 コンピュータ科学専攻 後期博士課程 2年 プログラム最適化・言語処理系の実装技術・人間と言語の関係等に興味があります。 twitter: @9_ties 謝辞 この会の企画・会場設備の提供をして頂きました ㈱ ワークスアプリケーションズ様 にこの場をお借りして御礼申し上げます。 この資料について http://nineties.github.com/math-seminar に置いてあります。 SVGに対応したブラウザで見て下さい。主要なブラウザで古いバージョンでなければ大丈夫だと思います。 内容の誤り、プログラムのバグは@9_tiesかkoichi.nakamur AT gmail.comまでご連絡下さい。 イントロダクション

2013年 プログラマの為の数学勉強会 資料 第1回:イントロダクション 第2回:浮動小数点数・極限・微分 第3回:微分法の応用・多変数関数の微分法 第4回:微分法の応用(続き)・方程式の数値解法 第5回:微分方程式の数値解法・積分法 第6回:数値積分法・積分法の応用 第7回:行列・ベクトル・ガウス消去法 第8回:行列式・逆行列・連立一次方程式の直接解法 第9回:線型空間・線型写像・固有値固有ベクトル(その1) 第10回:線型変換・固有値固有ベクトル(その2)・内積空間 第11回:連立一次方程式の反復解法・二次形式・多変数関数の極値・重積分 第12回:確率論入門 第13回:情報量・エントロピー・重要な確率分布・大数の法則・中心極限定理 第14回:擬似乱数の生成法・推定 第15回:検定 第16回:検定の続き, 回帰分析 第17回:回帰分析の続き 第18回:ベイズ統計

@ワークスアプリケーションズ 中村晃一 2013年5月23日 $$ \newcommand\append{{+\hspace{-.7em}+}} $$ 謝辞 この勉強会の企画，会場設備の提供をして頂きました ㈱ ワークスアプリケーションズ様 にこの場をお借りして御礼申し上げます。 この会について 圏論(category theory)を題材にいろんなことを学びます。 分かり易さを重視して初歩的な例を多用します。 関数型言語の経験がある方がより楽しめると思います。資料中では主にHaskellを使います。 この資料はhttp://nineties.github.com/category-seminarに置いてあります。 第２回:モノイド・群 第2回の内容 モノイド勉強会 @ワークスアプリケーションズ 中村晃一 2013年5月23日 第2回の内容 本日は予定を変更して一旦圏論を離れ,モノイド・群

@ワークスアプリケーションズ 中村晃一 2013年5月23日 $$ \newcommand\append{{+\hspace{-.7em}+}} $$ 謝辞 この勉強会の企画，会場設備の提供をして頂きました ㈱ ワークスアプリケーションズ様 にこの場をお借りして御礼申し上げます。 この会について 圏論(category theory)を題材にいろんなことを学びます。 分かり易さを重視して初歩的な例を多用します。 関数型言語の経験がある方がより楽しめると思います。資料中では主にHaskellを使います。 この資料はhttp://nineties.github.com/category-seminarに置いてあります。 第２回:モノイド・群 第2回の内容 モノイド勉強会 @ワークスアプリケーションズ 中村晃一 2013年5月23日 第2回の内容 本日は予定を変更して一旦圏論を離れ,モノイド・群

Seminar of category theory

@ワークスアプリケーションズ 中村晃一 2013年5月16日 謝辞 この会の企画・会場設備の提供をして頂きました ㈱ ワークスアプリケーションズ様 にこの場をお借りして御礼申し上げます。 自己紹介 中村晃一 東京大学 大学院 情報理工学系研究科 コンピュータ科学専攻 後期博士課程 2年 プログラム最適化・言語処理系の実装技術・人間と言語の関係等に興味があります。 twitter: @9_ties はじめに この会について 圏論(category theory)を題材にいろんなことを学びます。 分かり易さを重視して初歩的な例を多用します。 関数型言語の経験がある方がより楽しめると思います。資料中では主にHaskellを使います。 この資料はhttp://nineties.github.com/category-seminarに置いてあります。 参考書 私はSteve Awodey著「Cate