Bokehで固有ベクトルの可視化 - Qiita
本日は my Bokeh シリーズが充実してきました． Bokeh をつかって行列演算を可視化する． （続き）Bokeh をつかって行列演算を可視化する(with animation) Bokeh対話機能を用いた画像処理結果の可視化 Bokehを用いた2x2の行列演算の可視化 Bokehを用いた回転行列演算可視化（手動でスライダー） これらの続きとして グラフ描画ツールBokehを用いて２x２行列 import numpy as np from bokeh.plotting import figure from bokeh.models import ColumnDataSource from bokeh.models.widgets import Slider, Div from bokeh.layouts import column, widgetbox, gridplot from
プログラマの為の数学勉強会
プログラマの為の 数学勉強会 第1回 (於)ワークスアプリケーションズ 中村晃一 2013年9月12日 自己紹介 中村晃一 東京大学 大学院 情報理工学系研究科 コンピュータ科学専攻 後期博士課程 2年 プログラム最適化・言語処理系の実装技術・人間と言語の関係等に興味があります。 twitter: @9_ties 謝辞 この会の企画・会場設備の提供をして頂きました ㈱ ワークスアプリケーションズ様 にこの場をお借りして御礼申し上げます。 この資料について http://nineties.github.com/math-seminar に置いてあります。 SVGに対応したブラウザで見て下さい。主要なブラウザで古いバージョンでなければ大丈夫だと思います。 内容の誤り、プログラムのバグは@9_tiesかkoichi.nakamur AT gmail.comまでご連絡下さい。 イントロダクション
正則化項（LASSO）を理解する - Qiita
$d=2$ の場合、$a_1+a_2\le r$なので、$a_1,a_2$の取り得る値は四角の範囲内に制限される。 最小二乗解が赤線で求められる場合、$a_2=0$となり、次元が一つ減ることになる。 ＊$L_2$正則化の場合、制約条件は $||a||^2\le r $ なので、取り得る値は円形の範囲に制限される。 ＊L2正則化とは違い、L1正則化では|w|がｗ＝０で微分できない。 L2正則化のように簡単に計算できず、数値的に求める必要がある。 １．求めてみる ここでは、数学的な証明は割愛し、L1正則化の効果の確認に焦点を当てる。 なんで、可能な限りscikit-learnのライブラリを使用した。 データセットは、diabetes（糖尿病患者の検査数値と 1 年後の疾患進行状況）を使用。 from sklearn.datasets import load_diabetes from skle
逆行列を理解してみる - デジタル・デザイン・ラボラトリーな日々
画像の変形処理を行う上で逆行列を行う処理があり、理解がとぼしいためか頭が混乱してきます。 以前、テクスチャの仕組みを理解しようとした際にも、逆行列が出てきました。 あらためて、逆行列とはなんなのかをイチから理解していこうと思います。 行列には、足し算・引き算・掛け算は定義されているのですが、割り算は定義されていません。 では、行列で割り算が出来ないかというとそうではありません。 行列ではなく自然数の場合、「1」に「3」を掛けると「3」となります。これを元の「1」に戻す場合、「3で割る」ことで元の「1」になりますが、「1/3を掛ける」としても元の「1」になります。 この場合、「3で割る」とは言わずに「1/3を掛ける」と考えます。 割り算のかわりに逆数を掛けることで、割り算と同様の結果が求めることが出来るのです。 行列でも同じ様に「逆数を掛ける」に近い考え方をします。 行列に逆数を掛ける際に使
【暗記しない数学】相関係数を内積と同じように考えるとかなり分かりやすい件
こんにちは，数学大好き学生エンジニアの迫佑樹(@yuki_99_s)です． 高校生の数学では，確率統計の範囲で相関係数というものを習います． そして同じく，高校数学のベクトルの範囲で，内積というものを習いました． 全く関連性が無いかのように思えるこの2つですが，実は式の形は全く同じなんですね． ちょっとだけ数学が楽しくなるお話です． 内積の基礎復習からスタート 軽く内積の復習をしておきましょう． 『内積を求めよ』と言われると，『2つのベクトルの絶対値を2つのベクトルがなす角を使って求める方法』と，『2つのベクトルの成分を使って求める方法』の2種類がありました． 内積を使った典型的な問題に，以下のような2つのベクトルのなす角を求めるものがあります． 上記のような手順によって，例題で示された2つのベクトルのなす角は45度と求めることが出来ました． さて，例題で使ったベクトルを実際に図示してみる
【解説】 一般逆行列
2. 連立一次方程式・線形方程式を思い出す • 中学では連立一次方程式 • (未知数の数)＝(方程式の数) • 解は必ず一意に定まった • 高校では線形方程式 • 線形方程式 Ax=b で表現 • 逆行列で解く： x=A-1b • Aは正方and正則 • 大学以降は「解けない場合」を主に扱う • (未知数の数)≠(方程式の数) • Aが非正方or非正則 • 逆行列が定義されない！ 2017/9/12【解説】 一般逆行列 2 −𝑥 + 2𝑦 = 0 𝑥 + 𝑦 = 3 ∴ 𝑥 = 2 𝑦 = 1 −1 2 1 1 𝑥 𝑦 = 0 3 ∴ 𝑥 𝑦 = 2 1 −1 2 1 1 0 1 𝑥 𝑦 = 0 3 2 ∴ 𝑥 𝑦 = ？ ？ 3. 現実世界の問題のほとんどは「解けない」 • 例）ノイズを含んだ多数のサンプルがとれる • (未知数の数)≪(方程式の数) • 多項
Depthwise (separable) convolutionとか色々な畳込みの処理時間を比較してみる - Qiita
はじめに Kerasの作者@fcholletさんのCVPR'17論文XceptionとGoogleのMobileNets論文を読んだにて紹介したdepthwise (separable) convolutionとpointwise convolutionは、畳み込みのカーネルを空間方向とチャネル方向に分離することで、パラメータ数と計算時間を削減していた。 似たようなアプローチとして、Inception V31では空間方向の畳み込みを縦方向と横方向の畳み込みに分離し、畳み込みの受容野を維持しながら、パラメータを削減を行っている。具体的には1x7と7x1の畳み込みを利用して7x7の畳み込みを近似している。Inception V72では1x3と3x1の畳み込みが使われている。 ここでは、いくつかの種類の畳み込みの実際の処理時間を比較する。コードは下記にあります。 https://github.c
特異値分解と行列の低ランク近似 - astamuse Lab
はじめまして。テクノロジーインテリジェンス部で主にデータ周りの業務を担当しているshmです。今回、並河さんからご指名を頂き、記事を執筆させて頂くことになりました。 さてデータといえば、最近では統計処理ソフトR、Pythonの数値計算ライブラリNumPyや機械学習ライブラリscikit-learnなど高度なデータ分析を行うための環境を簡単に（しかもフリーで！）手に入れることが出来るようになりました。以前であれば大学の研究者やアナリストといった専門家向けのマニアックなツールとして知る人ぞ知る存在だったはずですが、近年のブームの中、書籍やネットで紹介されることで、その存在が広く知れ渡るようになりました。これらのツールは一定の書式で値を入力するだけで簡単に解析結果を返してくれる大変便利なものですが、得られた結果が妥当なものであるかどうかは別途、評価しなければならないのが普通です。その際、適切な評価
pythonで特異値分解 - おっぱいそん！
pythonで特異値分解(singular value decomposition,SVD)をする時のメモ。 一般の密行列のSVD あまり選択肢がないみたい。とりあえず、Numpy or ScipyのSVDを使っとけば間違いなさそう。 numpy.linalg.svd(a, full_matrices=1, compute_uv=1) scipy.linalg.svd http://docs.scipy.org/doc/numpy/reference/generated/numpy.linalg.svd.html http://docs.scipy.org/doc/scipy/reference/generated/scipy.linalg.svd.html 行列AをSVDしたければ、 import numpy as np X, Y, Z = np.linalg.svd(A) import
Pythonで「直交行列Uを用いた対称行列Aの対角化」を行う（固有値分解） - Qiita
が成立するので、Aのn乗の計算がとても容易になります。 この度、その対角化の計算(固有値分解)を容易に行うことができるpythonコードを作成しました。 def Eigenvalue_decomp(A): # 対称行列Aを、直交行列Uを用いて対角化する。 import numpy as np if A.shape[0]!=A.shape[1]: #Aが正方行列でない場合エラーを返す raise Exception("error! A is not square matrix!") if (A==A.T).all()==False: #Aが対称行列でない場合エラーを返す raise Exception("error! A is not symmetric matrix!") la, U = np.linalg.eig(A) # eigen value and eigen vector is
統計学復習メモ9: 主成分分析の計算方法 - Weblog on mebius.tokaichiba.jp
かつてＪＲ横浜線 十日市場駅近くのMebius (CPU:Pentium 150MHz)より発信していたウェブログです。 主成分分析の話になると大抵、固有ベクトルか特異値分解のどちらかが出てくる。主成分の単位ベクトルが固有ベクトルとして直ちに求められ、主成分の大きさが特異値分解を使って直ちに求められるからだ。 それにしても、行列には固有値や固有ベクトルがあるというのも、統計には分散や共分散があるというのも、理系の大卒なら誰でも知ってることだろうが、「共分散行列の固有ベクトルが主成分の単位ベクトルになる」と言われると、全く関係ない３つのものが突然シンプルに組み合わせられた感じで、衝撃的である。まるで のような神秘的なものを感じるのは筆者だけだろうか。 そのこと自体は、至る所に証明というか説明があり、その方法も幾通りもある。基本的には、あるデータのど真ん中を通る直線として、最小２乗法のように２
主成分分析(PCA)がなぜ分散共分散行列を対角化する固有値問題となるか - 緑茶思考ブログ
主成分分析（principal component analysis:PCA）とは？ 教師なし学習の一つ。 データの分散（ばらつき）が大きいところ（主成分）を見つける操作。 つまり分散が大きいところが大事で、小さいところは気にしないようにする。 既存の特徴を組み合わせて分散が大きくなる新たな尺度となる特徴を見つける。 例えば、2つの特徴を組み合わせて1つの特徴でその対象を上手く捉えることができたら、 パラメータを減らせる。 PCAのアルゴリズム 全データの重心を求める（平均値） 重心からデータの分散（ばらつき）が最大となる方向を見つける 新しいデータ表現軸として、2.で求めた方向を基底とする 上記でとった軸と直交する方向に対して分散が最大となる方向を探す。 2.~3.をデータの次元分だけ繰り返す PCAの目的 データの特徴抽出 データのバラつきが大きい部分に着目することでよいデータを識別し
異空間への埋め込み！Poincare Embeddingsが拓く表現学習の新展開 - ABEJA Tech Blog
ABEJAでResearcherしている白川です。 今回ご紹介するのは、Poincaré Embeddings [1]という手法です。その内容に驚愕し、個人的に調べたり実装したり勉強会でお話したりしていたところ、最近運良く自分の実装をredditで取り上げてもらえたので、これを機にその驚愕の内容を共有できればと思います。 正直、自分の中ではまだ煮詰まりきっていない技術なので、現況の共有はしますが、ところどころ私の憶測や展望、期待が入り混じっていることをご容赦ください。 www.reddit.com Poincaré Embeddingsは大雑把に言えばword2vecを異空間で実現する技術で、双曲空間（Hyperbolic Space）という、おなじみのEuclide空間（2点$x,y$の間の距離を$\sqrt{(x_1 - y_1)^2 + (x_2 - y_2)^2 + ... + (
みんな、こういう理系の大学教員のこと、どう思う？ - hiroyukikojima’s blog
[追記：8/21] いつになく話題になったようなので、少し補足する。ぼくの本からの引用で、前回は省略した部分を、書き加える。どのくらい親切に書いているかを知ってもらえば、こやつの「信じられなさ」が浮き立つと思う。(それに拙著の販促にもなると思うし)。 あと、ぼくが最も問題にしているのは、このメール文からわかるように、この教員が、自分がわからないことを理解する努力を怠ること。こういう人は入試の採点で、きっと、大変なことをやらかす。２次試験の記述問題は、通常、２人以上で行うと思うけど、もう一人の採点者が読み間違えた採点をこの教員はそのままスルーする可能性が高い(理解できないことを、掘り下げる努力を怠るから)。 今日、とある大学教員から、拙著『世界は素数でできている』角川新書に対して、質問とも批判ともつかないメールがきた。 もちろん、知らない人だし、面識もない。 この人、国立大学の教員のようだ。
今すぐブラウザ上で本格的な数式やグラフまで描くことが可能なオンライン数式エディタ「Mathcha」 - GIGAZINE
分数や関数など、本格的な数学で使われる数式を描画する際には、数式に特化した組版処理システムであるLaTeXがよく使われていますが、オンライン数式エディタの「Mathcha」はLaTeXと同等の機能をブラウザからアクセスするだけで今すぐ誰でも利用することができ、しかも作成した数式や文書はネット上でシェアしたり、PDFファイルとして書き出したりすることが可能です。 Mathcha - Powerful Online Math Editor - Fast Inputting, Diagram Drawing, Easy Sharing https://www.mathcha.io/ Mathchaは本格的な数式やグラフを作成し、さらにはテキストを挿入して説明文や注釈を入れることが可能なツール。この画面は英語で作成されていますが、日本語を入力することも可能です。 また、以下のような図形を作ることが
はじパタ9章で飛ばされがちな部分の説明1(グラム-シュミットの正規直交化, 主成分分析) - Qiita
はじパタ9章をそこそこ頑張って読んでもわからなかった人を対象にしています。 (社内勉強会用なので、言葉足らずな部分があるかも。。コメントしていただけたらできるだけすぐ返事します) 行列の四則演算、転置行列の定義や展開方法、行列の微分、逆行列は知っている前提です。 特異値分解、CLAFIC法に関する説明はこちら↓ http://qiita.com/yukimt3/items/1738bff16046a3d7c501 行列の四則演算、転置行列の定義や展開方法、行列の微分、逆行列に詳しくない人へ 行列の足し算、引き算 行列の掛け算 転置行列、逆行列、対称行列について 行列の微分について(各成分に対して偏微分しているだけ) 部分空間とは 例題ではじめる部分空間法の11 - 13枚目 例えばxyzの3次元空間(V)において、xy平面(W) \vec{x_1} = (1,0,0)\\ \vec{x_2
「情報幾何」に入門するための資料PDF。解説論文と機械学習への応用の紹介 - 主に言語とシステム開発に関して
講義ノートの目次へ 日本から発信された数理的手法である情報幾何を学ぶための資料。 機械学習などに応用されている。 無料で閲覧・学習できるマテリアルを集めた。 「情報幾何」を学ぶための資料 情報幾何の基礎となる考え方： 情報幾何学 甘利俊一 http://ci.nii.ac.jp/els/110007390345.... 本家。オープンアクセスから論文PDFを読める。１９９２年「応用数理」より。 引用：「情報要素の一つ一つを分離して考えるのではなく，つながった全体つまり多様体として考えてそこに豊かな構造を導入すれば，情報の分野に新しい方法論を提供できるに違いない．これが情報幾何学の目指すところである」 情報幾何入門 http://www.eb.waseda.ac.jp/murata/nob... ６ページ。早稲田大の村田 昇先生の解説論文。 引用：「情報幾何は確率分布の空間が持つ幾何学的な構
機械学習ゴリゴリ派のための数学とPython
4. 3 会社紹介 ≪書籍≫ 『One to Oneマーケティングを超えた 戦略的Webパーソナライゼーション』 (出版社：日経BP社 発売：2002年5月） 弊社代表トーマス・フォーリーの著書です。 ≪受賞歴・メディア掲載≫ 社名 ： 設立 ： 代表者 ： 資本金 ： 事業内容： 所在地 ： シルバーエッグ・テクノロジー株式会社 1998年8月 代表取締役兼CEO トーマス・フォーリー 242百万円 （2016年10月26日現在） 人工知能技術をベースとした、 リアルタイムレコメンドサービスおよび ターゲティング型広告サービスの提供。 【大阪本社】 〒564-0063 大阪府吹田市江坂町1-23-43 ファサード江坂ビル10F 【東京オフィス】 〒102-0072 東京都千代田区飯田橋2-6-6 ヒューリック飯田橋ビル5F スマートターゲティング技術で、リアルタイムレコメンドサービス『ア
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
MATH POWER もっと社会に数学を
Convolutionの数理とアルゴリズム
