サクサク読めて、アプリ限定の機能も多数!
トップへ戻る
掃除・片付け
ogyahogya.hatenablog.com
今回は確率分布が作る幾何学について説明します。 ●フィッシャー情報行列とリーマン多様体 まずは、前の記事で説明したような応用上よく出てくるガウス分布が幾何学的に次のように理解できることに注意しましょう(多様体についてはこちら)。 上の例のようにパラメータの組を一つ定めると確率密度関数を定めることができます。このことを一般化して次の確率分布の族である統計モデルと確率分布を特定するパラメータの集合である多様体を同一視できます(厳密には統計モデルにいくつかの条件を付ける必要がありますが、応用上気にしなくて良いことが多いです)。 確率分布が作る幾何学を考えるときに重要なフィッシャー情報行列はつぎのように定義されます。 フィッシャー情報行列は定義から対称行列であることが分かります。さらに、フィッシャー情報行列 が任意の について正定値対称行列であれば、多様体 は に対応するリーマン計量を導入すること
この記事ではノルム空間の間に定義された関数のガトー微分とフレッシェ微分について解説します。この記事の全体を通して を 上のノルム空間とします。ここで、ノルム空間とはノルムが定義されたベクトル空間のことです。例えば、 は 次元のベクトル空間で任意の に対して を と定義することで はノルムとなり、 は 次元のノルム空間ということになります。 ノルム空間 は有限次元かもしれないし、 で紹介したような2乗可積分な関数全体の集合 のように無限次元かもしれないことに注意してください。 全微分と方向微分 ノルム空間の間の線形写像の連続性と有界性 ガトー微分:方向微分の一般化 フレッシェ微分:勾配の一般化 参考文献 全微分と方向微分 まず、 とします。このとき、 が において全微分可能であるとは線形写像 が存在して、\begin{align} \lim_{h\rightarrow 0} \frac{||
この記事ではリーマン多様体という概念を説明します。リーマン多様体とは簡単に言うと多様体の各点に内積が導入された集合のことです。多様体のことを知らない人のために、まずは多様体から説明しましょう。その後に接空間、2つの多様体間の写像の微分、余接空間と1次微分形式、2次テンソル場の概念を説明して最後にリーマン多様体を定義したいと思います。以下の記事はこの記事の続編になっています。 ユークリッド空間と2次元球面の違い 位相空間の初歩 多様体 多様体に関する注意 多様体上の関数 接空間 速度ベクトル 二つの多様体間の写像の微分 余接空間と1次微分形式 2次テンソル場 リーマン多様体 参考文献 ユークリッド空間と2次元球面の違い 多様体を理解するために、まずよく知られているユークリッド空間について復習しましょう。ユークリッド空間は次の図のように一つの座標系で空間のすべての点を表示することができます。
この記事では、電力網のネットワーク、交通網のネットワーク、人間関係のネットワーク、神経ネットワーク、遺伝子ネットワークのようなネットワークシステムの性質を解析する際に重要なグラフラプラシアンについて解説します(枝に向きのないネットワークだけ解説します)。 グラフ、隣接行列、次数行列 下図のように節点と枝から構成されるネットワークを数学的に表現するには、グラフという概念が役立ちます。 グラフとは、節点の集合 と枝の集合 の組 のことです。例えば上のネットワークだと節点集合が で枝集合が です。このように なら が成り立つグラフを正確には無向グラフといいます(この記事では、無向グラフだけを説明します)。節点は頂点、枝は辺とも呼ばれます。 上のグラフはそれぞれの枝が同等の重要度を持っているとすると、次のような行列で表現できます。 つまり、上のグラフは枝 が存在するので行列の 成分と 成分のところ
で平均から大きく離れたところの生起確率の簡単な評価を与えました。今回はその評価をさらに精密にして、数理的な構造をもっと詳しく見たいと思います。前の記事で次の評価を与えました。 上の は確率変数 の積率母関数、 は確率変数 のキュムラント母関数 (物理では自由エネルギー) と呼ばれています。上の指数関数の中の は のもとで の上限を意味しています。これを改造することで の上界だけでなく下界も与えることができます。それがクラメールの定理です。 ●レート関数 まず、上の評価式の中にある の という制約を外した を考えましょう。この はキュムラント母関数をルジャンドル変換したものであり、レート関数と呼ばれています。レート関数は で説明している理由で凸関数となっていることが分かります。また、レート関数は平均値で最小値0となることが以下のように分かります。 ●大偏差原理 次の定理はクラメールの定理と呼
この記事では最適化理論の基盤となる凸解析の理論を解説します。 ●最適化問題とは 目的関数と呼ばれる関数 を制約条件 のもとで最小化する問題を最適化問題と呼びます。特に、 が凸関数で、 が凸集合である時、凸最適化問題と呼びます。凸最適化問題は効率的に解く方法がたくさん研究されています。 ●凸集合と凸関数と凹関数 次の性質を満たす集合を凸集合と呼びます。 つまり、ある集合の任意の2点を結んだ線分がその集合に含まれるなら、その集合は凸集合です。凸集合と非凸集合のイメージ図は次のような感じになります。 次の性質を満たす関数を凸関数と呼びます。 凸関数と非凸関数のイメージ図は次のような感じになります。 凸集合と凸関数はエピグラフという概念を通じて関係付けることができます。 例えば、次のようにエピグラフを図示することができます。 凸集合と凸関数は次の関係があります。 凸関数は最小化のしやすい関数ですが
前回簡単に説明した大偏差原理をエントロピーの概念を使って詳しく説明するために、今回はエントロピーについて説明します。また、カルバック・ライブラー情報量、最尤推定法などについても説明します。 ●エントロピー 有限個の事象のエントロピーは次のように定義されます。 これは確率変数のエントロピーへ次のように一般化されます。 エントロピーは平均情報量ともみなせます。 ●カルバック・ライブラー情報量(相対エントロピー) データはある確率分布に従う確率変数の実現値であると考えられることが多いです。しかし、その確率分布の形が分からないことがあり、得られたデータから真の確率分布を推定する必要がよくあります。推定した確率分布が真の確率分布にどれくらい近いかを表す尺度として次のカルバック・ライブラー情報量(相対エントロピー)というものがあります。 カルバック・ライブラー情報量の重要な性質として次の非負性がありま
このページを最初にブックマークしてみませんか?
『初級Mathマニアの寝言』の新着エントリーを見る
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く