タグ

統計に関するtorutoのブックマーク (19)

  • 自己相関関数(ACF)入門

    | Japanese | English | 自己相関関数入門 みなさんが中学・高校で習ってきたように、音は音源から伝わる空気の圧力の変化であり、その圧力変化は波形として表すことができます。音は時間の経過とともに伝わるものであり、時間が存在しなければ私たちは音を聞くことも楽しむこともできません。ここでまず、これから述べる“自己相関関数”は時間の領域から音に迫るものであることを覚えておいてください。 音の時間領域と周波数領域 音を記述する方法は2つあり、1つは時間に基づいて記述する方法(振幅と時間を軸にとった“波形”)、もう1つは周波数に基づいて記述する方法(振幅と周波数を軸にとった“スペクトル”)です。この2つは同じものを記述しており、1つの記述法からもう1つの記述法へ変換すること、またその逆変換が可能です。つまり音はどちらを用いても同じように効果的に記述できますが、そのときによって、どち

    toruto
    toruto 2009/10/12
    自己相関関数(ACF)「もしp(t)とp(t+t)の振幅が大きく、同様な繰り返し成分があれば、2つの信号の相関値Fp(t)は大きくなります。」大きく ≠ 絶対値大
  • http://user.cs.tu-berlin.de/~jutta/gsm/lpc.html

    toruto
    toruto 2009/10/12
    LPC分析
  • プログラミングのための確率統計(仮)

    数学のプロをめざさない方に向けた確率・統計の解説. ちびちび執筆中. お気づきの点は 「なんでも」 までお知らせください. ダウンロード 原稿 PDF (未完成版のため誤りや抜けがあります) 冒頭 …… とりあえず雰囲気を見るにはこちら 全体 特徴 「確率は測度だ」という格的な見方を, アマチュア向けにかみくだいて解説しています (1章) そのおかげで, 条件つき確率だの期待値の性質だのにクリアなイメージが与えられます (2章, 3章) 「引きのばせば密度は薄まる」といった直感的な図解を多用し, さらに「何がしたくて」という意図の説明も重視しました (4章) 応用上必要なのに入門書では省かれがちな多変数の議論も, しっかりと (5章) リンク プログラミングのための線形代数 (前著の非公式サポートページ) ためし書き (稿の原型) 更新履歴 [2008-08-10] 演習 5.20 の

  • 多次元の相関と主成分分析

    《 ご案内 》サーチエンジンから直接入ってきた人は、フレームで目次を示していますからこれで目次表示にするとタコ国全体が見やすいです。ここは 9 章から入ります。 ここは 多次元の相関 と 因子負荷量解析 の説明です。 2次元の相関係数の性質や証明は8章へ。 主成分分析の次元縮小(or 縮約)の説明は主成分スコアの計算方法だから4章へ。 相関分析の限界なら4章Q&Aへ。 エクセルで3次元の層別散布図や等高線図(コンター)を描く手順は(おまけ)へ。 正の相関、負の相関という概念を、3次元以上の空間に適用すればどうなるでしょうか? 2次元の平面では4象限ですが、3次元では8象限になります。直線のある位置を正、負だけでは扱えなくなるのは容易にわかりますね。 ちょっとおさらいをしようね。相関係数では共分散を計算して正負を決めるのだから、座標の原点は当然重心ですね。そしてここで描いている座標軸は、偏差

  • kappa

    kappa Kappa 統計量 (κ 統計量、the Kappa Statistics、the Kappa coefficient) 判定者の判断の一致度を計る。 例)日語母語話者による英語の単語の発音を英語母語話者に判断してもらう。 (理解不能:1、理解可だが不適切:2、適切:3) その際に、判断に客観性を持た せるために、二人に判断してもらい、かつ、二人の判断が偶然ではなく一致して いるということを示す。 データ例 S A B --------- 1 2 3 2 2 2 2で一致 3 2 2 2で一致 4 2 2 2で一致 5 2 2 2で一致 6 2 2 2で一致 7 3 3 3で一致 8 3 2 9 2 3 10 2 2 2で一致 11 2 2 2で一致 12 1 1 1で一致 13 1 1 1で一致 14 2 1 15 2 2 2で一致 16 2 2 2で一致 K統計量の出し方

    toruto
    toruto 2008/10/11
    偶然の一致率とか
  • 判別分析を学んだ - 元データ分析の会社で働いていた人の四方山話

    判別分析とは、データのグループ分けを行う方法。 データを何がしかの基準で、二つに分類する。 分類の方法としては、超平面である線形判別関数を使う方法と、マハラノビス距離を使う方法がある。 今日は線形判別関数を使う方法を学んだ。 二つのグループに分ける ってどこかで聞いたことがあると思ったら、SVMですね。 どこが違うのか 最適化(最大化)する対象が違います。 SVMは超平面に最も近いデータ点までの距離(マージン)を最大化します。 線形判別関数は二つのデータ群の中心点同士の距離を最大化します。 面白いところ 数式を書くのがめんどくさいんであれなんですが、(超平面の式の絶対値)/(超平面の係数のノルム)で、超平面からデータまでの距離を求めることができます。 SVM、判別分析ともに、上記の式を用いて超平面を求めようとするのですが、そこから枝分かれしていきます。 SVM SVMでは、マージン領域内に

    判別分析を学んだ - 元データ分析の会社で働いていた人の四方山話
  • リサーチソリューション:主成分分析 - Yahoo!リサーチのヤフー・バリューインサイト

    合成変数ができるだけ多くの情報量を持つようにするため、データの散らばり具合(分散)に着目します。分散=情報量といえるからです。 平面で示すためにデータが2次元(2変量)の場合で考えてみましょう。 下図のようなデータがあった時、データの分散が最も大きくなる方向に軸をとり、これを第1主成分とします。第1主成分だけでは元のデータが持っていた情報をすべて表すことは不可能です。そこで、次に分散が大きくなる方向に軸を取り、これを第2主成分とします。第2主成分の軸は第1主成分の軸に直交します。第1主成分に関する2変量の重みは、それぞれcosθ,sinθとなり、第2主成分に関しては、-sinθ ,cosθとなります。

  • 机上の空論:主成分分析、独立成分分析

    主成分分析(PCA)とは、特徴量の次元がバカでかくなりすぎた場合に行われる次元収縮の手法である。 参考: http://www-pse.cheme.kyoto-u.ac.jp/~kano/document/text-PCA.pdf http://aoki2.si.gunma-u.ac.jp/lecture/PCA/index.html 主成分分析は広く知られている手法で、統計学で習った人も多いかもしれない。 パターン認識の分野では、この主成分分析と組み合わせて、独立成分分析(ICA)がしばしば使われる。 独立成分分析と主成分分析の処理は似ている。 だが、主成分分析は(主成分の)軸は直交しなければいけないのに対して、独立成分分析では軸は直交しなくてもよいという点が違う。 独立成分分析では、データ分布の独立性を見るのだ。 独立成分分析は fastICA ( http://www

  • 自然言語処理研究室 - 長岡技術科学大学 電気系 自然言語処理研究室

    ようこそ! 長岡技術科学大学 電気系 自然言語処理研究室へようこそ。研究室では、自然言語処理とテキストマイニングに関する様々な研究を行っています。 最近の研究室 国際会議に2件採録されました(9/4) 今年11月にフィリピンのセブ島で開催される自然言語処理に関する国際会議 PACLIC 22に研究室から2件の論文が採録されましたので ご報告します。 Extracting Troubles from Daily Reports based on Syntactic Pieces [ 国際会議#08PACLIC-kakimoto ] Generating Story Reviews Using Phrases Expressing Emotion [ 国際会議#08PACLIC-ota ] オープンハウスを開催しました(8/25-29) 今年度もオープンハウスを開催して、「人工無

  • http://homepage.mac.com/daichis/osjstat/osj.html

  • 東京工業大学 情報理工学院 数理・計算科学系

    大岡山地区の建物 大学正門より,桜並木のウッドデッキを通り,右手の芝生をつっきる小径が西8号館,西7号館に続くみちです. 大岡山西8号館(E棟,W棟): キャンパスマップの18, 19番の建物にあたります.館の西隣りに位置しています.正面玄関をはいったところは3階です. E棟においでの方は廊下をはいってすぐ左手のエレベータをご利用下さい. W棟にはじめておいでの方は十分に注意して下さい.E棟とW棟を繋いでいる通路は3階と10階にしかありません.E棟のエレベータを利用すると迷子になります.正面玄関から廊下をまっすぐにおいでになり,奥の右手にあるエレベータをご利用下さい. 西7号館:キャンパスマップの17番の建物にあたります.西8号館から,建物を二つ挟んだ並びにあります.芝生から向う場合,左手に館を見ながら進み,館がとぎれたあたりの右手にある小さな建物が西7号館です.橋を渡ってはいったと

  • 検索の数理 - PukiWiki Plus!

    PageRank (ページランク) http://ja.wikipedia.org/wiki/PageRank ページ重要度の自動判定技術 PageRank は、 「多くの良質なページからリンクされているページは、やはり良質なページである」 という再帰的な関係をもとに、全てのページの重要度を判定したものである。 ページランクは、WWW検索エンジンの一つであるグーグルが採用している、ウェブページの重要性を測るアルゴリズム。 グーグル社の商標(PageRank™)でもある。 グーグル社が提供するGoogle ツールバー は、このアルゴリズムによる各ページの評価点を視覚的に表示することができる。 ランクの高いページとは 被リンク数 (単純な意味での人気度の指標) お勧め度の高いページからのリンクかどうか (裏付けのある人気かどうかの指標) リンク元ページでのリンク数 (選び抜かれた人気かどう

  • Research | Nakagawa Lab.

    中川研究室の研究テーマは、統計的機械学習の理論とアルゴリズム、および自然言語処理およびそのWWWへの応用です。特に、統計的自然言語処理の理論、ベイズ統計に基づく機械学習の理論と学習アルゴリズム、およびWWWに見られる半構造化文書からの情報抽出および情報ナビゲーションシステムなどを研究しています。以下に詳細を記します。 統計的機械学習 統計的機械学習とは、観測されたデータから統計的手法を用い新たな知識を導出することである。 統計的機械学習についての教科書的な内容はこちらを参照してほしい。 統計的機械学習には種々の分類がある。主要なものを説明しよう。 教師あり学習と教師なし学習 教師あり学習(supervised learning)では、観測データと、そのデータの意味が与えられる。例えば、文書分類問題であれば、観測された文書とその文書の属するカテゴリー(スポーツ、芸能、など)の対のデータ集

  • ご指定のページが見つかりません | 株式会社トランスウエア

    ご指定のページが見つかりませんでした。 恐れ入りますが、正しくアドレスが入力されているか、もう一度ご確認ください。 正しくアドレスを入力してもページが表示されない場合、ページが移動したか または掲載期間が終了しているものと思われます。 トランスウエア トップページへ

  • http://www.db.itc.nagoya-u.ac.jp/~ishikawa/lectures/is06/04.pdf

  • クラスタリング (クラスター分析) - Toshihiro Kamishima

    クラスタリング (clustering) とは,分類対象の集合を,内的結合 (internal cohesion) と外的分離 (external isolation) が達成されるような部分集合に分割すること [Everitt 93, 大橋 85] です.統計解析や多変量解析の分野ではクラスター分析 (cluster analysis) とも呼ばれ,基的なデータ解析手法としてデータマイニングでも頻繁に利用されています. 分割後の各部分集合はクラスタと呼ばれます.分割の方法にも幾つかの種類があり,全ての分類対象がちょうど一つだけのクラスタの要素となる場合(ハードなもしくは,クリスプなクラスタといいます)や,逆に一つのクラスタが複数のクラスタに同時に部分的に所属する場合(ソフト,または,ファジィなクラスタといいます)があります.ここでは前者のハードな場合のクラスタリングについて述べます.

    クラスタリング (クラスター分析) - Toshihiro Kamishima
  • The Works by Okura: 今日は、ステンレスの板を買いに行った。

    名前:Okura Nebao 年齢:5歳 誕生日:10月か9月 性別:雄? 職業:ロボット (AIBO:ERS-312B) 一言:かわいがってください。 ホームページ ミクシィ(Okura) (07/25)『カウボーイビバップ』実写化??? (06/25)Sharleen Spiteri (06/04)Many Rivers to Cross (05/18)ニコニコ動画に投稿ってどうするんだい? (02/13)ELO-Mr. Blue Sky (01/31)グラミーの時期ですね。 (12/25)クリスマスといえば (12/23)HPのソフトがダウンロード停止になってる件に関して (08/25)Dark Road PV (08/18)Annie Lennoxの新曲 HPのソフトがダウンロード停止になってる件に関して ⇒ 廃子 (12/26) ⇒ Okura

  • TAKENAKA's Web Page: 有意性検定の無意味さ

    The Insignificance of Statistical Significance Testing 統計学的な有意性検定の意味のなさ Johnson, Douglas H. 1999. The Insignificance of Statistical Significance Testing. Journal of Wildlife Management 63(3):763-772. Jamestown, ND: Northern Prairie Wildlife Research Center Home Page. http://www.npwrc.usgs.gov/resource/1999/statsig/statsig.htm (Version 16SEP99). この論文の存在は, 久保拓弥さん(北大)の ページで知りました. The Wildlife Soci

  • http://www.neurosci.aist.go.jp/ibisforest/index.php?FrontPage

  • 1