数量化Ⅱ類
判別分析＋ 心理データ解析演習 2013/6/19 M1 宮坂まみ Why 数量化理論? 数量化理論の誕生 2 林知己夫を中心として発展した 多変量解析の理論 林知己夫; 1974-1986年 統計数理研究所七代所長 3 数量化理論のﾌﾟﾛﾌｨｰﾙ （統計数理研究所HPより） サンプリング調査を勉強することになった林先生。 「標本を増やせば必ず差が出るので，やらなくても分 かっていると感じたのである。」 「世の中には，“数学的に同じ”，“相関係数0”，“数 学的に独立なもの”は存在すると考える方がおかしいの である。しかし，これが統計的仮説の土台となっている のである。」 「このあたりで，従来から持っていた私の“データ”な るものを大事にする考え方が私の志向する統計学の中で 固まりかけてきた。つまり，“データによる現象解析の ための統計的方法（データ
青木繁信氏：おしゃべりな部屋 （統計学ほか）
アクセスしていただき，ありがとうございます。 このページへのアクセスは，通算 6265344 回目です。 （1995年8月31日 からカウント開始） フォト蔵ふ つれづれなるままに ときどき一枚 狛犬ギャラリー 道祖神ギャラリー
統計検定 データサイエンス発展及びエキスパート（CBT）｜統計検定：Japan Statistical Society Certificate
実施趣旨 社会が大量のデータを生み出し、価値を創出する「データ時代」となり、データサイエンスの重要性が広く認識されるようになりました。文部科学省も数理・データサイエンスをすべての大学生が学ぶべき分野と位置づけ、この分野の教育強化を進めています。特に「数理・データサイエンス教育強化拠点コンソーシアム」において大学における標準的なカリキュラム及びスキルセットが整備されています。 「データサイエンス基礎」を踏まえて、「データサイエンス発展」では大学教養レベルの一般的な内容について、さらに「データサイエンスエキスパート」では大学専門レベルの内容について、CBT方式で評価・認証します。試験内容は、上記の数理・データサイエンス教育強化拠点コンソーシアムのスキルセットに準拠します。これによりデータサイエンスのスキルレベルを客観的に評価します。 試験内容（予定） 試験内容の概要は以下の通りです。データサイ
改訂増補版：統計検定を理解せずに使っている人のためにII
© 2019 Japan Society for Bioscience, Biotechnology, and Agrochemistry © 2019 公益社団法人日本農芸化学会 改訂増補にあたってこの総説は，「統計検定を理解せずに使っている人のためにII」の改訂増補版であり，「改訂増補版：統計検定を理解せずに使っている人のためにI」の続きである．改訂増補に当たっての詳細は，「改訂増補版：I」の冒頭をお読みいただきたい．この改訂増補版では，「II」にあった誤りを修正した．また，理解しにくい部分について，さらにわかりやすい説明に努めた． 「改訂増補版：I」では，母集団，標本，母分散，母標準偏差，標本分散，標本標準偏差，不偏分散，不偏標準偏差，パラメトリック検定とノンパラメトリック検定の違い，正規性の検定について主に記述した．これらの理解が曖昧な場合は，再度「改訂増補版：I」をお読みいただき
F値 - 機械学習の「朱鷺の杜Wiki」
正解率 (精度, accuracy)：正や負と予測したデータのうち，実際にそうであるものの割合 \[\mathrm{Accuracy}=\frac{TP+TN}{TP+FP+TN+FN}\] 適合率 (precision)：正と予測したデータのうち，実際に正であるものの割合 \[\mathrm{Precision}=\frac{TP}{TP+FP}\] 再現率 (recall, 感度, sensitivity)：実際に正であるもののうち，正であると予測されたものの割合 \[\mathrm{Recall}=\frac{TP}{TP+FN}\] 特異度 (specificity)：実際に負であるもののうち，負であると予測されたものの割合 \[\mathrm{Specificity}=\frac{TN}{FP+TN}\] F値 (F尺度, F-measure)：再現率と適合率の調和平均． \[\
「使い分け」ではなく「妥当かどうか」が大事：重回帰分析＆一般化線形モデル選択まわりの再まとめ - 六本木で働くデータサイエンティストのブログ
先日の記事はおかげさまで好評をいただいたんですが、勉強中の身で教科書を確認せずに書いたこともあり多数ツッコミをいただきました。ツッコミをいただけるというのはもちろん大変良い勉強の機会になるということで*1、今回もひとしきり勉強してみました。 ということで、自戒も込めて備忘録的に勉強したことをまとめておこうと思います。今回はあまり広く読んでもらう内容ではないので、不親切かもしれませんがごめんなさい。ただし、あまりにも理論的側面ばかり色々書いても何なので、インターネット広告業界の言葉で喩えて言うなら「クリック数*2をモデリングしたい場合」と「コンバージョン数*3をモデリングしたい場合」とに分けた、と理解してもらえたら良いかなと思ってます。 今回も参考文献は久保本です。一般化線形モデルまわりではこの本より分かりやすい本は依然としてないと思います。 データ解析のための統計モデリング入門――一般化線
数学カフェ 確率・統計・機械学習回 「速習 確率・統計」
The document describes various probability distributions that can arise from combining Bernoulli random variables. It shows how a binomial distribution emerges from summing Bernoulli random variables, and how Poisson, normal, chi-squared, exponential, gamma, and inverse gamma distributions can approximate the binomial as the number of Bernoulli trials increases. Code examples in R are provided to
確率分布 - MATLAB & Simulink - MathWorks 日本
確率分布による標本データの当てはめ、pdf や cdf などの確率関数の評価、平均や中央値などの要約統計量の計算、標本データの可視化、乱数の生成などを行います。確率分布を処理するには、確率分布オブジェクト、コマンド ライン関数または対話型アプリを使用します。これらの各オプションについての詳細は、確率分布の操作を参照してください。 カテゴリ離散分布 整数値の分布から標本を計算、近似または生成 連続分布 実数値の分布から標本を計算、近似または生成 多変量分布 ベクトル値の分布から標本を計算、近似または生成 調査と可視化 分布関数のプロット、対話形式での分布の近似、プロットの作成、乱数の生成 疑似乱数と準乱数の生成 疑似乱数および準乱数標本データの生成 リサンプリングの手法 ブートストラップ、ジャックナイフおよび交差検証を使用してデータセットをリサンプリング
【データ分析の必読10冊+差をつける10冊＋100冊超】データサイエンス、データ分析、機械学習関連の本 - Qiita
【データ分析の必読10冊+差をつける10冊＋100冊超】データサイエンス、データ分析、機械学習関連の本本機械学習数学データ分析データサイエンス Update版2023年版データ分析の100冊を書きましたよ！ 必読10冊を更新。データサイエンス、データ分析、機械学習周りでおすすめ図書10選のような記事は良く見ますが、網羅的な紹介記事はあまり見かけないので自分が欲しいと思い書きました。私よりたくさん読んでいる方は多々いらっしゃると思いますが、記事を書いてくださいな。 別の観点でデータ分析プロジェクトのフェーズ毎の参考書籍紹介という記事を新たに書きました。 データ分析の各フェーズ（データ分析プロジェクト全体-ビジネス状況の理解-データの理解-データの準備-モデルの作成-評価-展開）毎に参考書籍を紹介しています。 本記事の対象と想定 Qiitaはプログラマやコンピューター系技術者のための記事と思っ
経済指標の見方・使い方＜H17.４＞
１ はじめに 今月は、ジニ係数とローレンツ曲線について解説します。ジニ係数やローレンツ曲線は、経済活動の成果である国全体の所得が各世帯にどのように分配されているのかを調べるときに、最もよく用いられる指標です。 近年、人口構成の高齢化や雇用形態の変化、核家族化の進行などに伴い、世帯間の所得格差が増加しつつあることが報告されています。昨年６月、厚生労働省は、再分配を行なう前の所得（当初所得）の格差をジニ係数で測って、これが、調査開始以来、最も高い（所得格差が大きい）値を示していることを明らかにしました１）。また、京都大学の橘木教授はジニ係数の国際比較から、一般的な予想に反して日本の所得分配は国際的にみて必ずしも平等ではないことを指摘しています２）。 以下では、これらの分析で用いられているジニ係数やローレンツ曲線の意味と、これによって所得格差を測ることの経済学的な根拠についてお話しいたします。
ビジネス実務の現場で有用な統計学・機械学習・データマイニング及びその他のデータ分析手法10+2選（2016年版） - 渋谷駅前で働くデータサイエンティストのブログ
そう言えば3年前にこんなまとめ的エントリを書いたのでした。この内容はそのままかなりの部分が2年前に刊行した拙著の原案にもなったということで、色々思い出深いエントリです。 なのですが。・・・この3年の間に統計学・機械学習・データマイニングの諸手法及びそれを取り巻くビジネスニーズには様々な進歩があり、そろそろこの内容にも陳腐化が目立つようになってきました。ということで、3年間の進歩を反映してアップデートした記事を書いてみようと思います。前回は「10選」でしたが、今回は「10+2選」に改めました。そのラインナップは以下の通り。 統計学的検定（t検定・カイ二乗検定・ANOVAなど） t検定 カイ二乗検定 ANOVA（分散分析） その他の検定 重回帰分析（線形回帰モデル） 一般化線形モデル（GLM：ロジスティック回帰・ポアソン回帰など） ロジスティック回帰 ポアソン回帰 正則化（L1 / L2ノルム
統計検定２級｜統計検定：Japan Statistical Society Certificate
2022年以降の試験について 2020年12月22日にお知らせいたしましたとおり、統計検定１級以外の紙媒体を利用した従来の試験（PBT方式試験）は2021年をもって終了し、CBT方式試験に移行いたします。 参照：１級以外の種別の紙媒体を利用した従来の試験（PBT方式試験）の終了について 実施趣旨 統計学は「科学の文法」と言われているように、自然科学、人文科学、社会科学等の学問分野で、実証分析、データに基づいた意思決定等のために用いられています。第4の科学と言われている「データ中心科学」の礎、中核となる理論、手法を提供しています。統計学の知識を利用することにより、仮説に対してデータをもとに検証するという統計的問題解決が行えます。日本においても、統計関連学会連合において、大学における「統計学分野の教育課程編成上の参照基準」が作成されました。統計検定２級は、この参照基準に示されている大学基礎科目
「そのモデルの精度、高過ぎませんか？」過学習・汎化性能・交差検証のはなし - 渋谷駅前で働くデータサイエンティストのブログ
今年の1月にこんな話題を取り上げたわけですが。 この記事の最後にちょろっと書いた通り、実際にはこういう"too good to be true"即ち「そのモデルの精度いくら何でも高過ぎるんじゃないの？」→「実は汎化性能見てませんでした」みたいなケースって、想像よりも遥かに多くこの世の中存在するみたいなんですね。ということで、それこそ『はじパタ』の2章とかPRMLの最初の方に出てくる初歩中の初歩なんですが、その辺の話を改めてだらだら書いてみようと思います。 そもそも「精度100%」とか「相関係数0.9以上」とか見たら身構えるべき 冒頭に挙げた例は、そもそも「精度100%なんておかしい」という声があちこちから挙がったことで話題になり、蓋を開けてみたらleakageはあるわ訓練誤差でしか評価してないわで散々だったわけです。 一般に、実世界のデータセットで統計モデリングにせよ機械学習にせよモデリン
RでL1 / L2正則化を実践する - 渋谷駅前で働くデータサイエンティストのブログ
L1 / L2正則化と言えば機械学習まわりでは常識で、どんな本を見てもその数式による表現ぐらいは必ず載ってる*1わけですが、そう言えばあまり実務では真面目にL1 / L2正則化入れてないなと思ったのと、Rでやるなら普通どうするんだろう？と思ったので*2、もはや周回遅れみたいな感じではありますが備忘録的に実践してみようかと思います。 L1 / L2正則化って何だっけ ということで復習（自分の記憶が合っているかどうかの確認）。。。PRMLにも載ってる有名な図がありますが、あれの説明が直感的には最も分かりやすいかと思います。これは重み付けベクトルが2次元の場合、つまりとを求めるという問題を想定した図です。もうちょっと言えば2次元データに対する分類or回帰問題ということで。 基本的には分類器にせよ回帰モデルにせよ、学習データに対する誤差*3を定式化して、これを最小化するように（このケースでは2つの
【数学】「内積」の意味をグラフィカルに理解すると色々見えてくる - Qiita
線形代数の勉強を始めると割とすぐ出てきますよね、内積。 計算自体はさほど難しくはないのだけれども、いまいちピンとこないという方、それなりにいるんじゃないでしょうか。私もそうでした。 なので、今回の可視化シリーズは「内積」にスポットを当ててみます。 また、統計学でもいたるところにも内積で理解できる事項が出てきて、「内積すげー」ってなります 。 ベクトルってデータの並びですので、統計学に非常に関連するんですね。統計学での扱われ方は次回からですが、まずは内積から。 #0.先に結論を少々# ごにょごにょ前説が必要なので、内積の意味の結論だけ先にまず書きたいと思います。 内積は数式としては、下記のように書くことができます。 それを視覚的に表すと、下記のようになりベクトル${\bf a}$の長さに、ベクトル${\bf c}$の長さをかけたもの、という意味を持たせることができます。(${\bf c}$は
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Excelで微分方程式を解く
まなぼう統計 / 統計を知ろう・学ぼう / データの特徴・変化をとらえよう - 資料のちらばりを表す - 代表値
@kenmatsu4のマイページ - Qiita
「内積が見えると統計学も見える」第5回 プログラマのための数学勉強会 発表資料
aabbdd