交差エントロピー - Wikipedia
情報理論において、交差エントロピー（こうさエントロピー）またはクロスエントロピー（英: cross entropy）は、2つの確率分布の間に定義される尺度である。符号化方式が、真の確率分布 ではなく、ある所定の確率分布 に基づいている場合に、とりうる複数の事象の中からひとつの事象を特定するために必要となるビット数の平均値を表す。 同じ確率空間における2つの分布 と において、 の に対する交差エントロピーは、次のように定義される。 ここで、 は のエントロピー、 は から のカルバック・ライブラー情報量（相対エントロピー）である。 と が離散確率変数なら、これは次のようになる。 連続確率変数なら、同様に次のようになる。 なお、 という記法は交差エントロピーだけでなく、結合エントロピーにも使われるので、注意が必要である。
Data binning - Wikipedia
Data binning, also called data discrete binning or data bucketing, is a data pre-processing technique used to reduce the effects of minor observation errors. The original data values which fall into a given small interval, a bin, are replaced by a value representative of that interval, often a central value (mean or median).[citation needed] It is related to quantization: data binning operates on
P値 | 統計用語集 | 統計WEB
P値 P-value 統計的仮説検定において、帰無仮説の元で検定統計量がその値となる確率のこと。P値が小さいほど、検定統計量がその値となることはあまり起こりえないことを意味する。 一般的にP値が5％または1％以下の場合に帰無仮説を偽として棄却し、対立仮説を採択する。 ア行カ行サ行タ行ナ行ハ行マ行ヤ行ラ行ワ行英字記号 Excel：このマークは、Excel に用意された関数により計算できることを示しています。 エクセル統計：このマークは、エクセル統計2012以降に解析手法が搭載されていることを示しています。括弧（）内の数字は搭載した年を示しています。 秀吉：このマークは、秀吉Dplusに解析手法が搭載されていることを示しています。 ※「エクセル統計」、「秀吉Dplus」は株式会社会社情報サービスのソフトウェア製品です。
p-value - Wikipedia
In null-hypothesis significance testing, the -value[note 1] is the probability of obtaining test results at least as extreme as the result actually observed, under the assumption that the null hypothesis is correct.[2][3] A very small p-value means that such an extreme observed outcome would be very unlikely under the null hypothesis. Even though reporting p-values of statistical tests is common p
23-2. 検定で使う用語 | 統計学の時間 | 統計WEB
23-1章では、次に示すようにコインを用いた検定の流れについて学びました。 50%の確率で表が出る普通のコインと、10%の確率でしか表が出ない不正なコインがどちらも2枚ずつあり、「普通のコインだよ」と言ってどちらかのコイン2枚組を渡されたとします。渡された2枚のコインを投げる試行を2回繰り返したところ、2回ともすべて裏でした。 「“稀である”と判断する確率の基準」を10%とした場合、この結果を元に検定を行うと「渡されたコインは普通のコインであるとは考えられない」という結論になります。すなわち、「渡されたコインは普通のコイン」が正しいと仮定したとき、観測した事象が起こる確率は6.25%であり、6.25%は10%より小さいためです。 このコインの問題を使って、検定で使われる用語について解説します。 ■帰無仮説と対立仮説 検定を行うため立てる仮説のことを「帰無仮説」といいます。帰無仮説に対する仮
t分布 - Wikipedia
統計学および確率論において、t分布（ティーぶんぷ、またはスチューデントのt分布、英: Student's t-distribution）は、連続確率分布の一つであり、正規分布する母集団の平均と分散が未知で標本サイズが小さい場合に平均を推定する問題に利用される。また、2つの平均値の差の統計的有意性を検討するt検定で利用される。t分布は、一般化双曲型分布の特別なケースである。 t分布は1908年にウィリアム・シーリー・ゴセットにより発表された。当時の彼はビール醸造会社であるギネスに雇用されており、ギネスでは秘密保持のため従業員による科学論文の公表を禁止していたので、彼はこの問題を回避するため「スチューデント」というペンネームを使用して論文を発表した[2]。 その後、ロナルド・フィッシャーがこの論文の重要性を見抜きスチューデントのt分布と呼んだため、このように呼ばれるようになった。 導出[編集]
t検定 - Wikipedia
この記事は検証可能な参考文献や出典が全く示されていないか、不十分です。出典を追加して記事の信頼性向上にご協力ください。（このテンプレートの使い方） 出典検索?: "T検定" – ニュース · 書籍 · スカラー · CiNii · J-STAGE · NDL · dlib.jp · ジャパンサーチ · TWL（2015年9月） t検定（ティーけんてい）とは、帰無仮説が正しいと仮定した場合に、統計量がt分布に従うことを利用する統計学的仮説検定の総称である。母集団が正規分布に従うと仮定するパラメトリック検定法であり、t分布が直接、もとの平均や標準偏差にはよらない（ただし自由度による）ことを利用している。2組の標本について平均に有意差があるかどうかの検定などに用いられる。統計的仮説検定の一つ。日本産業規格では、「検定統計量が，帰無仮説の下でt分布に従うことを仮定して行う統計的検定。」と定義してい
ttest_ind — SciPy v1.14.0 Manual
ttest_ind# scipy.stats.ttest_ind(a, b, axis=0, equal_var=True, nan_policy='propagate', permutations=None, random_state=None, alternative='two-sided', trim=0, *, keepdims=False)[source]# Calculate the T-test for the means of two independent samples of scores. This is a test for the null hypothesis that 2 independent samples have identical average (expected) values. This test assumes that the popula
Kaggleに登録したら次にやること ～ これだけやれば十分闘える！Titanicの先へ行く入門 10 Kernel ～ - Qiita
Kaggleに登録したら次にやること ～ これだけやれば十分闘える！Titanicの先へ行く入門 10 Kernel ～PythonKaggle 事業会社でデータサイエンティストをしているu++です。普段ははてなブログ1で、Kaggleや自然言語処理などデータ分析に関する記事を定期的に書いています。 Kaggleでは2019年に「PetFinder.my Adoption Prediction」2というコンペで優勝（チーム）し、「Santander Value Prediction Challenge」3というコンペで銀メダルを獲得（個人）しました。「Kaggle Master」と呼ばれる称号4を得ており、Kaggle内ランクは、約16万人中最高229位です5。 本記事では「Kaggleに登録したら次にやること」と題して、Kaggleに入門したい方に向けて次のようなコンテンツを掲載します。
LIMEで機械学習の予測結果を解釈してみる - Qiita
初投稿です 追記(20171031) HTMLを出力する際のエンコードがasciiだったため日本語が文字化けしていましたが、UTF-8をサポートするようになったようです！ 下記に文字化け対策の文章がありますが、読み飛ばしていただければ幸いです。 導入 セクシーなデータサイエンティストの皆様におかれましては、日々の業務で様々な機械学習のモデルを構築しておられるかと思います。それは例えば、あるサービスのユーザ情報を用いてコンバージョンするかしないかを予測していたり、またある時は年収を回帰で予測していたり、またあるときはユーザが投稿した画像情報についての二値分類やテキストデータについてのネガポジ分類をしていたりすることでしょう。 これらにつきものなのが、この予測モデルを実装する際の関係者への説明です。このモデルはどうしてこのような結果を出しているのか、なんでこのユーザは低い年収だと判定されている
House Prices - Advanced Regression Techniques | Kaggle
Predict sales prices and practice feature engineering, RFs, and gradient boosting
Latent and observable variables - Wikipedia
In statistics, latent variables (from Latin: present participle of lateo, “lie hidden”[1]) are variables that can only be inferred indirectly through a mathematical model from other observable variables that can be directly observed or measured.[2] Such latent variable models are used in many disciplines, including engineering, medicine, ecology, physics, machine learning/artificial intelligence,
統計集団 - Wikipedia
統計集団（とうけいしゅうだん、英: statistical ensemble）とは、統計力学における基本的な概念の一つで、巨視的に同じ条件下にある力学的に同じ系を無数に集めた仮想的な集団である[1]。統計的（とうけいてき）アンサンブル、確率集団（かくりつしゅうだん）、ギブズ集団、あるいは単にアンサンブルとも呼ばれる。 巨視的には同じ条件下にあっても、力学系が取り得る力学的な状態は一つに定まらない。無数に集めた系の内である状態を取っている系の割合を、系がその状態を取る確率であると考える。この確率で重み付けした加重平均をアンサンブル平均と呼ぶ。 ボルツマンらによる気体分子運動論の立場では、理想気体を多数の分子の集まりであると考える。多数の分子が衝突を繰り返して、個々の分子の力学状態が確率的に現れるものと見なされる（分子的混沌）。当時はまだ分子の存在が確証されていなかったため批判を受けた。 これ
Ensemble learning - Wikipedia
In statistics and machine learning, ensemble methods use multiple learning algorithms to obtain better predictive performance than could be obtained from any of the constituent learning algorithms alone.[1][2][3] Unlike a statistical ensemble in statistical mechanics, which is usually infinite, a machine learning ensemble consists of only a concrete finite set of alternative models, but typically
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Mean absolute difference - Wikipedia
Mean absolute error - Wikipedia
OASIS
scipy.ndimage.variance — SciPy v1.13.0 Manual
AWS Public Data Set
GitHub - marcotcr/lime: Lime: Explaining the predictions of any machine learning classifier
