不偏分散はなぜ n – 1 で割るのか？
鈴木です。技術ネタではなく異色のマニアックなネタです。 社内では統計の勉強会を毎週行っております。 その中で、普通の分散は\( n \)で割るのに、 不偏分散はなぜ\( n – 1 \)で割るのか、という疑問がわいたのですが、 社内では誰も納得できる答えを持ち合わせておりませんでした。 文献によっては「自由度」という概念で説明されていたのですが、 単に言葉で誤魔化しただけのような気がして、 自分で納得できる答えを探し求めた結果をここに残しておきます。 不偏分散とは 日本人全体の身長の平均と分散を求めることを考えてみます。 分散というのは、平均からどの程度散らばっているかを示す数値です。 例えば、120cm、140cm、160cmの3人は、138cm、140cm、142cmの3人よりも分散が大きくなります。 日本人全員の身長の分散といった場合は、身長の平均を求めて、 各人の身長から平均を引い
文系のための「多次元データ解析」
まずは、基本的な用語と、Rでの基本的なコマンドをここで学ぶ。何も知らずに、回帰分析や主成分分析、クラスター分析をするのは「無謀」というもの。気持ちは理解できなくは無いのだが。以下のトピックを見て、一つでも知らない用語があるならば、先に進まずに、最初から順にチュートリアルをこなした方が良い。また、理解できている人も、一般的な教科書とは異なった説明もある。軽く目を通した方が良いかもしれない。 文系のための「行列の構造」 文系のための「行列」（１）：行列データの構造について 文系のための「行列」（２）：多次元データについて 文系のための「行列」（３）：行列の種類について 文系のための「行列」（４）：「変数」と「添字」について 文系のための「行列の演算」 文系のための「行列の演算」：行列の「足し算」と「引き算」 文系のための「内積」（１）：行列の「掛け算」の方法 文系のための「内積」（２）：行列の
回帰分析II：重回帰分析の方法、科学的な将来予測
まずは第5回の後半でご紹介した電力消費量と気温との相関関係についてあらためて見ていきたいと思います。データはいつも利用している電力の使用状況データリンクと気象庁が提供している「過去の気象データ・ダウンロード」リンクを使います。過去の気象データは、東京地方の最高気温と最低気温を2013年1月1日から2013年11月15日までの日別値であらかじめCSV形式で“data.csv”というファイル名でダウンロードして利用します。 以下がダウンロードしたCSVデータです。 ダウンロードした時刻：2013/11/17 09:36:40 ,東京,東京 年月日,最高気温(℃),最低気温(℃) 2013/1/1,9.6,3.0 2013/1/2,14.4,4.2 2013/1/3,9.9,1.8 2013/1/4,6.9,1.0 2013/1/5,4.8,0.2 （途中省略） 2013/11/11,16.8,
回帰分析I：回帰分析って何？ から、最小二乗法、モデル評価、妥当性検討の実際まで
回帰分析I：回帰分析って何？ から、最小二乗法、モデル評価、妥当性検討の実際まで：ITエンジニアのためのデータサイエンティスト養成講座（6）（3/3 ページ） 手順4：モデルの修正：より精度の高いモデルを検討する 前述の3つのポイントからの評価からもモデル（1）でも十分精度のよいモデルだと判断されることがお分かりいただけたと思いますが、もっと精度の高いモデルを作ってみたいと思います。 グラフ2を見ると、身長が低いときの体重の増加量よりも身長が高くなってからの体重の増加量の方が大きく、身長と体重との関係は直線ではなく曲線と仮定することもできます。 確かに“体積は長さの3乗に比例して大きくなる”ということと“重さは体積に比例する”という、物理的な法則を身長と体重の関係に関して当てはめて仮説を見直すと、「体重は身長の3乗に比例する」という仮説を立てることもできます。 [体重]＝[身長]^3×[係
線形回帰による直線フィッティング - 人工知能に関する断創録
パターン認識と機械学習（PRML）まとめ（2010/8/29）のつづき。 PRML3章の線形回帰（Linear Regression）を実装してみます。そういえば、3章の実装はまるまる無視していた。何でだろう？ 今回は、受講している Courseraの機械学習コースの第一週目の課題を参考にしているのでPRMLと若干表記が違います。Courseraの課題ではOctaveというプログラミング言語で書いたのですが、ここではPythonを使います。 線形回帰による直線フィッティング 今回は、一変数の線形回帰で直線フィッティングする例を取り上げます。線形回帰は、「線形」という名前がついていますが、これはパラメータと変数の線形結合をモデルとして仮定するという意味で、直線でフィッティングするという意味ではないのだ！ここけっこう勘違いしやすい？というか講義で曲線フィッティングしているのに線形回帰ですとか言
Rails 4 へのアップグレード時に遭遇した問題 - クックパッド開発者ブログ
技術部の鈴木 (@eagletmt) です。 クックパッドでは8月に本体アプリケーションや API サーバ等で使われている Rails のバージョンを 3.2 から 4.1 へ順次アップグレードを行いました。 アップグレードは主に松田さん (@amatsuda) と私で進めました。 この記事ではアップレードの際に遭遇した問題の一部を紹介します。 MySQL strict mode の有効化 MySQL を使っている場合、Rails 4.0 からデフォルトで @@SESSION.sql_mode = 'STRICT_ALL_TABLES' が最初に実行されるようになりました (Ruby on Rails 4.0 Release Notes) 。 これを無効化するために database.yml で strict: false という設定が用意されています。 しかし、同じく Rails 4.0
statistics — Mathematical statistics functions
Source code: Lib/statistics.py This module provides functions for calculating mathematical statistics of numeric (Real-valued) data. The module is not intended to be a competitor to third-party libraries such as NumPy, SciPy, or proprietary full-featured statistics packages aimed at professional statisticians such as Minitab, SAS and Matlab. It is aimed at the level of graphing and scientific calc
bashに深刻な脆弱性 (CVE-2014-6271, CVE-2014-7169) - 気ままなブログ
bashにコード・インジェクション攻撃を許す深刻な脆弱性が見つかりました。(CVE-2014-6271, CVE-2014-7169) bashを起動する際に、環境変数に特殊な文字列を設定することで、任意の処理を起動することが可能になります。既に修正パッチの配布が開始されていて、GNUのダウンロード・サイトやOSのディストリビュータよりダウンロードできます。 CVE-2014-6271 それでは、CVE-2014-6271について、bashのソースコード (variables.c) を追いながら見ていくことにしましょう。 /* Initialize the shell variables from the current environment. If PRIVMODE is nonzero, don't import functions from ENV or parse $SHELLO
サイコムに来てください、本物の“静音PC”をお見せしますよ――「Silent-Master Pro Z97 Mini」が静かすぎる
例えば、同社が公開した資料によると、ベンチマークプログラムによってシステムに負荷をかけた状態の騒音は、左側面でわずか24.1デシベル。同製品は比較的コンパクトなサイズなので机上に設置する人も多いと思われるが、ユーザーが座る位置でも30デシベルを大幅に下回っている点に驚かされる。 第3者機関が実施した標準ケースファン搭載モデル（対象1）と、Noctuaファンに換装した静音モデル（対象2）の比較。もともと独Nanoxia製Micro ATXケース「Nanoxia Deep Silence 4」は静音ケースとして定評があるが、標準ケースファンを換装したサイコム仕様のモデルは、高負荷になるほど静音面で有利になり、かつ温度も低く抑えられているのが分かる 実際、騒音計を用いて深夜のオフィスで測定してみたところ、PCMarkや3DMarkなどを実行してみても環境騒音である30デシベルを上回ることはなく、
「モアイ」は終了しました
モーニング・アフタヌーン・イブニング合同Webコミックサイト「モアイ」は終了しました。 「コミックDAYS」「モーニング公式サイト」「アフタヌーン公式サイト」をご利用ください。
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
