重回帰分析の結果を読み取る指標のひとつ「決定係数」。１に近いほど分析の精度が高いことを表します。しかし、決定係数だけに気を取られていると分析結果を読み違えてしまうことも。決定係数を正しく理解しましょう。 回帰分析の分析結果で一番気になるものの一つが決定係数ではないでしょうか。 決定係数とは、回帰分析によって求められた目的変数の予測値が、実際の目的変数の値とどのくらい一致しているかを表している指標です。 回帰分析には、y=ax+bという式で表すことができる単回帰分析と、説明変数が複数ある重回帰分析があります。まずは単回帰分析から見ていき、決定係数とは何か？　を考えてみましょう。 単回帰分析における決定係数 単回帰分析ではy=ax+bの形で目的変数（y）の値を予測しますが、あくまで「予測値」のため実際の目的変数の値とは完全に一致しません。 そのため、何を説明変数（x）とするかによって、「予測が

Pythonの相関係数の挙動が予想と違っていたので、忘れないようにメモ。 確認のため、コレスキー分解を用いて相関を持つ多変量正規乱数を発生させ、相関係数を計算させる。 相関係数の計算には、NumPyのcorrcoefか、pandasのデータフレームのcorr()が使えるが、以下のように挙動が異なっているため注意が必要。 NumPyのcorrcoefはデフォルトでは行間の相関係数を計算する。そのため、Rのcor関数と同じ出力を得るためには転置するか、rowvar=Falseをオプションとして指定する必要あり。 一方のpandasのデータフレームのcorr()メソッドは、列間の相関を計算するためRのcor関数と同じように使える。 共分散を計算させるのも同じような考慮が必要。 # -*- coding: utf-8 -*- import numpy as np import matplotlib

引き続きseabornのグラフ描画です。 基本モジュールを読み込みます。 import numpy as np import pandas as pd from pandas import Series,DataFrame import matplotlib.pyplot as plt import seaborn as sns今回はirisデータセットを使用します。 iris = sns.load_dataset("iris",engine="python") pairplot datasetの項目毎の関連性をプロットします。 sns.pairplot(iris) hueを指定して項目分散もプロット可能です。 sns.pairplot(iris,hue="species") diag_kind="kde"とするとカーネル密度グラフに変更されます。 sns.pairplot(iris,hu

データセットの可視化 iris.csvをサンプルのデータセットとして，pandas, seabornで可視化の練習をした際のメモ．あくまで自分用メモなので図の種類やカラムの選び方など恣意的な箇所があると思いますが，ご了承ください(..)_ データ： https://raw.githubusercontent.com/uiuc-cse/data-fa14/gh-pages/data/iris.csv ヒストグラムの描画 iris.csvは，４つのカラムと１つのカテゴリ値 sepal_length,　sepal_width,　petal_length,　peta_width　と　species　から成る． カテゴリ値であるspeciesの分類を念頭においた可視化をする． まずは1つのカラムについて，分布を確認する． ・sepal_lengthの分布 import pandas as pd im

この10年間のプログラミングの変化、というのが流れてきたのだけど、個人的にはクラウド、型推論付き静的型、リアクティブかなぁという風に思ってます。 クラウド(とスマホ) 2008年にGoogle App Engineが出たり、最初のHadoopサミットが行われたり、ちょうど10年前に始まったとも言えるクラウドは、すでに流行ではなく常識になっています。 いまや、クラウドを考えずにシステムを組むということはないんじゃないでしょうか。 スマホもこの10年で広まり、端末にUI、データはクラウドということも当たり前になっています。 40%の視聴率をもった紅白で視聴者が同時投票するようなことも、AWSを使って危なげなく行えるようになっていますが、10年前にこのようなサービスをたった4時間だけ行うということはなかなか考えにくいもので、実現できるのも限られたベンダーだけだったと思います。けれどもいまではそれ

三行で 自然界のデータにはたくさんノイズがある ノイズがあると、法則性をうまく見つけられないことがある そんなノイズをうまく無視するのがRANSAC こんにちは。今日は大学院でやっているの情報学に関するネタをお送りします。 先日ふと、「そういえばちゃんと勉強したことがなかったなぁ」と思い立ったので、RANSACを勉強 & 実装してみました。 RANSACとは 大学院の研究で画像などの自然界のデータをとっていると、ノイズなどの原因で法則性から大きく外れて現れた「外れ値」がデータ中に含まれることがあります。外れ値は、データから法則性を見出す時に邪魔をします。そんな時に、外れ値をうまく無視して法則性(パラメータ)を推定をする手法がRANSACです。 ...なんて概念の話では分かりにくいので、具体例を見てみましょう。以下、法則性を「モデル」と読み替えます。 直線のモデル推定 与えられた点群から、そ

def my_generator(): yield 1 yield 2 yield 3 gen = my_generator() gen.next() gen.next() gen.next() ・想定した結果 1 2 3 ・現実の結果 AttributeError: 'generator' object has no attribute 'next' ・環境 Python3.6 原因 AttributeErrorってまず何やねんってレベルなのでひとまず検索。 すると早速素晴らしい記事を発見。 [参考にさせて頂いた記事] Pythonエラー一覧（日本語) こちらの記事によると Attribute系(AttributeError) AttributeError: 'X' object has no attribute 'Y' 'X'オブジェクト(Xにはstrやmoduleなどの型名が入ります

自然言語処理に前処理は不可欠です。テキストは文字の羅列であり構造化されていないため、そのままでは処理するのが難しいです。特にWebテキストの中には HTMLタグ や JavaScript のコードといったノイズが含まれています。このようなノイズは前処理して取り除かなければ期待する結果は得られないでしょう。 出典: Deep learning for computational biology 本記事では自然言語処理における前処理の種類とその威力について説明します。説明順序としては、はじめに前処理の種類を説明します。各前処理については、1.どんな処理なのか、2.なぜその処理をするのか、3.実装方法(なるべく) という観点から説明します。種類について説明した後、前処理の威力を測るために前処理をした場合としなかった場合での文書分類の結果を比較します。 前処理の種類と実装 この節では以下に示す5つ

今日は TF-IDF についてざっくりとまとめます。 特徴量と特徴抽出 TF-IDF は情報検索や文書推薦などで幅広く利用される特徴量の指標です。 特徴量 - 対象の特徴を表現する値 特徴抽出 - 対象から特徴量を取り出す 日本語の特徴抽出 英語の場合はホワイトスペースで分割してから記号などを取り除くだけで特徴抽出できます。 日本語の場合は形態素解析または N-Gram などの索引文字列抽出方法を利用します。 索引語頻度 TF (Term Frequency) ある文書 d の中に出現する索引語 t の頻度です。文書中にその単語が何回現れたかをあらわします。 単語 回数