はてなブックマーク

k-means(k平均法)は教師なし学習の中でもとても有名なアルゴリズムの一つです。例えば、顧客のデータから顧客を購買傾向によってグループ分けしたり、商品の特性からいくつかのグループに分けたりと使用法は様々です。 そんなk-measですが、実は中学生でも知っている点と点の間の距離を使うだけのアルゴリズムで成り立っているので、簡単に実装することができます。 今回は、k-means とk-meansの弱点を克服したk-means++をPythonを使って実装していきます。 k-meansの仕組み k-meansの問題点とk-means++ クラスの数を決めるエルボー法 scikit-learnを使ったk-meansとk-means++ まとめ 参考 k-meansの仕組み 今回は2つの変数からサンプルをクラスタリングすることを想定してみましょう。グラフはこんな感じになります。 import n

prophetはfacebookが無料で提供している時系列予測パッケージです。RでもPythonでも使うことができます。本家様サイトによると Prophet is a procedure for forecasting time series data based on an additive model where non-linear trends are fit with yearly, weekly, and daily seasonality, plus holiday effects. It works best with time series that have strong seasonal effects and several seasons of historical data. Prophet is robust to missing data and shift

テキストマイニング は文字列を対象したデータマイニング手法で、単語の出現頻度、出現タイミングなどを集計する簡単なものから、機械学習を用いてクラス分類する高度なものまで様々な解析手法があります。 今回はそんなテキストマイニング の中でも、単語の出現頻度をわかりやすく可視化するワードクラウドと、どの単語と一緒に出現しやすいかを調べる共起語、それを可視化する共起ネットワークを使って、私自身のtweetを解析したいと思います。 今回は以下の2冊を参考にしています。 Rによるやさしいテキストマイニング 作者:雄一郎, 小林発売日: 2017/02/17メディア: 単行本 Rによるやさしいテキストマイニング [活用事例編] 作者:小林 雄一郎発売日: 2018/10/06メディア: 単行本（ソフトカバー） 下準備 Rで日本語テキストマイニング を行うための有名なパッケージには{RMeCab}があります

中心極限定理とは、統計学を学び始めると必ずお目にかかる定理なのですが、安直に理解していると大変な勘違いをしてしまう定理です。しかし、いざ理解しようとしても、解説には難解なものも多くイメージしにくいのもまた現状です。今回はそんな中心極限定理について、直感的にわかりやすくイメージしてみます。 森のうさぎの平均体重は何キロ？ さて、数式を使っての解説は至るところにありますので、ここでは代わりにうさぎを使って解説していきます。 あなたは動物学者です。ある森の生態調査のために、その森に住むうさぎの平均体重を調べることになりました。 この森には約10万匹のうさぎが生息し、すべてを捕まえることはできないので、とりあえず5匹を捕まえて体重を測ってみました。すると 7kg,、3kg、25kg、6kg、29kg、平均14kgとなりました。 しかし、もっと精確に調査をする必要があるため、5匹を捕まえて平均体重を

機械学習モデルは、統計モデルよりも予測に長けた手法であり、皆様もご存知の通り様々な場面で用いられています。一方で、結果の解釈の面ではブラックボックスになりやすいため、モデルの作成時のみならず、機械学習に覚えのない方々とコミュニュケーションをする上でも重要な課題です。 そんな、機械学習モデルと対話するためのツールがSAHP値(SHapley Additive exPlanation Values)です。SHAPを使うと、機械学習モデルが特徴量をどのように使って予測をしたのか、特徴量は予測結果にどれぐらい影響を与えているのか、などをデータ全体(Global)、さらに個別のサンプルごと(Individual)に確認することができます。今回はSHAPを使って、学習した機械学習モデルと対話してみましょう。 今回は主に以下を参考にしました。 github.com shap.readthedocs.io

統計学を学んでいておそらくつまずくであろう尤度。こいつの正体をリンゴを使ってまとめていきます。 尤度とは？ 尤度の何が難しいかと言うとまずはこの漢字。そもそも何と読むかと言うと"ゆうど"と読みます。”尤”なんて日常生活でまず使うことはありません。何でわざわざこんなに難しい漢字を使うんだと初めは愚痴をこぼしたくなりますがそこは我慢します。 尤度の求め方 さて、漢字の読み方が分かったところでこの"ゆうど"とは何かと言うと、どれぐらい起こりやすいかを表す指標になります。例えば以下のような問題を考えてみます。 図のようにA,B,Cの文字が書いてあるリンゴが箱の中に入っています。それぞれ何個ずつ入っているかは分かりませんが全部で30こあることは分かっています。この箱からリンゴを10個取り出した時、Aリンゴが2個、Bのリンゴが5個、Cのリンゴが3個でした。この箱の中には各番号のリンゴがどれぐらいの個数

前回は因果推論の王道テクニックである傾向スコアを使った回帰分析とマッチングについて紹介しました。今回も傾向スコアを使った解析手法の一つであるIPWと、傾向スコアは使いませんが理論的には同じになるStandardzationの紹介をしていきます。 www.medi-08-data-06.work この二つのモデルは、今まで扱ってきたモデルとは少し違い集団全体の因果効果(Marginal effect)を推定するモデルになります。集団全体の因果効果であるため、交絡因子の層ごとに要因の結果の関係性が異なっていたとしても、効果を推定することができます。 具体的な解析手法のみが気になる方は後半にRとPythonコードをのせてありますので、そちらをご参照ください。 そもそも因果推論ってなんぞ？って方はこちら www.medi-08-data-06.work Marginal effectとCondit

世の中の事象における真の因果関係は神のみぞが知り、それに抗うために多くの因果推論テクニックが作られてきました。その中でも傾向スコアというのは、ランダム化検証ができない事象でも、データをゴニョゴニョすることで、理論上ランダム化に等しいことができてしまうという夢のようなテクニックです。 www.medi-08-data-06.work 今回はそんな傾向スコアが前提としている仮定や、傾向スコアを使う際の注意点、RとPython使っての解析方法などについて書いていきます。 解析方法を手っ取り早く知りたいという方は後半からご覧ください。 今回のデータ 簡単に回帰分析 CMとプレイ時間の関係に影響を及ぼすのは？ 全ての変数を調整することはできない 傾向スコアマッチング マッチング後は分布を確認 マッチングの結果は？ 傾向スコアマッチングの注意点（重要） 傾向スコアを変数として使う Rでの実践 Pyth

ビジネスの世界で、ある事象に関する原因と結果の因果関係を推論することはとても重要な要素です。最近では機械学習手法に多くの注目が集まっており、予測さえできればそれで良いと思うかもしれません。 しかし！ 原因と結果の関係性を正しく推定し仮説を導くことは、今後重要性を増してくるでしょう。AIブームが一巡しつつありますが、機械学習と因果推論の組みわせに関する研究も出てきているようですので、次にくるのは因果推論ではないかと勝手に思っています。 今回はそんな因果推論に関する基本的な事項を書いていきます。 因果推論の重要性 因果推論の基本事項 交絡因子と見せかけの因果 反事実(Counterfuctual)と根本的問題 無作為化介入と観察データ 観察データが必要な理由 因果推論に必要な前提条件 交換可能性（Exchangeability） 一貫性(Consistency) Positivity まとめ

時系列モデルを作るときは、データが定常過程に従っていることを前提とするモデルが多いです。しかし、現実には定常過程に従うデータはあまり多くありません。そんな非定常過程のデータを何となく多変量モデルで解析すると一見ものすごく当てはまりの良いモデルができてしまうことがあります。 今回は、そんな見せかけに騙されないためにも、時系列モデルを作る際に重要な単位根や共和分などの概念ををまとめたいと思います。 書籍等では難しい数式が並びますが、概念自体は直感的にも理解しやすいのです。 単位根とランダムウォーク ADF検定 補足：ADF検定について少し詳しく 単位根はなにが問題か~見せかけの回帰問題~ 補足：見せかけの回帰に騙されない方法 共和分 共和分の検定 Rでの実践 単位根とADF検定 見せかけの回帰 共和分 まとめ 参考書籍 その他 単位根とランダムウォーク 非定常過程というとよく出てくるのが単位根

時系列データとは、ある一時点ではなく、時間軸に沿ってデータが収集され、変数の並び方にも意味があるデータのことを指します。商品の売り上げを月ごとに集積したデータや、企業の株価データ、気温データ、電車の乗客数などが時系列データの例としてあげられますね。 しかし、世の中の多くのデータが時系列データとして集計されているにも関わらず、これを解析するには通常の線形回帰モデルでは火力不足で、正しい解釈を導き出すことが困難です。 そこで、今回から複数回に分けてそんな時系列データ解析の理論やその実践法についてまとめていきます。 記事中の内容は、Rで再現できるようにコードを記載していくすので、参考にしてみてください。（近々pythonでも再現できるようにいたします。） 時系列分析の目的 時系列データの必要性 いにしえの時系列モデル トレンドモデル 平滑化モデル 時系列モデルのその前に 確率過程（重要） 平均・

データの繰り返し処理やapply族を使ったデータフレームの処理などはデータ解析をする上では欠かせませんよね。 そんな時に役に立つのが{purrr}パッケージです。このパッケージは、今までfor-loopさせていた処理や、apply族を使っていた処理をスマートに処理することができます。 慣れるまでに少し時間がかかりますが、使いこなせるようになれば処理の幅が広がることは間違い無いです！ 今回はその使い方をまとめていきます。 {purrr}とは map map2,pmap よく使うpurrrの活用法 まとめ 参考 {purrr}とは そもそも{purrr} とは、リストやベクトルを受け取って反復処理をするパッケージです。for文やapply族を使う場合が多いかと思いますが、{purrr}は色々な機能をそなえたモダンなパッケージとなっております。 全部は紹介しきれないので、よく使いそうな関数だけを

前回はベイズ推定を使って単回帰分析を行いました。今回はさらにレベルを上げて階層性のあるデータ解析に挑戦していきます。 medi-data.hatenablog.com www.medi-08-data-06.work 階層性のあるデータの概略から、通常の単回帰、線型混合モデルそして、階層ベイズモデルを用いたモデリングを行います。 それではいきましょう。 階層性のあるデータとは そもそも階層性のあるデータとはどのようなデータでしょうか？前回と同じようにテストの点数を勉強時間から推定する場合を考えてみましょう。 今回のデータは生徒数50人のテストの点数と勉強時間を仮定した擬似データセットです。ただし、今回は４校から生徒をランダムにサンプリングしたと仮定しています。 とりあえず、以下を実行してst_df(student_data_frame)というデータセットを作成してみましょう。 librar