peketaminのブックマーク - はてなブックマーク

NGBoostを使って分布を予測してみた - Qiita

GBDTで予測分布が出せると話題のNGBoostを試してみましたので、備忘録がわりに投稿します。実際に動かしてみたい方はこちらを参考にしてください。所感 modelチューニングをほぼしていない状態かつ、今回の小さいデータセットでは精度はほぼ同じ。分布が算出できるのは使いどころがあるかもですね。インポートあとでNGBoostとLightGBMをちょっと比較するのでlightgbmもインポートしておきます。 # ngboost from ngboost.ngboost import NGBoost from ngboost.learners import default_tree_learner from ngboost.scores import MLE from ngboost.distns import Normal, LogNormal # lightgbm import li

peketamin 2019/10/23

あとで読む

リンク

【数学】「内積」の意味をグラフィカルに理解すると色々見えてくる - Qiita

線形代数の勉強を始めると割とすぐ出てきますよね、内積。計算自体はさほど難しくはないのだけれども、いまいちピンとこないという方、それなりにいるんじゃないでしょうか。私もそうでした。なので、今回の可視化シリーズは「内積」にスポットを当ててみます。また、統計学でもいたるところにも内積で理解できる事項が出てきて、「内積すげー」ってなります。ベクトルってデータの並びですので、統計学に非常に関連するんですね。統計学での扱われ方は次回からですが、まずは内積から。 #0.先に結論を少々# ごにょごにょ前説が必要なので、内積の意味の結論だけ先にまず書きたいと思います。内積は数式としては、下記のように書くことができます。それを視覚的に表すと、下記のようになりベクトル${\bf a}$の長さに、ベクトル${\bf c}$の長さをかけたもの、という意味を持たせることができます。(${\bf c}$は

peketamin 2019/07/20

リンク

EMアルゴリズム徹底解説 - Qiita

本ブログは、混合ガウス分布を題材に、EMアルゴリズムという機械学習界隈では有名なアルゴリズムを丁寧に解説することを目的として書いています。また、この記事は、「数学とコンピュータ Advent Calendar 2017」の24日目の記事です。そして長いです。 1. はじめに観測した確率変数 $X$ をよく表現する、モデル $p(x|\theta)$ のパラメータを求めることが確率分布の推定ではよく行われます。つまり最尤法ですね。より複雑な分布になるとその分布の構造に潜在変数(Latent Variable) $Z$ があると仮定してモデル化を行うと、シンプルな組み合わせで $X$ の分布を表現できることがあります。今回扱う混合ガウス分布もその一つです。のちに説明しますが、データセットの種別を完全データ集合と不完全データ集合に分けた場合、不完全データ集合に属するようなデータセットはデ

peketamin 2017/12/25

リンク

Word Cloudで文章の単語出現頻度を可視化する。[Python] - Qiita

amuellerさんの作成したpythonのWord Cloudライブラリを使って単語の出現頻度を可視化をしてみたいと思います。こういうやつですね。このライブラリの説明はこちらにあります。 http://amueller.github.io/word_cloud/index.html 1.各種ライブラリのインストール 1-1.word_cloudライブラリのインストール gitからソースコードを入手するだけで簡単に導入できます。 git clone https://github.com/amueller/word_cloud cd word_cloud python setup.py install 1-2.各種pythonライブラリのインストール日本語は英語と違って単語の区切りが明確ではないため、単語をバラすためにMeCabというソフトを使って単語に切り出します。Mecabのインス

peketamin 2017/08/10

リンク

【統計学】マルコフ連鎖モンテカルロ法(MCMC)によるサンプリングをアニメーションで解説してみる。 - Qiita

Pythonでマルコフ連鎖モンテカルロ法を実装して解説してみる記事です『計算統計 II マルコフ連鎖モンテカルロ法とその周辺』のp16にこの節の内容を実感するために一番良い方法は、どんな計算機言語でもいいから、ここで述べたことを白紙から実装してみることである。という事で、素直にやってみました。せっかくなのでコードと仕組みの解説をしようと思います。先に結果のアニメーションとプロットを表示しておきます (Burn-in期間：1-30 [この期間のデータは色を薄くしてプロットしています。], 棄却含め150回のサンプリングまで) 10,000回繰り返してサンプリングした結果をプロット。（うち、Burn-in: 2,000回）はじめにまず最初に必要なライブラリのインポートを行います。 import numpy as np import numpy.random as rd impor

peketamin 2015/11/28

リンク

【統計学】尤度って何？をグラフィカルに説明してみる。 - Qiita

統計学や機械学習をを勉強していると「尤度」という概念に出会います。まず読めないというコメントをいくつかいただきましたが、「尤度（ゆうど）」です。「尤もらしい（もっともらしい）」の「尤」ですね。犬じゃありませんw 確率関数や確率密度関数を理解していれば数式的にはこの尤度を処理できると思うのですが、少し直感的な理解のためにグラフィカルに解説を試みたいと思います。コードの全文はGithub( https://github.com/matsuken92/Qiita_Contents/blob/master/General/Likelihood.ipynb )にも置いてあります。正規分布を例にとって正規分布の確率密度関数は f(x)={1 \over \sqrt{2\pi\sigma^{2}}} \exp \left(-{1 \over 2}{(x-\mu)^2 \over \sigma^2

peketamin 2015/11/18

リンク

超訳 PyMC3 Tutorial （マルコフ連鎖モンテカルロ法フレームワーク）その１ - Qiita

Pythonでマルコフ連鎖モンテカルロ法(MCMC)を実行できるライブラリ、PyMC3のチュートリアルの訳を書いてみました。タイトルにあるように、原文をそのままではなく意訳を超えた「超訳」です原文のURL http://pymc-devs.github.io/pymc3/getting_started/ イントロダクション（だいぶ省略）確率的プログラミング(Probabilistic programming : PP)は柔軟なベイズ統計モデルをプログラムで行うことを可能にします。 PyMC3は新しいオープンソースの確率プログラミングフレームワークで、No-U-Turn Sampler (NUTS; Hoffman, 2014)や、ハミルトニアンモンテカルロ法 (HMC; Duane, 1987)のパラメーターの自己チューニングなど、次世代のマルコフ連鎖モンテカルロ法(MCMC)が使える

peketamin 2015/10/29

リンク

【統計学】一般化線形混合モデル(GLMM)を理解するための可視化。 - Qiita

「データ解析のための統計モデリング入門」(通称:みどりぼん)のp157 にある、「分布を混ぜる」の考え方について、分布で考えるのではなく乱数ベースでシミュレーションを行いアニメーションで可視化をしてみましたので紹介したいと思います。結果のアニメーションはこちらです。本文でこの内容を説明していきます。 (コードはこちら) 詳細な説明はこの「みどりぼん」に全てわかりやすく書いてあるので、ここでは可視化するにあたっての解説のみを行います。なんだか面白そうな話だと思いましたら是非ご購入ください！前置きある植物において種子が最大８個作られるのですが、その種子の生存個数が二項分布、 p(y_i) ={8 \choose y_i}\ q_i^{y_i} (1-q_i)^{8-y_i} \quad \mbox{for}\ q_i=0,1,2,\dots,8 に従っているとします。$y_i$は個体$i

peketamin 2015/08/10

リンク

【統計学】初めての「標準偏差」（統計学に挫折しないために） - Qiita

統計をこれから学ぼうという方にとって、非常に重要な概念ですが理解が難しいものに「標準偏差」があると思います。「平均」くらいまでは馴染みもあるし、「わかるわかるー」という感じと思いますが、突如現れる「標準偏差」の壁。結構、この辺りで、「数学無理だー」って打ちのめされた方もいるのではないでしょうか。先にグラフのイメージを掲載すると、下記の赤い線の長さが「標準偏差」です。なぜこの長さが標準偏差なのか、ということも解き明かしていきます。 (code is here) 本記事では数学が得意でない方にもわかるように１から標準偏差とはなにか、を説明してみようという記事です。数式はわかるけど、イマイチ「標準偏差」の意味わからんという方にも直感的な理解がしてもらえるような説明もしていきますので、ぜひご覧ください。（※ この記事では標準偏差の分母に $n$を使用しています。$n-1$を使用するケースも

peketamin 2015/08/01

リンク

【数学】固有値・固有ベクトルとは何かを可視化してみる - Qiita

線形代数に固有値という概念が出てきます。最初はイメージしにくいのでは、と思うのですが重要な概念かつ、統計学でも頻繁に利用されるので、これもこの可視化シリーズとしてアニメーショングラフを書いて説明することを試みたいと思います。このようなグラフの意味を読み解いていきます。 1.固有値・固有ベクトルとは？まず、固有値・固有ベクトルとはなんぞや。数式で表すと下記のことです。 ${\bf x}\neq {\bf 0}$の${\bf x}$で、行列Aをかけると、長さが$\lambda$倍になるような${\bf x}$の事を固有ベクトル, $\lambda$を固有値と言います。知らない人は？？？で、これだけではよくわからないですね。早速、グラフィカルな説明も交えて説明していきたいと思います。 2.行列Aによる線形変換固有値・固有ベクトルの説明の前に、行列による線形変換について取り上げます。例

peketamin 2015/05/26

リンク

スタバのTwitterデータをpythonで大量に取得し、データ分析を試みるその１ - Qiita

また、データの格納にmongo DBを使うのでこちらやこちらなどを参考にインストール。mongo DBの概要は「Mongo DB の薄い本」などを参照。 Pythonからmongo DBにアクセスするため、pymongoも導入します。 from requests_oauthlib import OAuth1Session from requests.exceptions import ConnectionError, ReadTimeout, SSLError import json, datetime, time, pytz, re, sys,traceback, pymongo #from pymongo import Connection # Connection classは廃止されたのでMongoClientに変更 from pymongo import MongoClient from

peketamin 2015/03/28

リンク

はてなブックマーク

タグ

ブックマーク / qiita.com/kenmatsu4 (11)

お知らせ

今週のはてなブックマーク数ランキング（2024年7月第2週）

はてなブックマーク透明性レポート（2024年 2月-2024年4月）

今週のはてなブックマーク数ランキング（2024年7月第1週）

公式Twitter

キーボードショートカット一覧

はてなブックマーク

公式Twitter

はてなのサービス