タグ

rと統計に関するDiomedeidaeのブックマーク (21)

  • adehabitatHRのkernelUD関数のパラメータを検討する - Qiita

    adehabitatHR パッケージ内の kernelUD ではさまざまなパラメータを設定してカーネル推定できる。 どのように指定すればいいのか迷うのでその一部にかんするメモを作成した。 基的には adehabitatHR パッケージおよび使い方にかんする pdf の内容に沿っている。 grid カーネル推定するために発生させるグリッドの大きさを指定できる。 小さく指定すれば推定結果がきめ細かくなり、大きく指定すれば推定結果が粗くなる。 ※グリッドが小さすぎると以下のようなエラーが出る(データによる)。 g10<-getverticeshr(ud_g10,95) Error in getverticeshr.estUD(x[[i]], percent, ida = names(x)[i], unin, : The grid is too small to allow the estima

    adehabitatHRのkernelUD関数のパラメータを検討する - Qiita
  • QgisとRで野生動物の追跡結果を解析してみよう

    [DL輪読会]Learning to Simulate Complex Physics with Graph NetworksDeep Learning JP

    QgisとRで野生動物の追跡結果を解析してみよう
  • Stanでガウス過程 | Sunny side up!

    dat <- read.csv("gp_test.csv") N1 <- nrow(dat) x1 <- dat$x y1 <- dat$y N2 <- 59 x2 <- seq(1, 30, length.out = N2) data.gp <- list( N1 = N1, N2 = N2, x1 = x1, x2 = x2, y1 = y1 ) model.gp <- stan_model("GP_reg.stan") fit.gp <- sampling( model.gp, data = data.gp, iter = 5000, chains = 4, cores = 4 ) print(fit.gp, pars = "y2") print(fit.gp, pars = "theta") # plot ext.fit <- rstan::extract(fit.gp) y2.m

  • 2 Tutorial | The comprehensive TMB documentation

    Diomedeidae
    Diomedeidae 2017/04/18
    最尤法(自動微分使用)で高速にモデルパラメータを推定するTemplate Model Builderのマニュアル。Rとの連携(package"TMB")あり。
  • おっと危ない:信頼区間と予測区間を混同しちゃダメ - Take a Risk:林岳彦の研究メモ

    今回は仕事で解析をしていて「おっと危ない」と思ったことについて書いてみます。結論からいうと「信頼区間と予測区間を混同しないように注意しましょう!」という話です*1。 課題:BODの値からTOCの値を推定したい 最近ややあってBOD(生物化学的酸素要求量)の値からTOC(全有機炭素量)の値を推定してみようと思いました*2。 試しに東京都の15地点から得られている水質データを用いてRで両者の散布図を描いてみると以下のようになりました(データはこちら:BOD-TOC.txt )。相関はあるものの、バラツキもかなりあります。 BOD2TOC.data <- read.table("BOD-TOC.txt",sep=",") TOC <- BOD2TOC.data$TOC BOD <- BOD2TOC.data$BOD plot(BOD,TOC,type="p",xlim=c(0,6),ylim=c

    Diomedeidae
    Diomedeidae 2016/09/28
    stanだとgenerated quantitiesのところで予測区間を計算できますね。
  • 「StanとRでベイズ統計モデリング」松浦健太郎 という本を書きました - StatModeling Memorandum

    僕が筆者なので、この記事は書評ではなく紹介になります。まずこのはRのシリーズの一冊にもかかわらずStanという統計モデリングのためのプログラミング言語の方がメインです。このようなわがままを許してくれた、ゆるいふところの深い石田先生と共立出版には感謝しかありません。 StanとRでベイズ統計モデリング (Wonderful R) 作者:健太郎, 松浦発売日: 2016/10/25メディア: 単行 目次と概要 共立出版のページを見てください。GitHubのリポジトリもあります。 前提とする知識 「はじめに」の部分で触れていますが、確率と統計の基的な知識はある方、R(やPython)で簡単なデータ加工や作図が一通りできる方を想定しています。そのため、確率分布なんて聞いたことがない、プログラミングがはじめて、Rがはじめて、という方が読み進めるのは厳しいかもしれません。なお、Rの基的な関数し

    「StanとRでベイズ統計モデリング」松浦健太郎 という本を書きました - StatModeling Memorandum
    Diomedeidae
    Diomedeidae 2016/09/23
    買うしかない!
  • 時系列データにt 検定を行うことに関してstan 神の解析がやばい - 驚異のアニヲタ社会復帰の予備

    時系列データにt 検定を行うことに関して、すごいもにょっていたのだが、そもそもstan 神が既にモデル化してくれていた。 リンクでは2階差分と、変化点検出のコーシー分布の合わせ技を用いている。 そのままパクってやってみる。 diの95%ベイズ信頼区間が0を含んでいない期間が差がある期間と言えるでしょう。さらに、どこから差がありそうなのか、どれほど差がありそうなのかも確率付きで述べることができます。 ということが、stan による柔軟なモデリングで述べることができます。 話は飛ぶけど、読んだ。 はじめての 統計データ分析 ―ベイズ的〈ポストp値時代〉の統計学― 作者: 豊田秀樹出版社/メーカー: 朝倉書店発売日: 2016/06/02メディア: 単行(ソフトカバー)この商品を含むブログ (11件) を見る 書評はまた書くけれども、この時系列データと同じように、このでは、例えば分散分析や分

  • FLR project - Home

  • [特集] ベイズ推論とMCMCのフリーソフト - 岩波データサイエンス

    巻で使用されているソースコードやデータは以下のURLから取得できます。 https://github.com/iwanami-datascience/vol1 【DSオリジナル】の表記のある動画や原稿は岩波DSウェブサイトのオリジナルコンテンツです。

    [特集] ベイズ推論とMCMCのフリーソフト - 岩波データサイエンス
    Diomedeidae
    Diomedeidae 2015/10/23
    先日刊行された"岩波データサイエンスvol.1"、サポートも充実させるという話でしたが、納得の情報量です。っていうか本よりも分量が多いのでは?
  • このRパッケージがすごい2014 - Qiita

    2014年に使用したRパッケージのなかで、個人的にこれはすごいと思ったパッケージを5つ厳選しました。順序不同で紹介します。 各パッケージの紹介記事をRPubsに公開しましたので、こちらからご覧ください。 magrittr dplyr stringr ggplot2 knitrBootstrap 先日の統計数理研究所で開催されたR研究集会にて石田さんの発表にもありましたが、やはりpipe演算子の登場は大きなインパクトでした。また、RStudioの開発が進み、アウトプット方法に多様性がもたらされ、充実してきています。 個人的な点では羽鳥教へ入信したことがRの上達につながった2014年でした。 あなたの「このパッケージがすごい」は? 便利なパッケージがあればぜひ教えてください。 海外の方の記事 -> ŷhat | 10 R packages I wish I knew about earlier

    このRパッケージがすごい2014 - Qiita
    Diomedeidae
    Diomedeidae 2015/05/26
    ggplot2は最近ずっとお世話になってるけど、それ以外はこれで初めて知りました。試しに使ってみるとなかなか良いものばかりです。
  • ggplot2の等高線にラベルをつける - Technically, technophobic.

    Tokyo.Rでの@berobero11さんの発表を見てて、この等高線どう描くんだろうなあ、とかつぶやいてたら、 こんなすてきなリプが飛んできました!!! @yutannihilation ユタ兄さん、懇親会で聞かれた等高線の描き方をアップしました。ご参考までに。 http://t.co/qsiwTvfUa0— berobero (@berobero11) 2015, 2月 23 そのお礼といってはおこがましいですが、等高線にラベルを付ける方法を模索してみました。 directlabelsを使う 意外と知られてない気がしますが、directlabelsというパッケージがあります。これを使うと、ggplot2のグラフに直接ラベルを書き入れることができます。 ちょっと使ってみます。 (beroberoさんのコードを、ggsave(p, file='demo_contour_diff.png',

    ggplot2の等高線にラベルをつける - Technically, technophobic.
    Diomedeidae
    Diomedeidae 2015/05/10
    ちょうど探していたので参考になりました.助かります.
  • 「統計解析ソフトRのスクリプト集」公開のお知らせ - 心理発達科学専攻からのお知らせ

    石井准教授の作成した「統計解析ソフトRのスクリプト集」をオンラインで公開します。名古屋大学教育学部の「心理・教育の統計学」の授業で実際に使用されている教材です。学習・研究にご活用下さい。 2016.4.5 Ver. 4.0βを公開しました。棒グラフオプション、オメガ係数、効果量、標サイズの推定などの記述が加わりました。 2015.3.18 Ver. 3.0βを公開しました。記述統計量の算出の部分を統一的にしたのと、データ例を書籍にあわせて変えています。 2014.11.4 Ver. 2.2βを公開しました。 統計解析ソフトRのスクリプト集 (PDF) 下記のサイトでは、シラバスと講義資料が公開されています。あわせてご活用下さい。 「心理・教育の統計学」(名大の授業) 講義資料 (PDF) ーーー はじめに 石井秀宗 この冊子は,心理学や教育学の研究でよく用いられる統計手法に関して,統計解

    「統計解析ソフトRのスクリプト集」公開のお知らせ - 心理発達科学専攻からのお知らせ
    Diomedeidae
    Diomedeidae 2014/11/10
    ざっと見たけど、解析前のデータ処理に関するスクリプトが全体の3分の1くらいに載っていて、これからデータいじりも含めてRでいろいろ解析したい人にはいい入門資料になるかも。解析手法の解説は別にいいのがあるしね
  • Introduction of stan

    This document provides an introduction and overview of Stan, a programming language for Bayesian statistical modeling and inference. It discusses Stan's motivation as a faster alternative to BUGS that compiles models to C++. Key points covered include: - How Stan models are specified using blocks like data, transformed data, parameters, model, and generated quantities. - Stan's support for scalar,

    Introduction of stan
  • 主座標分析について簡単に紹介するよ! - ほくそ笑む

    今日は主座標分析(Principal Coordinate Analysis; PCoA)の紹介を簡単にしたいと思います。 主座標分析は古典的多次元尺度構成法(Classical Multidimensional Scaling; CMDS)とも呼ばれる統計解析手法です。 この解析手法を使用する主な目的は、高次元のデータを2次元や3次元に落として視覚化したいという時に使います。 以前紹介した主成分分析と同じような感じですね。*1 主成分分析との違いを簡単に言うと、主成分分析はユークリッド距離をなるべく保ちながら低次元に落とす方法ですが、主座標分析はユークリッド距離だけでなく、他の距離や類似度*2が使えるという点にあります。 例えば、ユークリッド距離の代わりに相関係数を使えば、相関の高いもの同士が近い配置になるようなプロットを作ることが可能です。 データを用意する さっそくやってみたいのです

    主座標分析について簡単に紹介するよ! - ほくそ笑む
    Diomedeidae
    Diomedeidae 2014/01/15
    主座標分析についての解説。Rのコード有。
  • データサイエンティストはこうやってデータ分析の仕事をしている(自分の経験と見聞談をもとに) - 渋谷駅前で働くデータサイエンティストのブログ

    誰かの参考になるかもしれないと思って、僕の前職時代の取り組み方や他の現場で僕とよく似たアドホック分析系の仕事をされている方から聞き取った内容をもとに、適当にまとめてみました。 ということで、これは正確には「アドホック分析系データサイエンティストがどうやってデータ分析しているか」のまとめ、です(笑)。ちなみに、僕が既に公開している資料としてはこんなものもあります。 最新業界事情から見るデータサイエンティストの「実像」 from Takashi J Ozaki こちらのp.59以降はまさに前職時代に最後に所属していた部署での僕の取り組みそのものを書いたものなので、どなたかの参考にでもなれば。 ちなみにその前に所属していた部署では、普通にHadoopエコシステムベースのBIフレームワークの保守とかやってました。定期集計用のHiveクエリを100個ぐらいズラリと並べたスクリプトを番環境にコミット

    データサイエンティストはこうやってデータ分析の仕事をしている(自分の経験と見聞談をもとに) - 渋谷駅前で働くデータサイエンティストのブログ
  • MCMCの計算にStanを使ってみた(超基礎・導入編) - 渋谷駅前で働くデータサイエンティストのブログ

    肝心のMCMCの勉強はどこ行ったゴルァとか怒られるとアレなんですが、先にツールの使い方覚えてしまおうと思ってStanで簡単な練習をやってみました。ちなみに参考にした資料はこちら。 Stanチュートリアルの資料を作成しました。 - Analyze IT. StanTutorial 割とよく一緒に飲んでるid:EulerDijkstra氏のブログがとにかく役に立ちました。ありがとさんです!!! あと、MCMCやるのはこれが初めてという人は最低限久保先生の緑ぐらいは読んでおいて損はないと思います。ただしStanではなくWinBUGSを{R2WinBUGS}で回す系ですが。 データ解析のための統計モデリング入門――一般化線形モデル・階層ベイズモデル・MCMC (確率と情報の科学) 作者: 久保拓弥出版社/メーカー: 岩波書店発売日: 2012/05/19メディア: 単行購入: 16人 クリック

    MCMCの計算にStanを使ってみた(超基礎・導入編) - 渋谷駅前で働くデータサイエンティストのブログ
    Diomedeidae
    Diomedeidae 2013/11/07
    Stanのコードは初めて見ました。C++ベースなのですね。そのせいか、モデルの記述方式が前にちょっと勉強したADMBに似ているような気がします。
  • (後編)今回は因果関係があるのに相関関係が見られない4つのケースについてまとめてみた:中間変量の影響 - Take a Risk:林岳彦の研究メモ

    どもっす。林岳彦です。先日、某所で統計解析の講師役をしました。その際に解析環境の準備の手間を省こうと思って、Amazon EC2上にRStudioのサーバー版を立てて、聴講者にそこに繋いでもらって実習をしようとしたのですが、いざ皆が繋いだらサーバーがクラッシュしまくって実習が全く進みませんでした*1 。。。すみませんでした(泣)*2。。 さて。 良かれと思ったもので逆に墓穴を掘る、というのは人生ではよくあることですよね! 前回の「合流点の追加によるバイアス」はそんな例の一つでしたが、今回の「後編」ではそのようなもう一つの例として、「中間変量の追加によるマスク」のケースについて見ていきます。 因果関係があるのに相関が見られないケース(4):中間変量によってマスクされている はい。では、中間変量によって因果効果がマスクされてしまうケースを見ていきます。 ここで「中間変量」というのは、「A→Z」

    (後編)今回は因果関係があるのに相関関係が見られない4つのケースについてまとめてみた:中間変量の影響 - Take a Risk:林岳彦の研究メモ
    Diomedeidae
    Diomedeidae 2013/11/06
    コメ直し。この事例だと本来は多重共線性に引っかかるので重回帰は使わない方が無難だと思います。応答変数が決まっているなら直に単回帰、全部の因子の因果関係が見たいならばパス解析とかを実施したほうがよさげ。
  • Rいろは・第五部:現代統計への導入(GLM、GLMMの基礎)

    Rの統計ネタは自分自身の勉強を兼ね発信しています。作成者は統計の専門家ではないので自己責任でご参照ください。ご指摘も(応援も^^)歓迎します! (cf. Rいろはのトップページ http://nhkuma.blogspot.jp/p/r_5.html) # 注:作成者は統計の専門家ではありません。内容には十分な注意を払っているつもりですが、限界があることを理解した上で参照してください。感想・苦情・間違いのご指摘、歓迎します。 (注:使用環境によっては、スペースやクオーテーションマーク"などが化けてコードがエラーになるかもしれません) ### GLM準備編 ########### # まずは古典統計を統計モデリング風に解いてみよう #(統計モデルの構築とパラメータ推定の練習) # 回帰の例(yへのxの影響が有意か、ではなく、yへのxの影響の仕方を推定する) x00 <- c(1:100) y

    Diomedeidae
    Diomedeidae 2013/10/11
    RでGLM・GLMM実行時のTipsや関数を紹介している。知らない関数があって参考になった。
  • 統計解析ログ/R作図 - 引越作業中

    このページでは、Rで作図する基的な手順を紹介したいと思います。いい図はデータ解析を助けてくれますので、ぜひ自分の思い通りの図を描けるようになってください。 Rで作図するメリット・デメリット メリット データを解析しながら作図できる 複数の図を描くときに自動化できる 様々な形式で図が出力可能(png, jpg, メタファイル, pdf, epsなどなど) 低水準作図を駆使すれば、フォーマットが決まっていない図も描ける(地図など) デメリット マウスで何か操作する訳ではないので、関数を知らないとどうにもならない 複雑な作図だとコードが長くなる 低水準作図で次々と要素を足していったときに、途中で間違えても戻れない 個人的には、複数の図が自動化ですぐにかける点と、低水準作図を駆使することでフォーマットにとらわれない図がかける点が特に便利だと思います。これらの点は、データを見る上で(ひいては統計解

    統計解析ログ/R作図 - 引越作業中
    Diomedeidae
    Diomedeidae 2013/09/25
    飯島さんのR小技集。参考にします。
  • Rのflexmixパッケージで混合分布モデルによるクラスタ分析を行う。 - Analyze IT.

    Rで混合分布クラスタリングを行うときに有名なパッケージとしてflexmixが存在します。この記事ではflexmixの簡単な使い方を解説します。 flexmix自体は潜在クラス回帰を行うパッケージなのですが、混合分布クラスタリングを行うことも出来ます。 flexmixはRのglmクラスを用いてモデルを表現出来るため、他のパッケージに比べて柔軟なモデリングが可能というメリットがあります。 そもそも、混合分布クラスタリングとはなんぞやという人は以下の文を参考にしてください。 1.モデルベースのクラスタリングとは クラスタリングは代表的なものとして、以下の3つの方法が存在します。 おそらくk-meansと階層的クラスタ分析はみなさんご存知でしょう。 分類 メリット・デメリット 手法 階層的手法 +データを樹形図として表現可能 ‐データ数が多いと、樹形図として表現できないのでデータ数が絞られる。

    Rのflexmixパッケージで混合分布モデルによるクラスタ分析を行う。 - Analyze IT.
    Diomedeidae
    Diomedeidae 2013/09/24
    混合分布のクラスタリングを行うR関数flexmixとその実施例。とても参考になります。