Data ScienceOn the Importance of Community-Led Open Source Domino2018-07-16 | 33 min read Wes McKinney, Director of Ursa Labs and creator of pandas project, presented the keynote, "Advancing Data Science Through Open Source" at Rev. McKinney's keynote covered open source's symbiotic relationship with data science and the importance of community-led open source. This blog post includes distilled hi

この記事は、やたらはてブを稼いでしまった前回の記事の続きです。 ASAのプレスリリース及び声明の中には、確かに「p値に依拠しない新たなアプローチの例」として予測値を重視するアプローチ*5、ベイジアンモデリング、決定理論的アプローチ*6およびfalse discovery rate*7といったものを用いるべき、という趣旨のコメントが入っています。とは言え、重回帰分析とか機械学習のような多変量モデリング（なおかつサンプルサイズも大きい）を伴うテーマならともかく、統計学的仮説検定のようなサンプルサイズも小さい（データも少ない）シチュエーションでどうやるんだよ的な疑問を持つ人も多いのではないかと。 そんなわけで、実際にそれっぽい各種検定の数々をStanによるベイジアンモデリングで代替してみたので、この記事ではその結果をつらつら紹介してみようと思います。テーマは前々回のこちらの記事の1節で取り上げた

Transforming science through open data, software & reproducibility We help develop R packages for the sciences via community driven learning, review and maintenance of contributed software in the R ecosystem Our PackagesUse our carefully vetted, staff- and community-contributed R software tools that lower barriers to working with local and remote scientific data sources. Combine our tools with the

自分のためのメモ。 因子分析したら因子分析の結果だけ，構造方程式モデリングしたらパス図だけ，そういうのはちょっと好かない。殆どの場合相関行列があればそういうのは再現できるし，相関行列だって上手に可視化したら，例えば因子分析くらいの見通しはつく。これは，研究報告の透明性というのにもつながる。 ただ論文には紙幅の都合があって，いつでも，というわけにはいかないけど。 とにかく多変数の相関行列に対応するようなデータの可視化について，Rを用いてメモしていく。自分ですぐ忘れてしまうから。 （スクリプトの中に不自然に半角スペースとか入っているのは，hatena記法と変に被るところを避けるため） 散布図行列（SPLOM） 一番てっとり早い方法。 まずRのデフォルト関数で「データフレーム形式」でデータを読み込む。 例えばエクセルからクリップボードにコピーした状態なら， dat<- read="" table

データが与えられた時にはまず可視化をします。そのデータがどのような仕組み（メカニズム）で作られてそうなったかを考えるために必須のプロセスです。しかしながら、どんな可視化がベストかははじめの段階では分からず、とにかくプロットしまくることになります。そのとっかかりに僕がよく使うのが散布図行列（scatter matrix，scatter plot matrix）です。 今回は3つほど紹介します。 ●1. {corrplot}パッケージの corrplot()関数 5行目で相関係数行列を作ってそれを渡しておしまいです。相関係数行列の作り方は各自の自由です。上記ではSpearmanの順位相関係数を使っていますがMICとかでもいいと思います。 このcorrplotのデメリットとしましては散布図は表示できない点です。散布図行列と言っておきながらすみません。説明変数が100個以上あるときなどは散布図を描

R言語による多変量時系列分析。 複数グループ・複数項目の時系列データで時系列間の関係性・影響を明らかにする。 以下、実行可能なR言語ソースコードを用い紹介する。 例：複数時系列間の関係性・影響 農家ごとの農地の肥沃度・人の各仕事の労働量・各肥料の投入量の各時系列、および、生産量の時系列から、肥沃度・各労働量・各肥料量が生産量に与える影響を明らかにする。 国ごとの各政策種類への投資額の時系列、および、GDP から、各政策投資がGDPに与える影響を明らかにする 地域ごとの各キャンペーン種類の投入量の各時系列、および、商品売上の時系列から、各地域の各キャンペーンが売上に与える影響を明らかにする。等。 R言語による時系列分析入門 R言語でのAR、ARMA/ARIMA、ARFIMA、ARCH、などの時系列モデルの入門資料（※１年前のTokyo.R 講師資料) http://d.hatena.ne.j

R言語による多変量時系列分析。 複数グループ・複数項目の時系列データで時系列間の関係性・影響を明らかにする。 以下、実行可能なR言語ソースコードも用い紹介する。 例：複数時系列間の関係性・影響 農家ごとの農地の肥沃度・人の各仕事の労働量・各肥料の投入量の各時系列、および、生産量の時系列から、肥沃度・各労働量・各肥料量が生産量に与える影響を明らかにする。 国ごとの各政策種類への投資額の時系列、および、GDP から、各政策投資がGDPに与える影響を明らかにする 地域ごとの各キャンペーン種類の投入量の各時系列、および、商品売上の時系列から、各地域の各キャンペーンが売上に与える影響を明らかにする。等。 R Library 複数時系列の時系列分析として、R言語では plm 、 ccgarch 等のパッケージがあるが、今回は plm (Panel Linear Model) を紹介する。 ※参考：Pa

2015-12-06 【Japan.R 2015】国内R言語最大級のイベント「Japan.R」に遊びに行ってきた！ R 確率 統計 イベントレポート 今日は東京の銀座のリクルート GINZA8 11Fホールにて行なわれた「Japan.R 2015」へ行ってきた感想を書こう。 本イベントはR言語と言うプログラムを使って、確率統計・機械学習と言った数学的なプログラムを組み、ある物事の傾向を調査してみた。あるいはそれらを有利に進める為のツール群の発表が行なわれていた。今日は、その中で自分が特に面白かった発表をまとめてみたい。CET(Capture EveryThing)プロジェクトにおける　機械学習・データマイニング最前線(高柳氏)　自社のデータ分析基盤やそれらの取り組みについて発表。コールセンターのログを見る。つながりにくい時間帯を掴んで、つながりやすくすると言ったことにFluentdを活用

前回の記事ではVARモデルの基礎までを取り上げました。ということで、今回はVARモデルに基づいて異なる時系列同士の因果関係を推定する3つの手法について取り上げてみようと思います。 ということで毎回毎回しつこいですが、使用テキストはいつもの沖本本です。 経済・ファイナンスデータの計量時系列分析 (統計ライブラリー) 作者:竜義, 沖本朝倉書店Amazon 以下タイトルにのっとってRで各モデルの挙動を見ながらやっていきます。 必要なRパッケージ＆サンプルデータ {vars}をインストールして展開して下さい。なお、Granger因果のグラフ構造表現及び偏Granger因果は、実はそもそもRでは実装されていません。ここだけMatlabの話題になりますので、悪しからずご了承を。。。 それから今回のサンプルデータですが、また{vars}同梱のCanadaでは芸がないので違うデータを使うことにします。沖

主観的な観点からPythonとRの比較した記事は山ほどあります。それらに私たちの意見を追加する形でこの記事を書きますが、今回はこの2つの言語をより客観的な目線で見ていきたいと思います。PythonとRを比較をしていき、同じ結果を引き出すためにはそれぞれどんなコードが必要なのかを提示していきます。こうすることで、推測ではなく、それぞれの言語の強みと弱みの両者をしっかりと理解できます。 Dataquest では、PythonとRの両方の言語のレッスンを行っていますが、データサイエンスのツールキットの中では両者ともそれぞれに適所があります。 この記事では、NBA選手の2013/2014年シーズンの活躍を分析したデータセットを解析していきます。ファイルは ここ からダウンロードしてください。解析はまずPythonとRのコードを示してから、その後に2つの異なるアプローチを解説し議論していきます。つま

July 24 🚢 Chart the future of dynamic data + AI with the newest Plotly product launch. Get Your Pass!