RStanで『予測にいかす統計モデリングの基本』の売上データの分析をトレースしてみた
こんばんは、ゆるふわの対極であるところのガチムチ角刈り系のberoberoです。 この記事はR Advent Calendar 2013の26日目の記事になります。 12/22(日)にBUGS/Stan勉強会#2がドリコム株式会社にて催されました。そこで2つ発表をしました。そのうちの1つ「『予測にいかす統計モデリングの基本』の売上データの分析をトレースしてみた」に関する詳細＆補足＆苦労話をここで書きたいと思います。RStanというパッケージでRからStanというMCMCサンプリングソフトを使っています。 最初に発表内容のスライドは以下になります。ざっと見るにはこれで十分です。 『予測にいかす統計モデリングの基本』の売上データの分析をトレースしてみた from berobero11 以降ではスライドごとに簡単に補足していきます。 まずは元となった書籍の紹介です。時系列解析の第一人者による分か
連続値データの離散化(R Advent Calendar 2013) - sfchaos's blog
これは，R Advent Calendar 2013の8日目の記事です． 2013年を振り返ってみると，Tokyo.Rの"シリーズ前処理"をたったの2回で途絶えさせてしまったことは大いに反省すべき点の一つです(^^; シリーズ前処理を途絶えさせたことは，2013年における痛恨の極みの一つ．2014年に復活させるかな？— sfchaos (@sfchaos) 2013, 11月 30 そんなわけで，残り少なくなった2013年，シリーズ前処理の続きを書いてみたいと思います． 今回のテーマは「連続値データの離散化」です．データ分析を行っていると，連続値のデータを離散化して，いくつかのグループに分けたい場面がしばしば発生します．例えば，健康診断の項目に対して「高・中・低」の3段階に分けたい場合などです． 高次元のデータに対する離散化の手法もいくつか提案されていますが，ここでは1次元のデータの離散化
PostGISのよく使う機能をまとめた - Analyze IT.
PostGISの中でも頻繁に使用する機能について調べたので、参照用にSQLとその使用方法についてまとめておきます。 GISは空間参照系や楕円体のあたりなど技術的にもマニアックだが、とりあえず理解している範囲内で基本的なことをメモ。 PostGISについて PosgreSQLには地理情報に関する機能を集めたPostGIS呼ばれる拡張がある。メリデメは以下の通り。 メリット 複雑な集計操作を豊富な関数で処理でき、GIS基盤のミドルウェアとして利用可能。 データベースに格納できるので既存のデータとの結合やデータの共有が容易。 毎回必要に応じて集計すればよいので、粒度や集計単位の異なるshpファイルをたくさん持たなくてもよくなる。 QGIS等とも相性がよく、手軽にSQLで集計して主題図を記述可能。 デメリット 毎回集計するのでメモリに乗るデータなら普通にGISで処理した方が早いかも。 データベース
【保存版】企画書に使いたい統計データが見つかる、調査レポートサイト厳選9個+α | Find Job ! Startup
企画書には、市場規模・ユーザーニーズの裏付け等を説明するために調査データは入れたいところ。 ただ、資料作成で焦っている時ほど、検索しても良い情報が見つかりませんよね。そんな時は、今回ご紹介するサイトの中を覗いてみて下さい。スタートアップが投資家の方など社外向けに資料を作る時に、必ずや役に立つデータが見つかるはずです。 目次 【1】政府機関でデータを公開しているサイト（×2サイト） 【2】リサーチ会社の公開調査を横断的に探せるサイト（×3サイト） 【3】公開調査を見れる調査機関のサイト（×4サイト） 【4】自主調査の結果を公開しているリサーチ会社のサイト（+α） 【1】政府機関でデータを公開しているサイト １．総務省統計局 総務省統計局のサイトでは、「国勢調査」「人口推計」から、「家計消費状況調査」「サービス産業動向調査」など様々な国内統計データが無料で閲覧できます。統計データ一覧はこち
Webデータ分析＆データサイエンスで役立つ統計学・機械学習系の分析手法10選 - 銀座で働くデータサイエンティストのブログ
追記 2016年3月に以下の記事によってこの内容はupdateされています。今後はそちらをお読み下さい。 主に自分向けのまとめという意味合いが強いんですが（笑）、僕が実際に2013年6月現在webデータ分析＆データサイエンスの実務でツール・ライブラリ・パッケージを利用しているものに限って、統計学・機械学習系の分析手法を10個挙げて紹介してみようと思います。 追記 回帰分析（特に線形重回帰分析） 独立性の検定（カイ二乗検定・フィッシャーの正確確率検定） 主成分分析(PCA) / 因子分析 クラスタリング 決定木 / 回帰木 サポートベクターマシン(SVM) ロジスティック回帰 ランダムフォレスト アソシエーション分析（バスケット分析・相関ルール抽出） 計量時系列分析 おわりに おまけ1：「素性ベクトル＋分類ラベル」なるデータ前処理 おまけ2：グラフ理論*10 {igraph}パッケージでグラ
経済学、数学、統計学などの資料纏め - あんちべ！
※適宜追加します 経済学 計量経済学 京大 末石直也 http://www.econ.kyoto-u.ac.jp/~sueishi/econometrics/econometrics.html 経済数学系資料 http://www.f.waseda.jp/ksuga/ 経済学のための位相数学の基礎とブラウワーの不動点定理 http://www2.chuo-u.ac.jp/keizaiken/discussno39.pdf 経済学のための最適化理論：講義ノート http://www.meijigakuin.ac.jp/~mashiyam/pdfdocs/optimization.pdf 経済学に必要な最適化理論 http://mediaislandr.org/pdf/static_optimization.pdf 経済学のための確率論入門 http://www.meijigakuin.ac.
"SHIZUKU" (GCOM-W1) Data Providing Service |「しずく」(GCOM-W1)データ提供
Welcome, This web service is online data service to provide products processed from Advanced Microwave Scanning Radiometer sensor series data. We provide products derived from data obtained by AMSR2 onboard GCOM-W1(SHIZUKU), AMSR onboard ADEOS-II (Midori II) and AMSR-E onboard Aqua with free of charge. User registration is required to use the products. If you have not registered yet, register your
rauru-block.org - このウェブサイトは販売用です！ - rauru block リソースおよび情報
This webpage was generated by the domain owner using Sedo Domain Parking. Disclaimer: Sedo maintains no relationship with third party advertisers. Reference to any specific service or trade mark is not controlled by Sedo nor does it constitute or imply its association, endorsement or recommendation.
JAXA | JAXAの歩き方 公開データのウェブサイトカタログ
JAXAでは、人工衛星が取得した観測データや天体や宇宙空間のさまざまな現象を捉えた観測データ、また、宇宙開発の様子を画像や動画としても配信しています。これらのデータを公開しているウェブサイトの数は、JAXAの公式サイトの中だけでも、なんと、100以上も存在しています。 せっかく多くの有益なデータを公開していても、
サービス終了のお知らせ - NAVER まとめ
サービス終了のお知らせ NAVERまとめは2020年9月30日をもちましてサービス終了いたしました。 約11年間、NAVERまとめをご利用・ご愛顧いただき誠にありがとうございました。
気象庁|過去の気象データ・ダウンロード
推奨ブラウザ : Microsoft Edge(最新版), Mozilla Firefox(最新版), Google Chrome(最新版) ご利用にあたっての注意事項 一回にリクエストできるデータ量には上限があります（コンテンツ右上棒グラフ参照）。 アクセス集中時や一回のデータ量が多い場合、繋がらないことやデータ取得に時間がかかることがあります。繋がらない場合は時間をおいて再度お試しください。 アクセス集中の原因となりますので、自動化ツール等による過度のアクセスはお控えいただくようお願いいたします。 新着情報 気象官署の移転及び風向風速計の移設に伴い、平年値の一部を更新しました。詳細は「2020年平年値の更新について」（PDF形式:381KB）をご覧ください。（2023.5.17） 更新履歴 データ修正のお知らせ 「四日市」（三重県）において、観測環境が悪化していたため、2016年10月
Rで地図を塗りわける - 盆栽日記
Rで地図の色を塗り分けたいこととかありますよね。計画停電とか計画停電とか計画停電とか。 で、そんなときはmaptoolsを使うのですが、ある時に仕様が変わったらしくネットの資料はそれに対応してなかったりするわけです。 ということで自分用にメモ。 まず下記の場所で平成１７年国勢調査（小地域）を選択し、欲しい地域のデータをダウンロードする。 （地図を描くためだけであれば境界データがあればよいので、適当に男女別人口総数とか選んで次へ進み境界データのみダウンロードしておく。） http://www.e-stat.go.jp/SG2/toukeichiri/SelectDownload.do 今回は大田区のデータをダウンロードしてみた（勉強会がよくここであるので）。 zipでダウンロードされるので、解凍して.shx、.shp、.prj、.dbfの4つのファイルがあることを確認する。 あとは以下のスク
～シリーズ前処理2013～欠測への対応
4. たとえば • 欠測値への対応 • 連続データの離散化 • 外れ値処理 • 単位の変換（標準化） • サンプリング • 不均衡データ • 属性抽出 • データ形式の変換（時系列、グラフ等） 6. シリーズ前処理について • 一説では、データ分析の8-9割の時間を占め るといわれながら、その方法についてはあまり 語られることのない前処理について迫っていく シリーズです。 • 私の発表をたたき台にして、「ぼくのかんがえ たさいきょうのまえしょり」をみんな共有してく れると嬉しいです。 • 一人で続けるのはしんどいので、誰か続いてく れると嬉しいです。 7. これまでの前処理＠Tokyo.R • Rで学ぶロバスト推定（第13回） – 外れ値 • xtsパッケージで時系列解析（第15回） – データ形式の変換 • Rを用いた地理的情報解析（第16回） – デー
Nasdaq Data Link
The source for financial, economic, and alternative datasets, serving investment professionals.
C# によるプログラミング入門 [データ処理] LINQ
概要 Ver. 3.0 C# 3.0（そして、同時に発表された VB 9.0）の目玉となる新機能は、 Language Integrated Query、略して LINQ と呼ばれるもので、 リレーショナルデータベースや XML に対する操作をプログラミング言語に統合するものです。 LINQ を用いることで、様々なタイプのデータソースに対する検索や操作を、 共通の構文で行うことができます。 IEnumeable を実装するコレクションクラスに対するもの（LINQ to Object）や、 XML に対するもの（LINQ to XML）、 それに、リレーショナルデータベースサーバに対する SQL クエリを生成するもの（LINQ to SQL）などがあります。 LINQ には以下のような利点があります。 オブジェクト指向言語らしい書き方でデータベースへの問い合わせができます。 in-memor
![C# によるプログラミング入門 [データ処理] LINQ](https://cdn-ak-scissors.b.st-hatena.com/image/square/4d1b2b57fc676d21e7f59f354364abeac0ea062e/height=288;version=1;width=512/https%3A%2F%2Fufcpp.net%2Fimages%2Flogo_4.jpg)
Open DATA METI | 経済産業省のオープンデータカタログサイト
本サイトは経済産業省がオープンデータを実践するために設置した試験サイト（β版）です。本サイトは、データ活用に関心がある企業、NPO、個人等の方々から色々な意見をいただくことで、少しでも使い勝手の良いサイトにしていくとともに、個人情報等に配慮した上で、経済省のみならず政府全体におけるオープンデータ推進の検討に活用させていただくことも考えております。そのため、本サイトでは、ユーザーの方々から様々な意見や要望をいただき、対して様々な意見や要望をいただく仕組みの一つとして、「DATA METI活用パートナーズ」を設置しております。この「DATA METI活用パートナーズ」の概要と申込についてはこのページのとおりとなりますので、御関心のある方は是非ご覧下さい。 なお、いただいたコメントを踏まえ、柔軟な修正を逐次していくことを考えております。そのため、利用規約も含め、予告無く本サイトは変更される可能性
NIPR DATA BASE - メタデータポータル
All-sky camara observation at Syowa Station, AntarcticaにDOIが付与されました(2023-06-30 10:46:20)Antarctic aerosol CN にDOIが付与されました(2023-03-23 13:31:06)Antarctic ship-borne ceilometer にDOIが付与されました(2022-10-19 10:07:55)極域科学計算機システム保守作業について(2022-05-25 11:13:32)Antarctic surface air Beryllium-7 (Period-1:2014-2017) にDOIが付与されました(2022-04-19 15:54:40)Near InfraRed Aurora and airglow Spectrograph (NIRAS) @ Syowa にDO
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
国土数値情報ダウンロードサービス - 国土交通省国土計画局
http://www.singularpoint.org/blog/r/model-selection-aic-vs-loocv/
Social Science Japan Data Archive -- 東京大学社会科学研究所附属社会調査・データアーカイブ研究センター