[R] 予測モデルを作るには formula を活用せよ - ill-identified diary
概要 formula オブジェクトは変数変換や交互作用項など, 多彩な表現ができる. xgboost や glmnet では model.matrix() を併用することで formula を利用できる. 統計モデリング/機械学習で予測モデルを構築するとき, 予測性能の向上のため, しばしば変数を入れ替えたり, 変換したりといった推敲が必要となる. R ではこういうときに formula オブジェクトを使うと, いちいちデータフレームに変換後の数値を追加したり書き換えたりする必要がなくなる. glmnet や xgboost など, formula が直接使えないものでも model.matrix() 等を併用すれば可能である*1. formula オブジェクトを解説した記事を探すと, かなり前から存在する. 例えば以下の記事. m884.hateblo.jp なお, 上記はタイトルが「f
![[R] 予測モデルを作るには formula を活用せよ - ill-identified diary](https://cdn-ak-scissors.b.st-hatena.com/image/square/06a15c64ba0ceec233d86d71001ebb29a9dcbf5d/height=288;version=1;width=512/https%3A%2F%2Fcdn.blog.st-hatena.com%2Fimages%2Ftheme%2Fog-image-1500.png)
サッカーワールドカップ優勝予想対決：アルゴリズム vs 市場 vs その他大勢
いよいよ開幕したサッカー・ワールドカップ。日本時間今朝の開幕戦ブラジル対クロアチアは、3－1のスコアでブラジルの逆転勝ち。もちろん早朝から生中継見ましたよね？ さてさて、『シグナル&ノイズ 天才データアナリストの「予測学」』でもお馴染みの統計家ネイト・シルバー等が運営する FiveThirtyEight では、いつもの通り、選挙戦やスポーツ試合と同じように、今回のワールドカップの優勝予想を行っている。開幕戦は88％の確率でブラジルの勝利と予測していただけに、ブラジル代表チームと同様にこちらもまずは上々の滑り出しといったところだろうか。 選挙ウォッチャー：ネイト・シルバー 全米大学バスケット・トーナメントと、統計家ネイト・シルバーの優勝予想 ちなみに、ここで用いられているSPI（Soccer Power Index）というのは、ネイト・シルバーが2010年に開発した指数であり、シルバー自身が
第2回 R言語で始めよう、データサイエンス(ハンズオン勉強会) 〜相関分析による需要予測編〜
第2回 R言語で始めよう、データサイエンス(ハンズオン勉強会) 〜相関分析による需要予測編〜1 of 94
【書評】「機械仕掛けの水晶玉」予測分析の可能性を探る"Predictive Analytics"：シロクマ日報：オルタナティブ・ブログ
プレディクティブ・アナリティクス（Predictive Analytics）。日本語では「予測分析」などと訳されている言葉で、文字通りこれから起きることを予測するための技術です。ご想像の通り、流行りのビッグデータなどにも関係している分野なのですが、「何をするのか」が明確なだけビッグデータよりも分かりやすい概念かもしれません。あるいはビッグデータに続くバズワードになるかもしれない――ということで、その予測技術をテーマにした一冊が、最近発売された"Predictive Analytics: The Power to Predict Who Will Click, Buy, Lie, or Die"です。 表紙に描かれているのは「機械仕掛けの水晶玉」。未来を見通すということで、まるで占い師の水晶玉のような存在である予測技術について、その裏側にある機械の仕掛けを解説してくれています。 著者のエリッ
若き経済学者のアメリカ
2024年01月 « 1234567891011121314151617181920212223242526272829 » 2024年03月 オバマ再選という結果に終わった2012年のアメリカ大統領選挙。今回の選挙で一躍名前を売ったのは、共和党の副大統領候補ポール・ライアンかも知れないし、選挙ウォッチャーのネイト・シルバーかも知れない。（Tech Crunch 記事） ネイト・シルバーはアメリカでもっとも注目されている選挙専門家。シカゴ大学経済学部を卒業した後、2002年に、KPMG会計事務所に勤務中にメジャー・リーグ野球選手の統計的評価システムPECOTAをを開発した。これは映画「マネー・ボール」で日本でも知られるようになったセイバーメトリクスをオンライン化したもので、2007年にはPECOTAをBaseballProspectus社に売却して、選挙予測の分野に進出。2008年のオバマ
データマイニング予測の仕組み｜JRA-VAN広場｜競馬情報ならJRA-VAN
はじめての方へ 競馬ソフトを開発したい方へ JRA-VAN では、皆様の馬券購入の参考になるように、データマイニング予測として、レース結果を事前に予測しています。 世の中には、気象予測、経済予測、株価予測など、さまざまな予測がコンピュータにより行われています。競馬の世界でも、スピード指数、レーティング指数などさまざまな数式や指数が、勝敗予測のために用いられていますが、それらの中のひとつがJRA-VANのデータマイニング予測です。 2008年1月以降予測の仕組みについて以下の改修を行っております。本文では改修後の仕組みについてご説明します。 予測モデルの細分化 2008年1月から距離別レースクラス別に予測モデルを分割 2009年1月から上記に2歳戦・3歳戦に限定した予測モデルを追加 従来の走破速度予測モデルに加え、競走馬の勝敗を予測するモデルを追加 予測のためのデータとして坂路調教データを追
データサイエンティストを目指すなら知っておきたいRパッケージ10個＋α - データサイエンティスト上がりのDX参謀・起業家
元ネタのブログは「10 R packages every data scientist should know about」と「10 R packages I wish I knew about earlier」です。紹介されているパッケージはどれも良いのでメモしておきます。私が「取得した方がいいだろうなー」と思う順番に並べ替えてます。サンプルコードは後者の記事に載ってます。 randomForest：超強力な汎用予測モデル RPostgreSQL, RMYSQL, RMongo, RODBC, RSQLite：各種データベースへの接続 plyr：データ集約 reshape2：データ加工 forecast：時系列予測 stringr：文字列操作 lubridate：日付操作 sqldf：SQLライクなデータ操作 ggplot2：綺麗なプロットを描く qcc：品質管理 個人的には、下の３つは
ヘッジファンドの何が問題か？ - Willyの脳内日記
2008年は、多くのメインストリート(*1)の人達が 強欲な参加者で成り立つ金融システムが瓦解した年だと信じた年だった。 2009年は、市況自体は相当回復したが、 今でも多くの人がその信念を変えずにいる。 (*1)ウォールストリートとの対比の意味で。 まず金融危機にはいくつもの構造的な理由がある。 代表的なものをあげれば、 住宅ローン市場におけるプリンシパルとエージェントの利益相反問題、 投資家と格付け会社の利益相反問題、 投資銀行の経営者と株主の利益相反問題、等である。 それでは、統計学的な側面から見るとどうであろうか？ リーマンショック後、盛んに言われているのは、 「金融工学は金融危機を予測できなかった」 というものだ。 まず、金融工学と統計学では若干の立場の違いがある。 金融工学では、あくまで理屈付けが重要とされている側面が強い。 仮定を比較的たくさん置き、それを元に例えばデリバティ
ニューラルネットワークを用いた株価予測(3) - データマイニング・機械学習事始め
今回は前回の検証ということで過去１０年分の日経平均終値を訓練データとテストデータに分割して 訓練データを用いてニューラルネットを学習させ、未知データであるテストデータを実際に用いて株価の近似が上手くいっているのか確かめてみようと思います。 また株が上昇するのか下落するのかの予測の正当確率も求めます。 以下アバウトですが2001年3月13日から2009年ぐらいの期間の株価変動率を訓練データとし、それ以降のデータをテストデータとしています。 以下実際の株価と予測した株価の結果になります。 正当確率:0.51814516129 株が上昇するのか下落するのかの予測の正当確率は0.51814516129とほとんど山勘と対して変わらない結果ですね。 とりあえず今日はここまでにします。
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
機械学習を用いた予測モデル構築・評価
本家本元、バイロン・ウィーン氏のビックリ10大予想：2014年版 My Big Apple NY | Sawako Yasuda's Blog
BLOGOS サービス終了のお知らせ
コンクラーヴェの群衆の動きを、数学はどのように予測するか：研究結果