Kaggleに入門したい人におすすめするアプローチ法 - Drumatoの独り言
注意: 2019年11月12日追記. 非常に多くの方にご覧頂いているこの記事ですが, 私が機械学習･データサイエンスの勉強をし始めた時期に執筆したものであり, また現在は低レイヤー,システムプログラミングの勉強をしており,この分野についてはノータッチです. 内容については 信憑性に欠ける記事 というのを念頭に置きつつ, あくまでKaggle入門者が ｢どうやってKaggleを始めるか｣を考えていく記事だと考えていただければ幸いです. 目次 目次 概要 簡単な経歴 Kaggleに対するアプローチ 結果よりもプロセスを意識する Python､R関係無く読む コミュニティに入る オススメ環境 高スペックマシンを扱えるカーネル NoteBookの管理にGit 実際の流れ 参加するコンペを選ぶ Kernelを見る 高スパンにカーネルを訪れて､最新の手法を真似し続ける Tips よく使われるアルゴリズ
機械学習を使って東京23区のお買い得賃貸物件を探してみた - データで見る世界
さて、改めて今回の目的を確認しておくと、機械学習を使って東京都23区のお買い得賃貸物件を発見しよう、というものです。前回までの記事で、お買い得賃貸物件を発見するためのデータを収集し、分析にかけられるよう前処理してきました。 www.analyze-world.com www.analyze-world.com 今回の記事では、いよいよ機械学習を使って分析していきましょう。前回まではPythonを使っていましたが、この分析ではRを用いています。なお、コードはGitHub（https://github.com/ShoKosaka/Suumo）に上げておきますので興味ある方は参照ください。 最初に、データの中身をざっくり見ていきます。具体的には、分析のキーになるポイントをグラフにしながら、賃貸物件の現状や変数同士の関係性を把握していきます。 データ探索 まず、23区の中でどこが物件数が多いのかを
ウェブスクレイピングと形態素解析 - Qiita
rvest パッケージを使ってWEBから文字列を取得し、これをデータフレームにして RMeCab の doDF() で解析する。 前提 MeCab がインストールされた環境。OSXでのMeCabのインストールについては https://sites.google.com/site/rmecab/home/install を参照。 さら R がインストールされており、追加で以下のパッケージが導入されている。 install.packages(c("dplyr", "rvest", "wordcloud", "igraph"), depend = TRUE) install.packages("RMeCab", repos = "http://rmecab.jp/R")
[R] 予測モデルを作るには formula を活用せよ - ill-identified diary
概要 formula オブジェクトは変数変換や交互作用項など, 多彩な表現ができる. xgboost や glmnet では model.matrix() を併用することで formula を利用できる. 統計モデリング/機械学習で予測モデルを構築するとき, 予測性能の向上のため, しばしば変数を入れ替えたり, 変換したりといった推敲が必要となる. R ではこういうときに formula オブジェクトを使うと, いちいちデータフレームに変換後の数値を追加したり書き換えたりする必要がなくなる. glmnet や xgboost など, formula が直接使えないものでも model.matrix() 等を併用すれば可能である*1. formula オブジェクトを解説した記事を探すと, かなり前から存在する. 例えば以下の記事. m884.hateblo.jp なお, 上記はタイトルが「f
![[R] 予測モデルを作るには formula を活用せよ - ill-identified diary](https://cdn-ak-scissors.b.st-hatena.com/image/square/06a15c64ba0ceec233d86d71001ebb29a9dcbf5d/height=288;version=1;width=512/https%3A%2F%2Fcdn.blog.st-hatena.com%2Fimages%2Ftheme%2Fog-image-1500.png)
残りの私たちにとって、Rが最高のプログラミング言語である理由 | POSTD
訳注：2017/5/23、いただいた翻訳フィードバックをもとに記事を修正いたしました。 私はRを使用して6年以上になります。Rとの最初の出会いは、財政学におけるモンテカルロシミュレーションの博士課程の時で、紹介してくれたのはWolfgang Hörmannでした。プログラミング言語に関しては、それ以前にもいくつか使ったことがあり、最後のものはC++（これも私は大好きです）でしたが、それらのどれもRほど 便利 ではありません。 残りの私たちにとってRが最高の言語である理由をリストアップする前に、まず “残りの私たち” の定義を明確にしておきましょう。残りの私たちとは、ExcelユーザやSPSSユーザ、そしてコンピュータサイエンス（CS）界の外にいる人々(*)、つまり簡潔さを目指して努力しながら、同時にパワーと柔軟性を追求する “プログラムの利用者” のことです。Rは、そんな 私たち にとって
データサイエンティストもしくは機械学習エンジニアを目指すならお薦めの初級者向け6冊＆中級者向け15冊（2017年春版） - 渋谷駅前で働くデータサイエンティストのブログ
(Photo credit: https://pixabay.com/en/books-door-entrance-italy-colors-1655783/) この記事は一昨年のこの書籍紹介記事のアップデート版です。 相変わらず毎月のように新刊書が出続けるデータ分析業界ですが、良い本が増え続けてきたせいでついに初級者向けは6冊、中級者向けは何と15冊にまで膨れ上がってしまいました（汗）。ともあれ、自分のところにアフィリエイトの類は一銭も入らないにもかかわらず*1懲りずに書籍紹介をやろうと思います。 あ、最初に断っておきますが僕の知識レベルは極めて適当なので、極めていい加減なことを書いている可能性があります。また最初に読んでから時間が経っていて記憶があやふやなせいで、内容に関する記述が不正確な書評が混じっている可能性もあります。誤っているところやおかしいところがあったらバンバン突っ込んでく
ビットコイン価格を計量分析して各種価格データとの相関関係を考察してみた - ビットコインの情報サイトの運営者ブログ
最近の話題といえばやはりビットコインの価格でしょう。価格予想でも書ければ面白いのですが、トレーダーでも投資家でもない私としては皆目見当がつかないので、中々探しても見つからないビットコインの価格データの計量分析を自分でやってみることにしました。 なお、どうしても専門用語を多く使ってしまっていますが、すべて説明していると1記事では収まらないのでかなり省略しています。またあくまで素人が趣味・独学の範囲で行っているものですので分析の誤り等にはご容赦ください。 使用するデータ 今回使用するデータとして、BTCJPY、BTCUSD、BTCCNY、USDJPY、EURUSD、USDCNY、TOPIX（日本株）、S&P 500（アメリカ株）、SSEC（中国株）、金、原油の11種を選びました。 為替、株、商品市場のそれぞれ代表的なものです。日経平均やNYダウでもいいのですが、より市場全体を代表する指標という
[R] 実録・手作業で行なっていた集計・グラフ化作業をRで自動化した話（Tips編） | DevelopersIO
はじめに 先日は概要編と称して主にエクセルを用いて手作業で実施していた集計・グラフ化作業をRを用いてスクリプトで管理する体制に移行した概要を記述しました。 今回はTips編と称して、集計・グラフ化作業をRのスクリプト化するにあたって役に立ったTipsを10個紹介します。 Table of contents ライブラリが入っていなかったらインストールする ディレクトリが無かったら作成 特定の離散値しかとらないカラムに対してカウント数0も含めて集計 データフレームの因子データを一括で数値データに変換 データフレームをライブラリを用いてエクセルファイルとして出力 グラフの判例を枠外に出す グラフ内の日本語文字化けを直す 対散布図と相関の度合いをライブラリを用いてグラフで出力 調査を重ねるにつれて変化するCSVスキーマの差分吸収 SELECT 集約関数 FROM テーブル GROUP BY カラム
![[R] 実録・手作業で行なっていた集計・グラフ化作業をRで自動化した話（Tips編） | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/799296d43fa3cf2fbbe66e60bc8591a4e8d1cc45/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2015%2F08%2FR-eyecatch.jpg)
[R] 実録・手作業で行なっていた集計・グラフ化作業をRで自動化した話（概要編） | DevelopersIO
はじめに csvに書き出された顧客調査のデータからレポートを作成する際には、手っ取り早さの観点から、当初はエクセルを用いて手動で集計作業を行なっていました。 得られた結果を社内のConfluenceにテーブルとして転記し、Confluenceの機能を用いてテーブルからグラフを生成していました。 これらの集計テーブルの編集や、グラフ出力はConfluenceの機能を使えば実現できるものですが、Confluenceに独特なテーブルの編集方法やグラフの作成方法を覚える必要があり、作業内容を人に伝える際には余分に時間を取られやすいというデメリットがあります。 対象のレポート作成は定期的に発生するため、この手のオーバーヘッドをなくすことには下記のようなメリットがありました。 レポート集計のための作業時間が削減される 他の人に作業を引き継ぎやすくできる 作業自体のコード化によって作業手順の履歴をGit
rvestでリアルタイムな為替レートを取得したい - My Life as a Mock Quant
USD/JPYレート、こんなんで取得OKでござんした。html関数以下を再実行すれば直近のレートに置き換わる。 #パッケージ読み込み＆html取得 library(rvest) html <- html("http://info.finance.yahoo.co.jp/fx/detail/?code=USDJPY=FX") #BID, ASK取得 bid <- html %>% html_node('#USDJPY_detail_bid') %>% html_text() %>% as.numeric() ask <- html %>% html_node('#USDJPY_detail_ask') %>% html_text() %>% as.numeric() #出力 print(c(BID=bid, ASK=ask)) このrvestライブラリの使い方は、もっと勉強する必要がある。
同じデータセットに対するアプローチの違いから見る「データ分析のステージ」 - 渋谷駅前で働くデータサイエンティストのブログ
追記 (2015/02/21) いくつか抜けてるところがあったなぁと思ったので、後から追記や加筆修正してみました。最初のオリジナル版から少し内容が変わっているところがありますがご了承ください。 ちょっと前の記事でこんなネタをやってみたわけですが。 世の中には色々な「データ分析」のやり方があるなぁと思った時に、この同じ2013年のテニス四大大会のデータからそれぞれのやり方をしている人たちがどんな異なるアプローチを取るのかなぁとふと想像したもので、半分ネタ的に書いてみました。便宜的に以下のようにステージを分けてあります。 集計ステージ 検定ステージ 相関ステージ 重回帰分析ステージ 機械学習を含めたモデリングステージ 厳密性に拘るステージ なお、データは以前の記事と同じこちらのものをお使い下さい。 その上で、Rで分析する際は以下のように前処理しておきます。単にプレイヤー名・獲得ゲーム数・総獲得
データ分析系研究者のためのgitによるバージョン管理 - Qiita
2014年は研究の再現性ということが非常に話題になった年だったと思います。ソフトウェア開発の世界の技術であるバージョン管理システムが、データ分析のコードの管理と再現性の確保にも非常に便利だと思ったので簡単なまとめです。分析のコードは書くけどバージョン管理になじみがない研究者やwannabe(私とか)を対象にしています。 "ほんとは簡単？SourceTreeでGitを始めよう！" (http://naichilab.blogspot.jp/2014/01/gitsourcetreegit.html ) "サルでもわかるGit入門" (http://www.backlog.jp/git-guide/intro/intro1_1.html ) というわかりやすい記事を参照しながら、データ分析の文脈で解説します。 とりあえずファイル名でバージョン管理 データハンドリングや解析のコードを変更するにあ
RPubs - 政府統計の総合窓口(e-Stat)のAPIを使ってみよう [R編]
Hide Comments (–) Share Hide Toolbars
[R][MT4] FXCMの分足データをAlpariの日足に合わせる - Qiita
今回も誰の役に立つのかわからない、故に他では見かけない隙間に潜り込みます。 しかも全力他力本願です。 MT4のヒストリカルデータをRで加工します。 今回、MQLコードは出て来ません。 そしてRはただの前処理機として使用しています。 FX自動売買のバックテストに必要不可欠なヒストリカルデータですが、長期かつ高頻度で信頼性の高いものは（少なくとも無償では）なかなか入手しづらいのが現状です。 FXDDだと入手は楽なのですが、以前確認した時にパッと見で明らかに変な形の足を目撃してしまったのでちょっとなぁ・・・という感じです。 最近はアルパリジャパンも1分足を提供していますが、期間や銘柄数の点でちょっとさびしいです。 で、他に候補はいくつかあるのですが、今回はその中から比較的長期間(2001年11月末よりほぼ現在まで)のデータが提供されているFXCMのものを使用します。 FXCM提供の1分足データは
![[R][MT4] FXCMの分足データをAlpariの日足に合わせる - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/fee329a258b7a114decc187e7087c2f706102f16/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Farticle-ogp-background-9f5428127621718a910c8b63951390ad.png%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTkxNiZoPTMzNiZ0eHQ9JTVCUiU1RCU1Qk1UNCU1RCUyMEZYQ00lRTMlODElQUUlRTUlODglODYlRTglQjYlQjMlRTMlODMlODclRTMlODMlQkMlRTMlODIlQkYlRTMlODIlOTJBbHBhcmklRTMlODElQUUlRTYlOTclQTUlRTglQjYlQjMlRTMlODElQUIlRTUlOTAlODglRTMlODIlOEYlRTMlODElOUIlRTMlODIlOEImdHh0LWNvbG9yPSUyMzIxMjEyMSZ0eHQtZm9udD1IaXJhZ2lubyUyMFNhbnMlMjBXNiZ0eHQtc2l6ZT01NiZ0eHQtY2xpcD1lbGxpcHNpcyZ0eHQtYWxpZ249bGVmdCUyQ3RvcCZzPThiZjM2MWZjNjgwOGVkZGI2NDZiZWVlNGZhMzJlMGU1%26mark-x%3D142%26mark-y%3D112%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTYxNiZ0eHQ9JTQwTGl0b3BzUSZ0eHQtY29sb3I9JTIzMjEyMTIxJnR4dC1mb250PUhpcmFnaW5vJTIwU2FucyUyMFc2JnR4dC1zaXplPTM2JnR4dC1hbGlnbj1sZWZ0JTJDdG9wJnM9NDc5YjAxNWMzNWEyMTk3YTkwNWQxZDk4MjA3ZmE3Y2I%26blend-x%3D142%26blend-y%3D491%26blend-mode%3Dnormal%26s%3Dc6dd6be35ae635ce18e71edc1de36b0c)
RPubs - RFinanceJパッケージで振り返る日本の金融マーケット2014
Hide Comments (–) Share Hide Toolbars
「実践！ Rで学ぶ統計解析の基礎」関連の最新 ニュース・レビュー・解説 記事 まとめ - ITmedia Keywords
実践！ Rで学ぶ統計解析の基礎（8）： 大相撲のアノーマリー （2） 大相撲の勝敗結果を分析すると、ちょっとした不自然さが見つかります。前回に引き続き、ネット上のデータを利用して解析を試みます。八百長疑惑に揺れる角界ですが、その真相は？（2011/2/17） 実践！ Rで学ぶ統計解析の基礎（7）： 大相撲のアノーマリー （1） 大相撲の勝敗結果を分析すると、ちょっとした不自然さが見つかります。今回は、ベストセラーとなった書籍「ヤバい経済学」でも紹介されていた論文を元ネタにネット上のデータを利用して解析を試みます。（2010/12/7） 実践！ Rで学ぶ統計解析の基礎（6）： 夏の異常気象をオープン・データで確認 今夏は異様に暑かったですよね。でも、どのぐらい暑かったと思いますか？ オープン・データを利用し、Rで可視化してみましょう。（2010/10/4） 実践！ Rで学ぶ統計解析の基礎（5
「統計解析ソフトRのスクリプト集」公開のお知らせ - 心理発達科学専攻からのお知らせ
石井准教授の作成した「統計解析ソフトRのスクリプト集」をオンラインで公開します。名古屋大学教育学部の「心理・教育の統計学」の授業で実際に使用されている教材です。学習・研究にご活用下さい。 2016.4.5 Ver. 4.0βを公開しました。棒グラフオプション、オメガ係数、効果量、標本サイズの推定などの記述が加わりました。 2015.3.18 Ver. 3.0βを公開しました。記述統計量の算出の部分を統一的にしたのと、データ例を書籍にあわせて変えています。 2014.11.4 Ver. 2.2βを公開しました。 統計解析ソフトＲのスクリプト集 (PDF) 下記のサイトでは、シラバスと講義資料が公開されています。あわせてご活用下さい。 「心理・教育の統計学」（名大の授業） 講義資料 (PDF) ーーー はじめに 石井秀宗 この冊子は，心理学や教育学の研究でよく用いられる統計手法に関して，統計解
Google アナリティクスデータのレポーティングを R で自動化しよう（ランディングページと検索キーワード） - 廿TT
はじめに これまで、R を活用したGoogle アナリティクスデータの可視化をいろいろと紹介してきました。 Google アナリティクス カテゴリーの記事一覧 - 廿TT このブログはたぶん統計屋とかエンジニアよりの人しか読んでいないんじゃないかと思いますが、本エントリは非エンジニア、非プログラマーの方にこそ読んでいただきたい内容です。 「データ分析とかプログラミングとか数学とかあんまり勉強してこなかったけど、会社入ったらマーケティングとか Web 系のこととかの担当になっちゃった」という方、お仕事でデータ集計やグラフの描画をすることが多いと思います。 （文系・理系という区分け、あまり好きじゃないんだけど暫定的には便利なのでつい使ってしまう） R というフリーのソフトウェアを使えば統計解析、データの可視化が非常に簡単に、効率よく行えます。 R はプログラミング言語の一種ので、最初はとっつき
ファーマ・フレンチ(Fama/French) の３ファクター、ゲットだぜ！！ - My Life as a Mock Quant
俺たちの最強Rクオンツブロガー・Timely Portfolioことタイポさんの記事をみると、ファーマ・フレンチの３ファクターをサクッとゲットできるなんて方法を解説されていたので、パク真似てみた。上の記事で、彼はzooパッケージによる可視化をしていたので、こちらは負けじとrCharts使っておこうと思ったら、複数行のPLOT法わからなかったので、tsで妥協した。。。 #なきゃいれとく install.packages("Quandl") #ライブラリの読み込みと認証 library(Quandl) Quandl.auth("ここに認証コード") #月次データ取得(月次・ts)＆tsとして描画 f <- Quandl("KFRENCH/FACTORS_D", type="ts", collapse="monthly") plot.ts(f, main = "ファーマフレンチの３ファクター推移
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
統計解析ソフトRのスクリプト集 名古屋大学補助教材（石井秀宗）