「機械学習のパラメータをベイズ最適化でチューニング」をRで超簡単に書けるパッケージを作った - ★データ解析備忘録★
0. 要約 機械学習のハイパーパラメータをベイズ最適化でチューニングするのは既存パッケージの組み合わせで頑張ればできたのですが、頑張らなくても簡単に書けるパッケージを作りました。 github.com これにより、例えば iris データをXGboostの3-foldクロスバリデーション、エラー率評価でフィッティングさせたければ以下のように書くことでハイパーパラメーターである eta, max_depth, nround, subsample, bytree をベイズ最適化でチューニングしてくれます。 res0 <- xgb_cv_opt(data = iris, label = Species, objectfun = "multi:softmax", evalmetric = "merror", classes = 3, n_folds = 3) データセット名、ラベルの列名、XGbo
R Markdownによるレポート生成 - Qiita
はじめに システムの稼働状況とかミドルウェアの統計情報とかを手っ取り早く可視化するためにRを使ってみようということで書き始めた連載企画です。今回はレポート生成編です。 R Markdownというパッケージを使用すると、Word, PDF, HTML等の形式のレポート生成を自動化できます。Rでデータを集計してグラフを作ったとしても、それをExcelやWordにコピペしてレポートを作っていたのでは非常に効率が悪いです。そこをサクッとスマートにやりましょうという話です。 レポート生成の自動化の意義や、R Markdownの使い方等については、以下にすばらしい連載記事がありますので是非一読されることをお勧めします。 R Markdownで楽々レポートづくり 詳細は上の記事見ていただくのがよいと思うので、ここでは一通りレポート生成させてみる所を中心にまとめます。 関連記事 インフラ屋さんのためのR言
顧客生涯価値(CLV)の計算 with R – かものはしの分析ブログ
都内の事業会社で分析やWebマーケティングの仕事をしています。大学・大学院では経済学を通じて統計解析を行うなどしておりました。企業に勤めてからは、機械学習やテキストマイニング、クローリング技術などに関心を持っています。 Twitterアカウント Mr_Sakaue( SKUE ) GitHub 読書メーター ほしいものリスト 顧客生涯価値(CLV：Customer Lifetime Value)を計算してくれるRのコード（Calculating Customer Lifetime Value with Recency, Frequency, and Monetary (RFM)）があったので、今更感がありますが取り上げたいと思います。 目次 ・顧客生涯価値の数式 ・データセット ・関数 ・データセットの読み込みと加工 ・再購買率とRFMとの関係 ・再購買率の推定 ・顧客生涯価値の計算 ・参
競馬の予測をガチでやってみた - stockedge.jpの技術メモ
基本的に競馬なんてやるべきではないと私は思っている。胴元の取り分が多いからだ。宝くじに比べればまだましだが、それでも賭け金の20～30%は胴元に取られることになる。*1 しかし今回は、ちょっと思い立って競馬の予測をやってみることにした。 理由は馬券の安さだ。私は現在、資金量が少ない人間でも不利にならない投資先を探しているのだが、馬券の一枚100円という安さは魅力的に映る。株の場合にはどんな安い株であれ最低購入額は数万円以上*2なので、ある程度まとまった資金が必要になる。 また、競馬には技術介入の余地（努力次第で勝利できる可能性）がある。 例えばこんな例がある。 １６０億円ボロ儲け！英投資会社が日本の競馬で荒稼ぎした驚きの手法 - NAVER まとめ 彼らは統計解析によって競馬で勝っており、その所得を隠していたらしい。こういうニュースが出るということは、解析者の腕次第では競馬で勝てる可能性が
Rで解析：データを解析する前におこなっている作業の紹介
データを本格的に解析する前におこなっている「データの特徴を把握する作業」のコマンド紹介です。内容はデータの作成、ファイルの読み込み、データ構造、要約、分散、ヒストグラム、インタラクティブな散布図、データを作業フォルダにcsvで保存するコマンドです。 実行コマンドはR version 3.2.2で確認しています。 実行コマンド 詳細はコメント、コマンドのヘルプを確認してください。 [code language=”R”] ###データ例の作成##### n 出力結果 ・ヒストグラムで分布の確認 ・インタラクティブな散布図 快適な閲覧環境保持のため画像にしています。実際のコマンドではインタラクティブな散布図が出力られます。 Rで解析：インタラクティブな散布図作成！「pairsD3」パッケージ https://www.karada-good.net/analyticsr/r-77/を参照 少しでも
[R] koRpus (TreeTagger の Rラッパー) で原形と品詞情報を得る
TreeTagger を R で利用するためのラッパーである koRpus を使って、英語テキストの原形と品詞情報を得ます。なお、Mac (Yosemite) を使っています。 [1] TreeTagger と koRpus をダウンロード・インストールします: [Mac] TreeTagger のインストールと設定 [R] koRpus (TreeTagger の Rラッパー) 準備 [2] R を起動し、まずは下準備: library(koRpus) set.kRp.env(TT.cmd="/Users/[ユーザー名]/Applications/TreeTagger/cmd/tteng", lang="en") library(koRpus) は koRpusパッケージの呼び出し。 set.kRp.env(TT.cmd="パス", lang="en") でtree-tagger-eng
第49回R勉強会@東京に参加してきた - INPUTしたらOUTPUT!
以下メモ 第49回R勉強会＠東京（#TokyoR） : ATND TokyoR#49の座席表 - セキココ 第49回R勉強会@東京まとめ - Togetterまとめ 初心者セッション はじめてのR 今日発表した内容になります。 はじめてのR http://t.co/NgN5DA7Oug #TokyoR— Minoda Takashi (@aad34210) 2015, 7月 18 R歴半年以上が約半分 『みんなのR』、重版決定 & 電子版配信予定(7月) 紙版買って一瞬後悔したけど、電子書籍だとサインもらえない データハンドリング transform() 一度に複数の列を追加できる 2年間、R使ってて初めて知った orz... dplyrに慣れるとreshape2よりtidyrの方が使いやすいかと Rで確認しながら解く統計検定2級 統計ファンダメンタリスト = 統計原理主義者 参加者の統計
R言語メタプログラミングの基礎 - 檜山正幸のキマイラ飼育記 (はてなBlog)
Rはメタプログラミングの能力を持っていますが、情報がまとまってなくて苦労します。けっこう落とし穴もあります。基本的な事項をここにまとめておきます。 内容： 関数オブジェクトの基本構造 関数オブジェクトのコンストラクタ ペアリストと仮引数リスト 空な名前とデフォルト値なし コールオブジェクトと関数本体 関数の評価環境 関数の登録先環境 コールオブジェクトの操作 引数の式をコールオブジェクトとして取得する その他のメタプログラミング・ツール メタプログラミングのサンプル R言語メタプログラミングの基礎：補足 関数オブジェクトの基本構造 ユーザーが定義した関数をデータとして見ると、3つの部位（スロット、メンバー）を持つ構造体と考えることができます。3つの部位とは、仮引数リスト（formal parameter list）、本体（body）、環境（environment）です。その要点を次の表にま
Rに関わりそうなチートシートまとめ（随時更新） - バイアスと戯れる
チートシートやリファレンスのまとめ Rの基本的な操作に関するあれこれ チートシートやリファレンス R Cheat Sheet (PDF) (ADD: 2017.03.11) R Reference Card (PDF) R Reference Card 2.0 (PDF) The Ultimate R Cheat Sheet – Data Management (Version 4) (PDF) R Cheatsheet (PDF) R Reference Card for Data Mining (PDF) 11 Steps for Data Exploration in R (with codes) (ADD: 2017.03.11) Regular Expressions with The R Language 統計ソフトRの「困った」を解決する12（+α）の方法 Rのチートシート
RGoogleAnalytics で RFM 指標のヒストグラム - 廿TT
RFM 分析とは マーケティングの分野ではしばしば、 R（recency；リセンシー）直近の購買からの経過時間 F（frequency；フリクエンシー）観測期間中の購買回数 M（monetary；マネタリー）累計または平均購買金額 の 3 指標を見て優良顧客を識別することがある。 これを Google アナリティクスの指標で行うことを考える。 本ブログは残念ながら一銭も儲かっていないので、 ユーザー最終訪問日からの経過日数（何日間空けてアクセスしてきたか）を R（リセンシー） ユーザーのセッション回数を F（frequency；フリクエンシー） と見て、ヒストグラムで表示する。 ヒストグラムとは、ここからここまでの範囲に該当するものが何件ありますよ、というのを棒グラフで示したもののこと。 データの取得 library("RGoogleAnalytics") query <- QueryBu
RFM 分析を簡単に実行できる R パッケージ easyRFM を作った - ほくそ笑む
※この記事は R Advent Calendar 2014 - Qiita の 11 日目の記事です。 はじめに RFM 分析は、マーケティングの顧客分析でよく使われる手法です。 Recency(いつ買ったか)、Frequency(何回買ったか)、Monetary(いくら使ったか)を指標として、顧客をグループ化します。 RFM 分析が何なのか、何に使えるのかは、次のサイトの記事を読めば理解できると思います。 顧客分析の手法 #RFM分析 しかし、実際のデータにこの手法を適用しようと思ったとき、困ったことになります。 どのようにランクを区切ったら良いのか分からないのです。 上記のサイトにもこう書いてあります。 ランクをどこで区切るかは重要な問題で、業種、業界、商品や分析を行なう時期や、用いるデータの期間などによって、分けかたを慎重に検討する必要があります。 このランクを区切るという重要かつ難
PL/R の 発見 ～ PostgreSQL版 PL/SQL である PL/pgSQL は、SQLユーザ定義関数内 に R言語 のコード を埋め込める - Qiita
CREATE TABLE emp (name text, age int, salary numeric(10,2)); INSERT INTO emp VALUES ('Joe', 41, 250000.00); INSERT INTO emp VALUES ('Jim', 25, 120000.00); INSERT INTO emp VALUES ('Jon', 35, 50000.00); CREATE OR REPLACE FUNCTION overpaid (emp) RETURNS bool AS ' if (200000 < arg1$salary) { return(TRUE) } if (arg1$age < 30 && 100000 < arg1$salary) { return(TRUE) } return(FALSE) ' LANGUAGE 'plr'; SELE
A/B テストで施策の効果を検証！エンジニアのための R 入門 - クックパッド開発者ブログ
こんにちは、買物情報事業部でサーバサイドの開発を担当している荒引 (@a_bicky) です。 今回のエントリでは R で A/B テストの結果検証を行う方法の一例について紹介します。 エンジニアでも自分の関わった施策の効果検証のために簡単な分析をすることがあるかと思いますが、そんな時にこのエントリが役立てば幸いです。 なお、次のような方は対象外です。 A/B テストや KPI の設計に興味のある方 この辺には全く触れません プログラミング初心者 わからない単語が大量に出てくるでしょう R で統計学や機械学習の手法をバリバリ使いたい方 世の中の “分析” の多くは集計処理がメインです Python, Julia など既に分析する上で使い慣れた言語・ツールがある方 今回のエントリ程度の内容であればわざわざ乗り換える必要もないでしょう OS は Mac を前提として説明するので、Windows
最強のハードディスクはどれだ？
4. 82種のハードディスク 2013年から2014年の2年間の データセット 4 毎日のSMART＋故障情報 date serial_number model capacity_bytes failure 2014/1/1 MJ0351YNG9Z0XA Hitachi HDS5C3030ALA630 -1589157888 0 2014/1/2 MJ0351YNG9Z0XA Hitachi HDS5C3030ALA630 -1589157888 0 2014/1/3 MJ0351YNG9Z0XA Hitachi HDS5C3030ALA630 -1589157888 0 2014/1/4 MJ0351YNG9Z0XA Hitachi HDS5C3030ALA630 -1589157888 0
R でアトリビューション分析。Google アナリティクスの「コンバージョン経路」レポートを視覚化。 - 廿TT
アトリビューション分析とは バズワードです。明確な定義はありません。 広告の直接効果だけでなく、間接的な効果も含めて分析しようみたいな意味です。 コンバージョン経路 Google アナリティクスの管理画面を開いて「コンバージョン」→「マルチチャネル」→「コンバージョン経路」を選ぶと、こんなレポートが表示されます。 例えば、「オーガニック検索 > ノーリファラー」は、最終的にコンバージョン（成果）に至ったセッションはノーリファラーだったけれども、その直前のセッションはオーガニック検索だった、という意味です。 こういうのを見るのが最近はやってます。ユーザーのセッション遍歴は「カスタマージャーニー」とか呼ばれます。 R で集計 どのチャネル（訪問経路）がコンバージョンにどの程度寄与しているのか、「コンバージョン経路」のレポートから集計してみます。 データは Analytics すべてのウェブ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Microsoft、「Visual Studio」にR言語サポートを追加する「R Tools for Visual Studio」
R をオンプレミスとクラウドの両方の企業環境に対応したクロス プラットフォーム分析ツールにするために
Posit
rvest すげえ。#rstatsj - Qiita
Tokyo.R女子部が開催されるようです！ - あらびき日記
