R で高速な (ユークリッド) 距離行列計算 | Atsushi TATSUMA Web Page
はじめに 皆さんは R 好きですか？好きですよね。勉強会もたくさんありますもんね。 僕は嫌いです。遅いので。でも、書き方の工夫でなんとかなることもあります。 僕が研究室でやってることは、表向き検索ということになってるのですが、 やってることは、次元削減とかクラスタリングとか、そのあたりです。 データがなす空間を、解析するという点では、検索も機械学習も一緒ですね。 この、データが空間上でどういった感じになってるのか、の手がかりとなるモノに、 全データ点同士の距離があります。これを行列で表したものが、距離行列です。 距離には、だいたい、まずは、ユークリッド距離を試します。 R で距離行列を求める場合 dist 関数を使いますが、 ユークリッド距離だけに絞れば、自作した関数の方が速くなります。 2点間のユークリッド距離 いま、二次元のデータが、二点あるとします。 ちなみに、データ点
ofmind.net
ofmind.net 2020 Copyright. All Rights Reserved. The Sponsored Listings displayed above are served automatically by a third party. Neither the service provider nor the domain owner maintain any relationship with the advertisers. In case of trademark issues please contact the domain owner directly (contact information can be found in whois). Privacy Policy
[メモ]マーケティングにおける生存分析 - yokkunsの日記
先日、R言語で生存時間分析をやってみたが、この方法論は、マーケティングにも応用されている。 例えば、以下のような事を分析が出来る。 顧客はいつ去ってしまいそうか 顧客は次回、別の顧客セグメントに移りそうか 顧客在籍期間を長くするor短くする要因 顧客在籍期間に対するさまざまな要因の定量的効果 これらを活用して、例えば、CRMの指標の一つであるLTV(Life Time Value:顧客生涯価値)の測定などが出来る。 LTVの測定 LTVとは、顧客の初回購買から最後の購買に至までに得られる利益のことで、簡単に書くと、以下のような式になる LTV = 生涯のマージンの期待値 - 生涯の維持費の期待値マージンをMとした時に、ある期間tの期待マージンは、その期間に生存している（離脱していない）事が条件なので、以下のように書ける。 期間tの期待マージン = M × (生存率） + 0 × (1-生存
![[メモ]マーケティングにおける生存分析 - yokkunsの日記](https://cdn-ak-scissors.b.st-hatena.com/image/square/3dff25baeab56c654ac0e1a858c08694de37d122/height=288;version=1;width=512/https%3A%2F%2Fogimage.blog.st-hatena.com%2F17680117127154449504%2F17680117127154462167%2F1558422168)
『Is R an ideal language to teach the fundamentals of programming to beginners? | R-bloggers』へのコメント
テクノロジー Is R an ideal language to teach the fundamentals of programming to beginners? | R-bloggers
統計分析環境 R ユーザ向け検索エンジン seekR を改良した - hiratake55 の作業メモ
統計分析環境 R ユーザ向け検索エンジン seekR では、RjpWiki, R-Tips をはじめとする、日本語の R 関係のサイトのみを対象にして Google 検索を行う検索エンジンです。 国内の R 関係のサイトを網羅するよう、気付き次第手作業で登録していますが、ただし、「はてなダイアリー」については、R に関連した内容のブログが多すぎるため、登録作業が煩雑なことから、http://d.hatena.ne.jp/ 以下全体を対象にしていました。 しかしそれが、R とは全く関係の無い Excel, Matlab, Python, Ruby などのページまで拾いあげてしまう問題になっていました。そこで今回、R についての言及のあるはてなユーザーのみを集めて登録し直しました。 今回 seekR に登録したサイトは、下記の 123 件です。 http://d.hatena.ne.jp/ak
Rookパッケージがすごい！Rだけで1分で0からウェブアプリ - はやしのブログ Rev.3
要R (≥ 2.13.0)です。では，おもむろに以下のスクリプトを実行してください。 install.packages("Rook") s <- Rhttpd$new() s$start(quiet=TRUE) s$browse(1) ブラウザが立ち上がり，テスト用のウェブアプリが表示されました。たったこれだけで！ なぜこんなことができるかというと，Rは実はウェブサーバーを内蔵していて，Rookパッケージはこれを使ってウェブアプリを稼働させています。 Hello, World! ではお約束にとりかかりましょう。 app.hw <- function(env){ res <- Rook::Response$new() res$write("<html>\n<head><title>Test</title></head>\n<body>\n") res$write("<h1>Hello, Wo
出会い - 日々のつれづれ
今日はいろんなことがあった。 どれも高度で理解が及ばないが、多くのことを勉強させてもらった。 それでも、心に残った言葉があった。 最近、大切なことがどんどん頭から消えて行く。 だから、書き止めよう。 「自分の思いをちゃんと理解していただくには、相手の思いを理解することからですよ」 いや、忘れる分けがないですよ。だって、今も怒られることだから。でも、できてないってことは、忘れてるのと一緒なんだな。 ロジスティック回帰モデルは線形モデルなのか？、非線形モデルなのか？ 言われるまで意識に上らなかった。確かにどちらだろうか？ 僕なりの結論 「線形モデルであって欲しい」。 モデルを実際に利用する人（作る人でない）は、きっと非線形なんて分かろうという気にならない。 おそらくケーキを半分に分けるときに、綺麗で真っ直ぐな切り口じゃないと嫌な気持ちになる、という感覚に似ていると思う。 だから、SVMのような
第13回R勉強会＠東京に行ってきた - matsuou1の日記
前回に引き続き、第13回R勉強会＠東京（#TokyoR）に参加してきました。 今回はついに60人が参加。エンジニア以外の人が多いので、いつもと違う色んな話が聞けて楽しい。 線形判別分析[twitter:@isseing333] ロジスティック回帰分析は、線形か？非線形か？ R と .NET Framework[twitter:@kos59125] 資料は こちら を参照。 Rを.NetFrameworkから操作するためのライブラリ R.NET についてのお話。 パッケージなんかも普通に使える。 ユーザと開発者を募集中。 Rで学ぶロバスト推定 [twitter:@sfchaos] 分析データに外れ値がつきもの ロバスト推定とは、外れ値を除外せずに、受ける影響を小さくして頑健なモデルを推定する方法 とりあえずデータをそのまま線形回帰分析しても、望ましい結果が得られないので、何かしらの対処が必要
CAES
Welcome to the Computer Architecture for Embedded Systems (CAES) group of the Faculty of Electrical Engineering, Mathematics, and Computer Science. The CAES group conducts research and education in computer architecture and computing systems with a particular emphasis on embedded systems. Embedded systems are already commonplace, they provide the necessary control and integration of cyber-physical
大規模データマイニングでのモデル探索手法：K-sample plot - データサイエンティスト上がりのDX参謀・起業家
巨大地震が日本を襲い、皆不安を感じながら生活していると思います。 そんな中せめて自分に出来ることをしようと思い、研究してきた内容をブログに記します。 サンプル数が大規模なデータでニューラルネットワークとかサポートベクターマシンとかをしたくても、 時間がかかってしょうがない！ってときに参考にしてみて下さい。 近年、特にweb関係の業界ではデータデータをいくらでも記録できるようになったため、データの規模が非常に大きくなっています。 大規模データに機械学習、マシーンラーニングを適用したいという要望は高まっています。 そういうときはデータからサンプリングして性能を確かめることが多いと思います。 ですがそんな時は、 「サンプル数はどれくらいがいいの？」 「一回やっただけじゃ真の性能は分からないよね？」 「しかもクロスバリデーションしなきゃいけないし。。」 などのような事を疑問に思うでしょう。 今回紹
さくらVPSにRStudioをインストールしてみた - matsuou1の日記
昨日のR勉強会＠東京でちょっとだけ話に出てきたRStudioのサーバ版をさくらVPSにインストールしてみました。 RStudioとは？ R言語のIDEです。デスクトップ版とサーバ版があります。 デスクトップ版は、Windowsだけでなく、Mac、Ubuntu、Fedoraもサポートしています。 サーバ版はUbuntuとCentOSはバイナリがあるので楽にインストールでき、サーバ版でもコードの補完が 出来るなど、ディスクトップ版と遜色ない感じで使えます。 Rのインストール RStudioにはR自体は含まれていないので、まずはRのインストールから。 yumのリポジトリにはRがないので、CRANからインストール。 CRANのRはバージョンが2.10なので、RPMforgeやEPELを使ってください。 Windows、Linuxは2.11.1以上、Macは2.12が必須環境となります。 私の場合は
R -- ROC 曲線と ROC 曲線下面積
ROC 曲線と ROC 曲線下面積 Last modified: Mar 27, 2008 目的 生データまたは度数分布表データに基づいて，ROC 曲線を描く。また，ROC 曲線下面積を計算する。 使用法・引数 疾病群，健康群の生データについて ROC0(disease, normal, lowest=NULL, width=NULL) disease 疾病群の測定値ベクトル normal 健康者群の測定値ベクトル lowest 最も小さい値のキリのよい数値 width 階級幅（計算精度）のキリのよい数値 lowest か width がデフォルト値なら，データから適当に決める 度数分布表の形でまとめられているデータについて ROC(x, disease, normal) x 分割表の下限値のベクトル（例題参照） disease 疾病群の度数分布ベクトル normal 健康者群の度
R による ROC 分析法 公衆衛生学教室セミナー 2007 年 1 月 11 日 中澤 港 1 ROC 分析とは ROC 曲線とは，Receiver Operating Characteristic 曲線の略である∗1 。集団を対象に，すばやく実施可能な 方�
R による ROC 分析法 公衆衛生学教室セミナー 2007 年 1 月 11 日 中澤 港 1 ROC 分析とは ROC 曲線とは，Receiver Operating Characteristic 曲線の略である∗1 。集団を対象に，すばやく実施可能な 方法で，疾病を暫定的に識別することをスクリーニングというが，いくつかのスクリーニング方法があるときに， それらの相対的な有効性を視覚的に判定する基準の一つが ROC 曲線である。 １つのスクリーニング方法について陽性・陰性の基準値を最小値から最大値まで段階的に変えると，偽陽性率 （= 1 − 特異度）も感度（病気の人を正しく陽性と判定する割合）も 0 から 1 まで変わるので，偽陽性率を横軸 に，感度を縦軸にとって線で結ぶと，基準値の変化に対応する曲線を引くことができる。この曲線ができるだけ 左上を通る方がスクリーニングとしての有効
ROC曲線
試験の点数から○○大学に合格（T）か不合格（F）かを予測したいときや，検査値から病気（T）か健康（F）かを判断したいときなどがあります。要するに，与えられた値から，真（TRUE）か偽（FALSE）かを判断したいわけです。 例として右の表のような場合を考えましょう。 与えられた値をどこで切っても，TとFは完全には分離できません。例えば11で切って，11以上を陽性（positive），11未満を陰性（negative）とした場合，10個のTのうち5個がpositiveに入りますので，true positive（真陽性）の割合は0.5です。また，5個のFのうち1個がpositiveに入りますので，false positive（偽陽性）の割合は0.2です。そこで，(0.2, 0.5) をプロットします。このように，区切る値（閾値，カットオフポイント）をいろいろ変えて，横軸にfalse positi
第12回R勉強会＠東京に行ってきた - matsuou1の日記
今回初めてR勉強会＠東京に参加してきました。 結構前（１年ぐらい？）から開催されている勉強会に途中から参加、しかもRは素人とドキドキでしたが、楽しく勉強できました。 なにげに大森駅に降りたのも初めてだったような気もします。 Rによる回帰分析入門 [twitter:@yokkuns] Rによるデータサイエンス第Ⅱ部 第7,8章 回帰分析 データ解析の基本である回帰分析について、Rを使って学んでいきます。 残差の正規Q-Qプロットで正規分布に準じているかどうかを確認できる 重回帰分析で使うファクターを自動選択する関数step。モデルはAICで評価される。これは使えるかも。 AIC(Akaike's Information Criterion:赤池情報量規準) 統計モデルを評価するための指標 小さい方がよい step関数で自動選択 欠損値の扱いをどうするべき？ ケースバイケースだが、使わなくて済
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Parallel processing in R for Windows
renjin - Project Hosting on Google Code
Amazon.co.jp: Rパッケージガイドブック: 岡田昌史 (著), 荒木孝治 (その他), 伊藤康広 (その他), 里洋平 (その他), 高柳慎一 (その他), 棚瀬貴紀 (その他), 谷村晋 (その他), 中谷朋昭 (その他), 蓮見亮 (その他), 林真広 (その他), 樋口千洋 (その他), 福島真太朗 (その他), 牧山文彦 (その他), 横山貴央 (その他), akira (その他), mickey24 (その他): 本
勉強会発表内容一覧 - Japan.R WIki
http://www.knoppix-math.org/wiki/index.php?KNOPPIX%2FMath%2F2011