31データクレンジング方法
データマイニングでは、データが膨大となっている場合があります。ここまでデータ量が大きくなると計算量の問題で解析時間がかかりすぎるという問題が起き、色々なデータマイニング技法を試行することができません。 それでは、大規模データに対抗するためにどうしたらいいでしょう？ 今、著者が思いついたものを挙げてみると １．高速なマシンに期待する ２．大規模でも計算する手法を編み出す ３．仮説を立てて絞り込んで挑戦 ４．サンプリングして、そこそこの量のデータで試す ５．それでもじっくり処理が終わるのを待つ ということをとりあえず思いつきました。（他にある場合は教えてください） それでは、以上の項目をデータマイニングとして検討してみましょう。 【１番：高速なマシンに期待する】高速マシンに投資することは基本的に有効です。30年前の計算機ではどうやっても不可能であった計算処理であっても技術
Bonferroni法、Holm法、False Discovery Rate | 大阪大学腎臓内科
Clinical Journal Club 1. 多重比較 Familywise Error Rate さいころを1回振って、●が出る確率は1/6 = 0.167です。 さいころを2回振って、●が1回も出ない確率は、(5/6)2 = 0.694です。したがって、さいころを2回振って、1回でも●が出る確率は、1-(5/6)2 = 0.306です。 当然ながら、さいころを振れば振るほど、1回でも●が出る確率が上がっていきます。さいころを20回振って、一度も●が出ない確率は、わずか0.026です。 さいころを振る回数と1回でも●が出る可能性 さいころを繰り返し振るという事と、有意水準α = 0.05の検定を繰り返すという事は、確率論的には全く同じ事です。検定を繰り返せば繰り返すほど、偶然棄却される帰無仮説が増えます。複数回繰り返された検定全体において帰無仮説が棄却される可能性を、familywi
EBM&Epidemiology Wiki*
非劣勢試験をめぐって Ｈ２２年２月のＣＡＳＰ和歌山では、非劣勢試験を吟味しました。 Surgical Mask vs N95 Respirator for Preventing Influenza Among Health Care Workers A Randomized Trial JAMA. 2009;302(17):1865-1871. Published online October 1, 2009 http://jama.ama-assn.org/cgi/content/full/2009.1466 非劣性試験が、ＲＣＴとは全く異なる種類のデザインであることを痛感させられることになりました。。 単純に吟味するだけだと、 「サージカルマスクとＮ９５ではインフルエンザの予防について差がない」 という、臨床的にはありがたい結果です。 しかし、非劣性試験・・・ということになるとさてさ
生存時間解析入門
表のままだと欠損値が-1になっているので，Rで扱うにはNAに置き換えねばならない。学生がExcelで入力してくれたファイルをタブ区切りテキスト形式で保存し，-1をNAに置換したファイルを，surv.txtとして置いておく。 3. 時間間隔を固定した場合の結果指標の単純な記述 3.1. 分析の特定 3.1.1. データを解析に含める基準 3.1.2. 結果の指標（イベント，反応，従属変数としても知られる） 3.2. 作業例：来院から1年以内に死亡した割合 上図を描くためのコードは，plotx.Rである。画像はファイル出力されてしまうので注意されたい。 3.3. 注意事項と推論 4. 基本的な生存時間解析（説明変数なしの場合） 4.1. はじめに 4.2. 分析の特定 4.2.1. 時間の始点 4.2.2. 研究への参加開始 4.2.3. 研究からの脱落（打ち切り[censoring]） さま
@IT連載 support
Rのインストール RをWindowsやMac OS Xへインストールすることは非常に簡単です。RのCRANサイト(http://cran.md.tsukuba.ac.jp/)からインストラーをダウンロードし、それを実行するだけです。 Linuxやその他のOSについてのインストールについても、メジャーなディストリビューションにはインストールパッケージが存在します。それ以外の場合はソースコードかビルドすることになります。後者についてはRのインストールドキュメントを参照ください(http://cran.r-project.org/doc/manuals/R-admin.html)。 以下ではWindowsとMac OS Xについて、インストラーを使用したインストール方法を動画にて説明しました。 Windowsへのインストール Mac OS Xへのインストール
統計処理ソフトウェアRについてのTips
最終更新： 2008年 8月 27日 (水曜日) 15時35分 このページでは，国際共同研究のオープンソースなプロジェクトで開発され，GNU GPLに従って公開，配布されている高機能な統計ソフトであるRについてのTipsを扱う。 News／更新情報 保管庫1（2004年1月まで） | 保管庫2（2004年2月から） 保管庫内の主なトピック：平方和(SS)｜「Rによる統計解析の基礎」（保管庫外だがサポート掲示板|正誤表）｜オッズ比 ｜1.6.0｜1.6.1｜1.6.2｜1.7.0｜1.7.1｜1.8.0 | 1.8.1｜1.9.0｜1.9.1｜2.0.0｜2.0.1｜2.1.0｜2.1.1｜2.2.0｜2.2.1｜2.3.0｜2.3.1｜2.4.0｜2.4.1｜2.5.0｜2.5.1｜2.6.0｜2.6.1｜2.6.2｜2.7.0 R News Vol.8/1公開（2008年6月5日） ●5
標本分散が母分散より少し小さくなる理由、不偏分散をn-1でわる理由 - OKWAVE
こんばんは。 数式ではなく、言葉で説明したいと思います。 母分散というのは、たとえば、学校で試験を受けた生徒全員の点数の分散に適用されます。（生徒の数＝ｎ） この場合は、母平均がわかります。 ところが、一部の生徒だけの点数だけを取り出して、その分散を求める場合は、 それらの生徒の平均値（標本平均）はわかりますが、母平均は、わかりません。 つまり、前者に比べて、後者のほうが、真の平均値（母平均）がわからない分だけ、 情報量がｎ個より１個少ないことになります。 これを「自由度」が１個少ない、と言います。 後者の場合で、分母をｎ－１にすることにより、（分母をｎにしたときよりも）分散を多く見積もらなければいけないのは、そういう理由によるのです。 別の言い方をすれば、 真の平均値（母平均）がわからない標本抽出の統計では、 １／ｎをかける計算方法で分散を求めてしまうと、ずるく小さい分散になってしまうの
分散分析
ANOVAとは ANOVAとは、多群の比較に使用する検定法である。例えばA,B,Cの３群について比較するのに、AB間、AC間、BC間をそれぞれ二標本 t 検定するのでなく、３群まとめて検定するのである。 なぜ、多群において全ての組み合わせで t 検定をしてはいけないか。例えば３群の比較では、３通りの組み合わせがあるが、それぞれに危険率5%で二標本 ｔ 検定を行った場合、「少なくとも一つたまたま有意差あり」となる確率は1-(1-0.05)*(1-0.05)*(1-0.05)で計算され、危険率は14%となってしまう。5%の危険率のつもりが、実際には危険率が上昇してしまっているのである。 この対処法のひとつは、多重比較法を用いることである。たとえば、Bonferroni法は有意差水準を0.05/3＝0.017にして検定する。Bonferroni法は多重比較法のひとつであるが、その他にもいく
FrontPage - Japan.R WIki
第1回 Japan.R アンケート結果を公表しました。ご協力いただき、ありがとうございました。 アンケート結果はこちらをクリック 開催概要 開催日時：11/27 (土) 10:00-16:00 開催場所：統計数理研立川キャンパス（セミナー室 2 (D304) ） （東京都立川市緑町 10-3） 統数研のR共同研究集会( http://jasp.ism.ac.jp/~nakanoj/workshop10/2010Rmeeting.htm )と合同開催 プログラム 午前の部：はじめての「R」（初心者向けワークショップ） 午後の部：R ユーザーの交流を目的とした企画・ブース展示 広報用ポスター PDF形式 (152KB)(2332) チラシとして自由にご利用ください。 お越しになる際の目印として、会場付近でも掲示予定です。 参加申込 午前の部：http://atnd.org/events/922
統計科学研究所 | 統計分析 統計講座 統計データ分析士
<BODY> <P>統計科学の研究のほか、統計データ分析士資格認定（1級・2級・3級）を行います。</P> </BODY>
日本マーケティング・リサーチ協会｜セミナー｜入門編｜R言語最初の一歩講座｜R言語最初の一歩講座
R 言語でデータ分析をしたい！ プログラミング経験がない方のための R言語：最初の一歩講座 印刷用パンフレット（pdf：295KB） 世界中で利用が拡がる、統計解析ソフトウェアR言語の基本を学んでいただきます。 Ｒ言語は、誰でも無料で、自由に利用できるデータ分析のための言語です。 どんなＯＳ（Windows, Macintosh, Linux）でも動作します。利用可能な分析手法やツールは、極めて豊富です。世界中のユーザーが開発し、公開しているためです。加えて、とても優れたグラフィクス機能を備えていることや、改良・進化のペースが早いことなどによって、高い評価を受けています。 日本においても急速にユーザーが増えています。SPSS やSAS といった定番の統計パッケージの中からＲ言語を利用する仕組みも整備されてきており、既存の分析ソフトウェアのユーザーにとっても、これまでの経験や資産を生か
Department of Biological Sciences
STATISTICS: AN INTRODUCTION USING R 2nd Edition by Michael J. Crawley (m.crawley@imperial.ac.uk) Imperial College, Silwood Park, Ascot, Berks Published in 2015 by John Wiley & Sons, Ltd. http://eu.wiley.com/WileyCDA/WileyTitle/productCd-1118941098.html (ISBN 1118941098) Welcome to the Web Site! You can download the data files used in the book: Data Files Exercises Executable code in the text
統計科学で見えてくる新たな世界：研究：Chuo Online : YOMIURI ONLINE（読売新聞）
教養講座 統計科学で見えてくる新たな世界 ―メジャーリーグの選手評価からゲノム解析まで― 酒折 文武／中央大学理工学部准教授 専門分野 統計科学 はじめに 近年のデータ計測技術や計算機性能の急速な向上により、これまでになかった様々なタイプのデータが計測・蓄積され、計算機をフル活用した統計分析技術が開発されてきています。まさにこれからの時代、先端科学技術から身近な生活までの至る所で、こういったデータを活用した判断が求められることでしょう。そうした中で、統計科学の重要性はますます増してきていると言えます。 私の研究分野は統計科学であり、さまざまなタイプのデータに対する新たな統計手法の開発が研究目的です。しかし今回は応用の観点を強調して、本研究室の研究テーマから「関数データ解析」「多重検定法」について応用例とともに紹介します。また、企業との共同研究で進めているスポーツの統計分析についても紹介しま
聖ルカ・ライフサイエンス研究所
第15回Evidence-Based Medicine and Nursing Workshop 「臨床研究のための統計学ワークショップ」 ※受付は終了致しました 多数のお申込みありがとうございました （2010/4/14）
seekR - 統計分析ソフトウェア R のための検索エンジン
統計分析ソフトウェア R のための検索エンジンです。R 言語に関する内容に特化した検索結果を表示します。
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
google-refine - Project Hosting on Google Code
http://tech-seminar.jp/seminar/2011-06-30-%E3%80%8CR%E3%80%8D%E3%82%92%E5%88%A9%E7%94%A8%E3%81%97%E3%81%9F%E7%B5%B1%E8%A8%88%E3%83%BB%E3%83%87%E3%83%BC%E3%82%BF%E8%A7%A3%E6%9E%90%E3%81%AE%E5%AE%9F%E7%BF%92%E8%AC%9B%E5%BA%A7
Google Sites: Sign-in
Clinical Research Learning
ACP Journals