Rで線形単回帰分析 - matsuou1の日記
次回のTokyo.Rの開催が近づいてきたので、前回の復習を兼ねてRで回帰分析をやってみます。 今回は最も単純な線形単回帰分析を行います。 回帰分析の流れ 回帰式を求める意義があるか検討する（説明変数と目的変数のグラフを作成する等） 回帰式を求める 回帰式の精度を確認する 回帰係数の検定を行う 信頼区間と予測区間を求める 回帰式を求める意義があるか検討 無相関なデータに対しても、数学的には回帰式が求められるため、検討しておくことは重要です。 データはマンガでわかる統計学 回帰分析編のデータを使用してみます。 ある喫茶店のアイスティーの売り上げとその日の最高気温についてのデータです。 > norns temperture icetea 8/22 29 77 8/23 28 62 8/24 34 93 8/25 31 84 8/26 25 59 8/27 29 64 8/28 32 80 8/2
データサイエンティストというかデータ分析職に就くための最低限のスキル要件とは - 渋谷駅前で働くデータサイエンティストのブログ
追記（2017年7月） こちらのスキル要件ですが、2017年版を新たに書きましたので是非そちらをご覧ください。 「データサイエンティストというかデータ分析職に就くためのスキル要件」という話題が某所であったんですが、僕にとって馴染みのあるTokyoR界隈で実際に企業のデータ分析職で活躍している人たちのスキルを眺めてみるに、 みどりぼん程度の統計学の知識 はじパタ程度の機械学習の知識 RかPythonでコードが組める SQLが書ける というのが全員の最大公約数＝下限ラインかなぁと。そんなわけで、ちょろっと色々与太話を書いてみます。なお僕の周りの半径5mに限った真実かもしれませんので、皆さん自身がどこかのデータサイエンティスト（）募集に応募して蹴られたとしても何の保証もいたしかねますので悪しからず。 統計学の知識は「みどりぼん以上」 データ解析のための統計モデリング入門――一般化線形モデル・階層
グラフでウソをつく方法――統計リテラシーのための基礎文献（松谷創一郎） - エキスパート - Yahoo!ニュース
ウソグラフの世界 ここ数年、統計学がブームとなっています。オープンデータやビッグデータなど、IT化の進展とともにそれまで以上にさまざまな数字が扱われるようになっています。 そんな統計において、欠かせないものがグラフです。数値を図形化して視覚的な理解をうながすグラフには、棒グラフ、折れ線グラフ、円グラフなどなど、さまざまな種類があります。 ただ、意図的かどうかはさておき、作為が加えられたグラフを見かけることも珍しくありません。数値に手を加えることはもってのほかですが、それよりも目立つのは見せ方を工夫（作為）して実際の数値以上の効果や影響を錯覚させようとするものです。そうしたものは、「ウソグラフ」あるいは「クソグラフ」などと呼ばれたりします。 それでは、こうしたウソグラフにはどういうものがあるのでしょうか？ 電子コミック市場は急成長？ 先日『News Picks』という新興のネットメディアに、
絶対に描いてはいけないグラフ入りスライド24枚 -slideshare
These slides include many inappropriate graphs. If you want to tell the summary of the data correctly, you should avoid to use graphs in this presentation. They can mislead those who view them. In English, the title of presentaion is "24 slides including graphs that should not be absolutely drawn".Read less
東京大学出版会『統計学入門』は入門を一通り終えた人におすすめ｜Colorless Green Ideas
東京大学出版会から出ている『基礎統計学I 統計学入門』という本がある。 東京大学教養学部統計学教室〔編〕 (1991). 『基礎統計学I 統計学入門』 東京：東京大学出版会． この本は、統計を学ぶ際によくすすめられる一冊である。例えば、ウェブ上にある記事で、『統計学入門』を挙げているものに以下のようなものがある。 2014年春版：ビジネスにおけるデータ分析のプロを目指すなら揃えておくべき12冊（銀座で働くData Scientistのブログ） 一年で身に付ける！Rと統計学・機械学習の4ステップ（iAnalysis ～おとうさんの解析日記～） 統計分析を学ぶための書籍20選（XICA-Labs データ・統計分析研究所） それでは、なぜこの本はすすめられるのだろうか？ そして、どういう人がこの本を読むべきなのだろうか？ タイトルに『統計学入門』とあるように、統計の初心者にとって良い本なのだろう
『ダメな統計学』冊子PDFの公開｜Colorless Green Ideas
『ダメな統計学』表紙 現在の科学研究において統計が誤用されていることが非常に多く、そのために科学研究の信頼性が揺らいでいることを記した『ダメな統計学』の冊子PDFを公開する。これは、アレックス・ラインハート氏が書いたStatistics Done Wrongの全訳である。理解を深めるために、訳注を比較的豊富に加えた。 2017年1月20日追記：『ダメな統計学――悲惨なほど完全なる手引書』という本が出版されることになった。この本は、ここに掲載されているウェブ版の『ダメな統計学』の冊子PDFに比べると、大幅に加筆されている。ページ数で言うと2倍以上になっている。ウェブ版の『ダメな統計学』を読んで興味を持った方は、書籍となった『ダメな統計学』をぜひ読んでいただければと思う。書籍版の詳細については「『ダメな統計学――悲惨なほど完全なる手引書』の翻訳出版」という記事をご参照願いたい。 『ダメな統計学
統計学の初心者が入門として最初に読むべき一冊｜Colorless Green Ideas
統計についてほとんど何も知らない人が読むべき本としては『マンガでわかる統計学』が一番のおすすめである。 『マンガでわかる統計学』 「統計って、今まで全然勉強したことはないけれども、将来必要になるかもしれないから、勉強してみようかな」とか、「統計を勉強してみたいとは思ってるんだけど、何から始めれば良いか見当がつかないんだよね」と思っている人は少なくないと思う。こうした人、すなわち統計学についてほとんど何も知らない人は何を使って勉強し始めれば良いのだろうか。 こうした初心者は、まず入門として『マンガでわかる統計学』という本を読むのが良いと私は考えている。この本は、統計に関する知識がほとんどない人にとって、わかりやすく、そして取り組みやすい本だ。 高橋信. (2004). 『マンガでわかる統計学』 東京：オーム社． この『マンガでわかる統計学』という本は、統計について特に何も知らない女子高生のル
ダメな統計学：目次｜Colorless Green Ideas
2017年1月20日追記：『ダメな統計学――悲惨なほど完全なる手引書』という本が出版されることになった。この本は、ここに掲載されているウェブ版の『ダメな統計学』に大幅に加筆したものだ。ウェブ版の『ダメな統計学』を読んで興味を持った方は、書籍となった『ダメな統計学』をぜひ読んでいただければと思う。書籍版の詳細については「『ダメな統計学――悲惨なほど完全なる手引書』の翻訳出版」という記事をご参照願いたい。 ここに公開する『ダメな統計学』は、アレックス・ラインハート (Alex Reinhart) 氏が書いたStatistics Done Wrongの全訳である。この文章は全部で13章から構成されている。詳しくは以下の目次を参照されたい。 はじめに データ分析入門 検定力と検定力の足りない統計 擬似反復：データを賢く選べ p値と基準率の誤り 有意であるかないかの違いが有意差でない場合 停止規則と
政府統計の総合窓口 GL01010101
統計データを探す すべて 分野から探す国土・気象人口・世帯労働・賃金農林水産業鉱工業商業・サービス業企業・家計・経済住宅・土地・建設エネルギー・水運輸・観光情報通信・科学技術教育・文化・スポーツ・生活行財政司法・安全・環境社会保障・衛生国際その他 組織から探す 内閣官房人事院内閣府公正取引委員会警察庁消費者庁こども家庭庁総務省公害等調整委員会消防庁法務省外務省財務省国税庁文部科学省文化庁スポーツ庁厚生労働省中央労働委員会農林水産省林野庁水産庁経済産業省資源エネルギー庁特許庁中小企業庁国土交通省観光庁海上保安庁環境省防衛省 主要な統計から探す ５０音から探す あ い う え お か き く け こ さ し す せ そ た ち つ て と な に ぬ ね の は ひ ふ へ ほ ま み む め も や ゆ よ ら り る れ ろ わ すべて見る 分野から探す 国土・気象人口・世帯労働・賃金農林
R - 事始め
R - 事始め Last modified: Jul 09, 2015 以下は，Macintosh の場合についてです。 Windows の場合は，神戸大学の中澤先生のページを参照してください。 Linux の場合は，東海大学の山本先生のページを参照してください。 R 一般については，R - 統計解析とグラフィックスの環境（山本先生）を参照すると良いでしょう。 。 まず，必要なものをダウンロードしましょう。最新バージョンは，最寄りの CRAN ミラーサイトにあります 以下のどちらかの URL を開いてください。 ミラーサイト 統計数理研究所 ミラーサイト 山形大学 表示されるページの中の，Download R for (Mac) OS X をクリックします。 表示されるページの中の，R-3.xx.x.pkg をクリックします。 ファイルがダウンロードされます。 ダウンロードした R
R のインストール - RjpWiki
RjpWiki はオープンソースの統計解析システム R に関する情報交換を目的とした Wiki ですopenSUSE10.2 Linux 版インストール † YaST2を立ち上げインストールソースの変更を行う。 追加ボタンでhttpを選択。サーバー名に software.opensuse.org/download/science/openSUSE_10.2/を入力 改めてソフトウエア管理からインストールする。 たぶん他のバージョンやyumを用いて/etc/yum.repos.dの変更でもできると思います。 やってませんが。 CRANミラーでのSuSE用r-baseのアップが遅いのですが、こちらのリポジトリにしっかりアップされていました。 suse10.3の場合、リポジトリをsoftware.opensuse.org/download/science/openSUSE_10.3/とすればでき
テストの選択肢問題で「当てずっぽう」の正解率を上げる秘策 | ライフハッカー・ジャパン
教師がテストを作成する際は、複数の選択肢から正解を選ぶ問題であれ、〇×式の問題であれ、答えができるだけランダムに並ぶよう気をつけているはずです。とはいえ、BBCが指摘するように、不規則な並びの中にもあるパターンが潜んでいます。そのパターンを把握しておけば、テストで合格できるかもしれません。 ○×問題の場合 ライターのWilliam Poundstone氏がさまざまなテストや試験を分析したところ、不規則さの中に潜むそういったパターンを当てはめれば、正しい答えを導き出せる可能性が高まることがわかりました。例えば、〇×式のテスト問題は、答えがランダムに並んでいると思うかもしれません。しかし、正しい答えをいくつか知っていれば、根拠に基づいた推測を弾き出せる可能性がアップします。同氏が勧めるのは次のようなやり方です。 すべての問題に目を通し、わかる問題は答えを書いておきましょう。わからない問題の答え
統計屋のためのAWK入門 - あんちべ！
はじめに 本稿はAWKという言語を用いて、 ごく簡単にデータ分析用の前処理*1をするための解説記事です。 AWKは短いコマンドを記述するだけで多様なデータ処理を可能にします。 特にデータの抽出に関して恐るべき簡易さを提供します。 具体的には、input.txtというファイルの中から "fail"という文字列を含む行を抽出したければ次のように書くだけです。 awk /fail/ input.txt つまり、スラッシュ記号で文字列を指定するだけで その文字列を含む行を抽出できるのです。 大変簡単ですね！ また、awkはLinuxやMacには標準で入っており、 Windowsでもawk.exeを一つ用意するだけなので、 面倒なインストール作業や環境構築は不要で誰でも即座に使えるため、 自分で書いた処理を他人に渡したり*2各サーバに仕込むなども簡単に出来ます。 複雑な処理をする場合はPythonや
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
統計検定｜日本統計学会主催の資格試験
ベイズ推定の概要 超入門
カップルが一緒にお風呂に入る割合をベイズ推定してみた
biostatistics | バイオスタティスティクス | 生物統計学
企業における統計学入門
The Comprehensive R Archive Network