追記（2017年7月） こちらのスキル要件ですが、2017年版を新たに書きましたので是非そちらをご覧ください。 「データサイエンティストというかデータ分析職に就くためのスキル要件」という話題が某所であったんですが、僕にとって馴染みのあるTokyoR界隈で実際に企業のデータ分析職で活躍している人たちのスキルを眺めてみるに、 みどりぼん程度の統計学の知識 はじパタ程度の機械学習の知識 RかPythonでコードが組める SQLが書ける というのが全員の最大公約数＝下限ラインかなぁと。そんなわけで、ちょろっと色々与太話を書いてみます。なお僕の周りの半径5mに限った真実かもしれませんので、皆さん自身がどこかのデータサイエンティスト（）募集に応募して蹴られたとしても何の保証もいたしかねますので悪しからず。 統計学の知識は「みどりぼん以上」 データ解析のための統計モデリング入門――一般化線形モデル・階層

「エビデンスベースト」が日本の教育を変える〜中室牧子氏に聞く 統計データなどの科学的根拠に基づいて政策判断などを行うことを指す「エビデンスベースト」（evidence based）という言葉は、日本の教育関係者にとって聞き慣れないものかもしれない。そもそも教育の分野には、数値による効果測定自体がなじまないと見る向きもあるだろう。しかしながら、これまでエビデンスを軽視してきたことは、裏を返せば日本の教育の大きな「伸びしろ」を示している可能性もある。教育経済学を研究する慶応大学SFC（湘南藤沢キャンパス）の中室牧子准教授に、教育分野における「エビデンスベースト」の重要性について聞いた。 少人数学級か、iPadか、奨学金か ——先生が専門にされている教育経済学とは、どういった学問ですか。 「教育経済学は、教育政策の費用対効果を統計的に分析・評価するものです。ある政策に効果があるというエビデンスが

国土交通省のデータによれば、平成24年末現在の「全国のマンションストック戸数」は約590万戸（居住人口約1,450万人）。 図にするとこんな感じ。 このように過剰に供給されているマンションの行く末は、とっても気なるところ。 大規模な超高層マンションほどスラム化しやすいと思うのだが、デベロッパーは、スラム化問題を先送りしたまま（あるいは認識せずに）、大規模な超高層マンションの開発・販売に走る。 スラム化のプロセスは次のとおりだ。 少子高齢化によるマンション需要の縮小で空き住戸が増加する。 空き住戸の増加と共に、住民の高齢化や賃貸化が進み、大規模なだけに合意形成が困難で、管理組合が機能不全になる。 管理組合が機能不全になると、適切な維持管理ができなくなるので、経済的に余裕のある人は二束三文で住戸を売却して出ていく。そしてマンションのスラム化が進む。 二束三文でマンションを手に入れた住民と、脱出

今日は初心者向け記事です。 はじめに ある範囲の年齢の小学生32人を無作為に選び、算数のテストを受けてもらい、さらにその身長を測定しました。 身長に対する算数の点数のグラフは次のようになりました。 なんと、身長の高い子供の方が、算数の点数が高いという結果になりました！ 身長が算数の能力に関係しているなんて、すごい発見です！ しかしながら、結論から言うと、この結果は間違っています。 なぜなら、抽出したのは「ある範囲の年齢の小学生」であり、年齢の高い子も低い子も含まれているからです。 年齢が高いほど算数能力は高くなり、年齢が高いほど身長も高くなることは容易に推測できます。 この関係を図で表すと次のようになります。 つまり、年齢と算数能力に相関があり、年齢と身長にも相関があるため、身長と算数能力にも見かけ上の相関が見えているのです。 このような相関を擬似相関と言います。 統計解析では、このような

追記 2016年3月に以下の記事によってこの内容はupdateされています。今後はそちらをお読み下さい。 主に自分向けのまとめという意味合いが強いんですが（笑）、僕が実際に2013年6月現在webデータ分析＆データサイエンスの実務でツール・ライブラリ・パッケージを利用しているものに限って、統計学・機械学習系の分析手法を10個挙げて紹介してみようと思います。 追記 回帰分析（特に線形重回帰分析） 独立性の検定（カイ二乗検定・フィッシャーの正確確率検定） 主成分分析(PCA) / 因子分析 クラスタリング 決定木 / 回帰木 サポートベクターマシン(SVM) ロジスティック回帰 ランダムフォレスト アソシエーション分析（バスケット分析・相関ルール抽出） 計量時系列分析 おわりに おまけ1：「素性ベクトル＋分類ラベル」なるデータ前処理 おまけ2：グラフ理論*10 {igraph}パッケージでグラ

ループス・コミュニケーションズは、 企業のSNS活用戦略の立案・運用改善、啓発教育などのコンサルティングサービスや、リーダーシップやイノベーションをテーマとした企業研修を提供しています。

鈴鹿医療科学大学学長、元国立大学財務・経営センター理事長、元三重大学学長の「つぶやき」と「ぼやき」のblog 今年度から、私は内閣府総合科学技術会議の「基礎研究および人育成部会」という会議の委員として出席をしているのですが、その会議で配られた資料には、日本の学術論文数が減少していること、そして、若手教員（研究者）の比率が減っていることを含め、たくさんの日本の研究機能についての分析データが示されていました。 日本の若手研究者の減少については、以前のブログでもご紹介したように、最も有名な科学誌の一つであるNature誌の3月20日号にも記事が掲載されていましたね。http://www.nature.com/news/numbers-of-young-scientists-declining-in-japan-1.10254 そして、資料の中で私が目を留めたのは、エルゼビア（Elsevier）社

久しぶりの投稿です。この一年間、Rの勉強会などに参加したり主催したりしてきて、後輩や勉強会の方々の話をいろいろ聞くとこができました。そんな中、一年間でRと統計学・機械学習を身に付けれるようなフローを作れるかも？と思ったので、ここで記録しておきます。統計学や機械学習は理論を勉強するだけでなく、Rで実際に解析してみることで、より理解が深まります。 ステップ1. 分布・検定 理論 統計学入門 (基礎統計学?) 作者: 東京大学教養学部統計学教室出版社/メーカー: 東京大学出版会発売日: 1991/07/09メディア: 単行本購入: 158人 クリック: 3,604回この商品を含むブログ (79件) を見る R本 Rによるやさしい統計学 作者: 山田剛史,杉澤武俊,村井潤一郎出版社/メーカー: オーム社発売日: 2008/01/25メディア: 単行本購入: 64人 クリック: 782回この商品を含