何故データサイエンティストになりたかったら、きちんと体系立てて学ばなければならないのか - 渋谷駅前で働くデータサイエンティストのブログ
先日、Quora日本語版でこんなやり取りがありました。 基本的にはここで述べた通りの話なのですが、折角なのでブログの方でも記事としてちょっとまとめておこうと思います。題して「何故データサイエンティストになりたかったら、きちんと体系立てて学ばなければならないのか」というお話です。 問題意識としては毎回引き合いに出しているこちらの過去記事で論じられているような「ワナビーデータサイエンティスト」たちをどう導くべきかという議論が以前から各所であり、それらを念頭に置いています。なお毎度のことで恐縮ですが、僕も基本的には独学一本の素人ですので以下の記述に誤りや説明不足の点などあればご指摘くださると幸いです。 一般的なソフトウェア開発と、統計分析や機械学習との違い 統計分析や機械学習を仕事にするなら、その「振る舞い」を体系立てて学ぶ必要がある きちんと体系立てて学ばなかった結果として陥りがちな罠 余談
今日何気なく呟いたツイートが、見ていたら結構RT&favされていた模様で。 社会人が統計学とか機械学習を独習するには、いわゆる「落下傘方式」が良いと思う。必要な時にその項目だけ学んで実践する。その繰り返しで学問体系のマス目が埋まっていけば良し。あと、初めに体系立ったテキストを分からなくても良いので通読するのも良し。だいたいの地図が頭に入る。— TJO (@TJO_datasci) 2014, 3月 31 この後も色々補足で呟いたんですが、せっかくなので簡単にまとめたものを書いてみました。これから社会人で統計学や機械学習を学ぼうと考えている人の参考になれば嬉しいです。 あ、これはベタな言い方をすれば「データサイエンティスト（死語）になるにはどうしたら良いか」にもつながる話なんですが、ここではもっと広く「統計学や機械学習を使う仕事をしたいと思ったらどう独習するべきか」という話にしておこうと思い
The Top Three hottest new majors for a career in technology : Microsoft JobsBlog マイクロソフトの採用活動などを記しているブログ「Microsoft JobsBlog」に8月23日付けでポストされたエントリ「The Top Three hottest new majors for a career in technology」（テクノロジー分野でもっとも熱い、3つの専門性とは）では、長期的に見て次の3つがホットな分野だと挙げられています。 Data Mining/Machine Learning/AI/Natural Language Processing （データマイニング／機械学習／人工知能／自然言語処理） Business Intelligence/Competitive Intelligence （ビジ
The 2024 election is likely to be the first in which faked audio and video of candidates is a serious factor. As campaigns warm up, voters should be aware: voice…
統計的消去で擬似相関を見抜こう！ - ほくそ笑む
今日は初心者向け記事です。 はじめに ある範囲の年齢の小学生32人を無作為に選び、算数のテストを受けてもらい、さらにその身長を測定しました。 身長に対する算数の点数のグラフは次のようになりました。 なんと、身長の高い子供の方が、算数の点数が高いという結果になりました！ 身長が算数の能力に関係しているなんて、すごい発見です！ しかしながら、結論から言うと、この結果は間違っています。 なぜなら、抽出したのは「ある範囲の年齢の小学生」であり、年齢の高い子も低い子も含まれているからです。 年齢が高いほど算数能力は高くなり、年齢が高いほど身長も高くなることは容易に推測できます。 この関係を図で表すと次のようになります。 つまり、年齢と算数能力に相関があり、年齢と身長にも相関があるため、身長と算数能力にも見かけ上の相関が見えているのです。 このような相関を擬似相関と言います。 統計解析では、このような
今日は楽しいパーティです。 白雪姫は、円形のケーキを作りました。 白雪姫 円形のケーキに上から１回だけ包丁を入れると、最大２分割できます。 ２回包丁を入れると、最大４分割までできます。 では、３回包丁を入れると最大で何分割できるでしょうか。そのまま考えると、６分割でしょうか？ 上図のように切れば、最大で７つに分割することができます。 ちなみに回包丁を入れると最大分割、回だと、回だと、そして回だと最大個のピースに分割できることがわかっています。なるべく多く線が重なるように切ればいいのです。実際にやって確かめてみたい感じありますが、しかし今回の本題はそこではないのでまたこんどにしましょう。 白雪姫は、王子様からもらった大切な包丁をあまり使いたくなかったので、ケーキに３回だけ包丁を入れて７つに分割し、それを７人のこびとたちに下図のように配ることにしました。 こびとたち しかし、このような切り方で
中年童貞はどのような存在なのか？｜ルポ中年童貞｜中村淳彦
書籍化に伴い、本記事内容は非公開とさせていただきました。 記事は、加筆修正され、書籍に収録されております。 連載期間中、公開のたびに話題を巻き起こした「ルポ中年童貞」が新書として発売されました。連載に大幅な書き下ろしを加え、再構成しています。 また刊行を記念して、著者の中村淳彦さんと漫画家の田房永子さんとの対談「中年童貞はなぜ増えているのだろう？ ～その社会と構造を考える～」を公開しました。 『ルポ中年童貞』目次 はじめに 第一章 秋葉原は中年童貞天国 リアルのない電脳の異界 女性の裸を見て嘔吐する 処女でない女は人間ではない 貞操が中年童貞のプライド オタク向け老人ホーム構想で死ぬまでオタクを囲い込む 恋人が入った任天堂DSと1泊2日の恋愛旅行 アニメ好きとアイドル好きのファッションは異なる オタクばかりが集うシェアハウス 理想の女の子や友達の絵を描いて自分を納得させる 不遇だった中高生
データサイエンティスト＆機械学習（人工知能）エンジニアのスキル要件と、過熱する人工知能ブームが生み出す狂騒曲と（2018年2月版：追記あり） - 渋谷駅前で働くデータサイエンティストのブログ
(Image by Pixaby) この記事は去年はてブ1100以上ついてしまった与太記事の続編です。その時はタイトルを読んで字の如く「データサイエンティスト」と「機械学習エンジニア」の満たすべきスキル要件（の2017年版）について考察したものでした。 で、まだ1年しか経ってないのに何でまた引き合いに出したのかというと、最近のメディア報道やニュースリリースの類などを見ていると「データサイエンティストにディープラーニングをやらせる」とか「高度な統計分析のできるエンジニアが必要」みたいなどう見ても色々混同している感のある内容が目に付くので、改めてちょっと自己流に交通整理してみようかなと思ったのでした。 特に、空前の人工知能ブームで「人工知能」の語が人口に膾炙すると同時に2014年頃にブームが終わったはずの「データサイエンティスト」の語が何故か復権してしまい、そこら中のメディアでかつて空回りした
転職して丁度2年がたちました。 現在はWebベンチャーで統計屋しています。大変楽しい毎日です。 なぜ楽しいかというと勿論リスプを書いているからというのも大きなる理由の一つです*1。 このエントリでは何が楽しいのか近況交えてつらつらまとまりなく書いてます。 あと現職の解決しがたい不満についても書いています。 糞長くなってしまったので要約すると 「今糞面白いけど超えられない壁あるので誰か助けて」 です。 現職面白い理由5個。 1．データが面白い*2 私は経済学科・数理統計の研究室出身で、応用先としてコミュニケーション活性化を目的とした 行動経済学やテキストマイニングをやっていました。 そういう背景があるため、学生時代いつか壮大な社会実験をやりたいと思ってたけど、 それには大変なお金がかかったり大がかりなシステムを構築しないといけなかったりで断念した。 ですが今はSNSやソーシャルゲームや広告の
文部科学省が実施した保護者調査のインパクト 専門家会議による議論を受けて、2013年度の全国学力・学習状況調査（全国学力テスト）では、毎年実施される本体調査とあわせて、多様な観点から学力に影響を与える要因を分析する「きめ細かい調査」が実施された。 この調査は、（1）経年変化分析調査、（2）保護者に対する調査、（3）教育委員会に対する調査から構成されている。なかでも人びとの注目を集めたのは保護者を対象にした質問紙調査で、そこで得られたデータを用いた調査報告書が2014年・2015年に公開されている（リンク先は容量の大きいPDFなのでご注意ください）。 なぜこの調査結果が着目されたのか。やや遠回りになるが、その背景を整理してみよう。 90年代後半にいわゆる「学力低下」論が社会問題化し、2000年代以降には日本でも保護者の社会経済的地位（SocioEconomic Status：SES）を把握し
大学１年から生物学部とか経済学部に在籍している人なんかは、「統計学」の体系的なトレーニング受けざるを得ないと思うので問題はないのですが、問題はそういうトレーニングをすっ飛ばしたまま、統計解析が必要になる人の場合。例えば、学部時代は英米文学専攻で統計に無縁だったけれど、大学院で英語教育系に転向した人。あるいは、教育方法論系の研究室にいてフィールドワークばっかりやっていたけれど、統計系の分析も必要になった場合。 1. 先輩から教えてもらわない まず、一番やってはいけないのが、先輩の院生に教えてもらうということ。「あの先輩に、色々教えてもらいたい（ハート）」など下心がある場合はまた別ですが、純粋に統計学“だけ”を学びたいなら先輩に教えてもらうのは危険です。 あなたは統計学初心者ならば、その先輩が「きちんと統計解析を理解している」かどうかを知る術はありません。周囲の評判というのもありますが、そもそ
年収を偏差値で表すと、どんなことが起きるのでしょうか。 「偏差値」という統計量は、受験戦争を通じて日本社会に定着しています。受験期には嫌というほど耳にする数値指標ですよね。 受験業界ではもはやなくてはならない統計量になっている偏差値ですが、その数値の高低のみで進学先を決定する風習から偏差値至上主義を生み出し、"悪の元凶"のように目の敵にされてしまっている一面があります。実際、偏差値に振り回されて嫌な思いをされた方も多いのではないでしょうか。 しかし、これだけ長きに渡り、日本の受験業界に君臨している指標ですから、使い方次第で大きな恩恵を手にできる優れた面も持ち合わせているはずです。 一方で、この「偏差値」という数値指標は、受験生時ほぼ毎日のように耳にし、その数値を意識して過ごしていきますが、一旦入試を終えると恐ろしいほど耳にする機会が減るという奇妙な現象が起こります。 変わりに、社会人になる
統計科学・機械学習の講義
統計科学や機械学習、および関連する諸分野の講義・講演のアーカイブです。講師名の敬称は略させて頂いています。★の数は専門性・予備知識の量を示します。★１つは一般の方でも楽しめる部分のある講演（レベルが低いという意味ではありません）、★２つは大学院生向きとして標準程度、★３つはより専門的な講演、をそれぞれ示します。
松尾匡のページ 08年1月14日 犯罪の九割は失業率で説明がつく (追記:1月16日, 再追記:1月17日) 続報あり。以下の分析結果には「誤差の系列相関」という問題がありました。続報ではその解決に取り組んでいます。 再追記：08年1月17日 下の方の昨日書いた追記で、管賀江留郎さんからいただいた批判のエントリーの中で言われていた、「警察がデータを操作したため相関する」という「説」について、管賀さんご自身の説であるように表現した一文がありました。私自身、本気で言われていることかどうかは疑わしいと思っていましたが、ネタと断定することもできず、ああいう表現になりました。 このたび管賀さんとのやりとりの中で、これが管賀さんご自身信じておられない、いわゆる「釣り」のネタであることが明らかになりましたので、当該の表現を削除して訂正します。管賀さんはこれがひとつの積極的主張として一人歩
ある国際会議のkeynote Speechの中で紹介されていた話。非常に面白かった。 Wired: How a Math Genius Hacked OkCupid to Find True Love 「いまどきの若い男は、なんでもコンピュータか！」とか思われるかもしれないけど、何をしたのかを読んでみると「これって、単なるナンパの方が楽だったんじゃないか？」と思わされる。 登場人物のスペック この人の経歴がアメリカ的。 名前：Chris McKinlay (35歳） 経歴 2001年：Middlebury College を卒業。専攻は中国語 同年：世界貿易センターで中国語から英語への翻訳のアルバイト。アルバイトを辞めた5週間後に9・11。 〜2002年：その後、友達に誘われて、an offshoot of MIT’s famed professional blackjack team に
先日、とあるパーティで、統計学者の松原望先生と会った。 松原望先生は、早期からベイズ統計学の重要性を世にアピールしてきた先駆者である。ぼくは、経済学部の大学院在学時に、選択科目ではあったが、松原望先生の「ベイズ統計学」という講義を受け、そこでベイズ理論の指南をしていただいた。ぼくは『確率的発想法』NHKブックスや『使える！確率的思考』ちくま新書の中で、ベイズ理論を紹介していて、それが多くの読者にウケて、この二冊はセールス的にも良い実績を出しているのだけど、正直言ってここに書いてあることの多くは、松原望先生の講義の受け売りである。そういう意味では、下品ないいかたになるが、大学院の数ある講義の中で最も「金に換えることのできた」講義が先生の講義だった、ということになる。 そのときは、放送大学の教材であった『統計的決定』という本を教科書に使った。これがめちゃくちゃいい本で、今でもベイズ統計学に関し
1 以下、名無しにかわりましてVIPがお送りします 2013/05/24(金) 00:21:38.38 ID:Wka8Ntgn0 「相関関係と因果関係の混同」 相関関係と因果関係 - Wikipedia 「相関関係は因果関係を含意しない」は、科学や統計学で使われる語句で、2つの変数の相関が自動的に一方がもう一方の原因を意味するというわけではないことを強調したものである（もちろん、そのような関係がある場合を完全に否定するものではない）。全く逆の言葉である「相関関係は因果関係を証明する」は誤謬であり、同時に発生した2つの事象に因果関係を主張するものである。このような誤謬は虚偽の原因の誤謬と呼ばれる（ラテン語では "cum hoc ergo propter hoc"、直訳すると「それとともに、そしてそれ故に」）。前後即因果の誤謬は、2つの事象に順序関係があることが前提であり、「虚偽の原因の誤謬」
「機械学習」というワードになんとなく惹かれつつも、具体的にやりたいことがあるわけでもないので、手を動かすことなくただひたすら「いつかやる」ために解説記事やチュートリアル記事を集める日々を過ごしていたのですが、このままじゃイカン！と Machine Learning Advent Calendar 2014 - Qiita に参加登録してみました。 が、やはり何もしないまま当日を迎えてしまったので、お茶濁しではありますが、せめて「機械学習ってどんな手法やライブラリがあって、どんな応用先があるのか？」というあたりをざっくり把握して最初に何をやるのか方向付けをするためにも、たまりにたまった機械学習系の記事をいったん整理してみようと思います。 機械学習の概要 特定のライブラリや手法の話ではなく、機械学習全般に関する解説。 機械学習チュートリアル@Jubatus Casual Talks 機械学習チ
某所で機械学習の講習会（？）のようなものをしたときの資料です． 機械学習によるデータ分析について，アルゴリズムやツールの使い方＊以外＊の部分で 重要だと思うことを重点的にまとめたつもりです．Read less
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
社会人が統計学や機械学習を学ぶなら「落下傘方式」で - 渋谷駅前で働くデータサイエンティストのブログ
次の10年、「統計分析」こそテクノロジー分野でいちばんホットな職業になる
TechCrunch | Startup and Technology News
ケーキに３回だけ刃を入れてできるだけ公平に分割したい話 - アジマティクス
面白いデータは転がりまくってるけど転がってるままなので誰か助けてくれろ - あんちべ！
保護者の所得は学力にどれほど影響があるのか？/山田哲也 - SYNODOS
卒論修論のために、これから統計学を学ぶつもりの人に知って欲しい5箇条 - 女教師ブログ
年収を偏差値化した世界 - RepoLog│レポログ 統計データを使って様々な暮らしをレポートするブログ
犯罪の九割は失業率で説明がつく
データマイニングで理想の彼女をGetだぜ！ - 発声練習
統計学の面白さはどこにあるか - hiroyukikojimaの日記
四大ウザい論法「悪魔の証明」「論点のすり替え」「人身攻撃」 : BIPブログ
機械学習はじめの一歩に役立つ記事のまとめ - その後のその後
機械学習によるデータ分析まわりのお話