マイクロソフト社が技術分野でもっと熱い専攻の一つとして分析/統計をあげている（Microsoft JobsBlog）。同社以外でも統計学は、今後最も有益なスキルの一つだと考えているようだ（NYT - For Today’s Graduate, Just One Word: Statistics）。しかし、データマイニングの話も一般化しつつあって学習ノウハウなども公開されているが、経験にあわない部分が多い。統計学を初めて勉強するときに知っておいた方が良い7つのポイントをあげてみた。 1. 学習機会やテキストは山のようにあるので利用する 確率・統計の日本語テキストは山のようにあり、大学のコースワークを振り返っても、理文問わずにほとんどの学部で確率・統計はあったはずだ。大学院のコースワークでは英語の文献を好む傾向があるが、上級テキストでも日本語のものも少なくない。また「マンガでわかる統計学」のよ

→ アップデート：〈6-September-2011版〉． 数理統計研修の受講生から，「統計学の参考図書を紹介してほしい」との依頼があったので，下記のような「お誘い本リスト」をつくってみた．“門前”から“門”までの「参道」がやや長い気がするが，そこは気の迷いや逡巡が憑いてまわる相手のために，ということでご容赦を．また，いったん“入門”してしまった後は，手法ごとにそれぞれ適切な本（中級書）がきっとあると思うが，上のリストではそこまでは考えていない．ただし，ぼくの担当している講義が「実験計画法」だったりするので，この分野については数冊選んで，リストに付けた．なお，〈R〉に関する参考書は別のリストを参照されたい． ご意見などありましたら，ご連絡ください． 門前で迷っている人のためのコミック系入門書 高橋信『マンガでわかる統計学』（2004年7月刊行，オーム社，ISBN:4274065707→版元

数式処理ソフトなんか使ったらダメ人間になると心配の（親・教師は放っておけ）よい子におくる。 昔々、Mathematicaという数式処理ソフトを教えてくれた人がこんなこと言った。 「コンピュータを使って、今まで１０の労力が必要だったことが３の労力で済むのだとしたら結構な話だろう。Mathematicaがもたらすのも、それと同じことだけれど少し違う。これまで１０００の労力が必要だったことが３００程度で何とか可能になって、一生を棒に振る範囲で済みそうになる。自分の分野の先達たちが目標にすること自体をあきらめてきたものが、バトンの形になって手渡される。Mathematicaを使うというのは、そういうことなんだ」 数式処理ソフトは計算できない子を作るか？ 数式処理ソフトは微積分もできれば、方程式も解けるし、グラフも描ける。 「解を求めよ」みたいな問題はだいたい解けるから、今でも 「そんなものを生徒・

2010年07月17日23:00 カテゴリMath Math - 比較に数値は必要か? TLでも指摘したのだが、そんなことはない。 値段をつけなきゃ、比べられない。RT @masahirok_jp: 綺麗の価値に、値段なんて付けられない。less than a minute ago via Chromed BirdMasahiro Nishida GkEc で、TLでの反応を見る限り、これはむしろ教育を受ければ受けるほどやりやすくなる勘違いだという感触を得たので、blogにも書くことにした。 ここで @GkEc と @dankogai のどちらの体重が重いかという問題を考えてみる。 もちろん二人で体重を量ってその数値をtwitterで公表しても正解ではある。実際毎日自分の体重をつぶやいている人は、レコーディング・ダイエットが「いつまでもデブと思うなよ」で広く世に知られるようになってからだい

学者ならずとも、データを使って考察したり、仮説を検証する機会はあるもの。コンピュータ技術の発達により、面倒なデータ集計や難しい計算は、すべてコンピュータにお任せできるわけですが、「その結果から、何を読み解き、どう考えるか？」はヒトが担うべき重要な役割ですね。こちらでは、統計のスペシャリスト直伝のデータ活用術をご紹介しましょう。 統計学の博士課程に在学しているNathan Yauさんは、数々のデータ分析の経験から、データを活用するコツとして、以下のようにまとめています。 細部に注目する データ分析では傾向やパターンにばかり目がいきがちだが、同様に「異常値」にも注目することが大切。見逃している視点がここに潜んでいることも。 大局で捉える データひとつひとつを別々に捉えるのではなく、データひと塊をザクっと捉えて、大きく考えることを心がけよう。 予断を持たない データ分析は可能な限り客観的に行うべ

連載2回目は、ネット時代の要請を受けて、データマイニングを取り巻くツール環境がどのように変化（進化）をしているかを、ご紹介させていただきます。 現在、企業内のDWH（データウェアハウス≒巨大なDB）に蓄積された膨大なデータは、例えればダムに貯められた水です。ただ水門を開け閉めするだけでは、膨大な水量（データ量）が流出してしまい、現実的に意思決定の材料としては機能しません。まさに消防ホースから水を飲むようなもので、受け手の処理能力を軽く超えてしまうのです。そこで、処理が可能な適切な量・質に情報を絞り込んで取り出す「蛇口」が必要となり、その機能がデータマイニングに求められています。 しかし、現実問題として、そのマイニング自体が非常に高度で職人的な作業であるため、属人的な制約をうけることになります。つまり、分析者の能力と人数に限界があるため、結果として処理できる件数とデータ量にもすぐに限界が来て