概要 2017年8月9日に国立がん研究センターは、がん治療拠点の約半数にあたる全国188の病院について、癌患者の5年後の生存率データを初めて公表しました（毎日新聞の記事）。報告書は国立がん研究センターが運営するウェブサイトからダウンロードできます（ここ）。報告書をダウンロードしようとすると注意点を記したポップアップが表示されます。大切な部分を抜粋すると以下です。 本報告書には、施設別の生存率を表示していますが、進行がんの多い少ない、高齢者の多い少ないなど、施設毎に治療している患者さんの構成が異なります。そのため、単純に生存率を比較して、その施設の治療成績の良し悪しを論ずることはできません。 一般に高齢者が多い病院ほど、進行癌（ステージが進んだ癌）が多い病院ほど、その病院の生存率は下がるわけです。それならば、統計モデリングで年齢と進行度（ステージ）の影響を取り除いて（専門的な言葉で言えば「調

最近よくビジネスニュースというか経済ニュースを見ていて思うんですが、注意しないと各企業についてバイアスがかかるリスクがあるなぁと。メディアが悪いと言えばなんとなく悪い感じがしてきますし、賢い人がすごいと言えばなんだかすごい気がしてきます。具体的には、Amazonの戦略がすごい！とか、Appleは税金を納めてなくてひどい！とか、そういうニュースを真に受けてしまっている自分に気がつきます。これはよくないですね。事実ではなく、他人の意見に支配されています。 ではどうすればいいのでしょう？メディアを遮断すればいいのでしょうか。それとも、他人の意見を全て否定すればいいのでしょうか。 バイアスを取り除く方法はただ一つ。データ分析です。データは嘘をつきません。賢そうな人の意見を鵜呑みにするのではなく、自分で生のデータを分析すれば、事実にたどり着けます。 企業について知るためには、財務諸表をひも解くのが一

データ分析ガチ勉強アドベントカレンダー 23日目。 ここまでデータをどういう風に処理したり、どういうタスクをこなしていくかについて勉強してきたが、 一度基礎的な事項に戻ってみたいと思う。基礎だから簡単というわけではない。基礎だからこそ難しく、また本質的な内容。 データ分析で使われている手法などをまとめて集約して、簡単な説明を付け加えていく。 しかし、このあたりの数学*1は苦手なので、なるべく直感的に自分のイメージを書いていく。 われわれが生きている空間や、距離は"正しい"のか ユークリッド空間/ユークリッド距離 点の距離 分布の距離 wasserstein計量 カーネル(再生核ヒルベルト空間) Topological Data Analysis(TDA) 次元削減/Embedding PCA(principal component analysis) t-SNE(t-Distributed

はじめに こんにちは、コピペデータサイエンティストです。 3年ぐらい前に「ラーメンと自然言語処理」というおちゃらけLTをしたのですが、今見ると恥ずかしいぐらいショボいので、Pythonで作りなおしてみました。 長くなったので3行でまとめると Web上に転がっている口コミとか紹介文を Pythonのライブラリを用いて解析することで 好きなラーメン屋に似たラーメン屋を見つける手法を構築した 方法 統計的潜在意味解析という手法を用います。ざっくり言うと、文書がどんなトピックを持っているか、何に関する文書なのか、を推定してくれるものです。 以下の様なイメージで各トピックに割り振られる割合を算出できるため、以下の例ではAとBが近い、ということを計算することが可能です。 ラーメン屋A： [0.75, 0.15, 0.10] ラーメン屋B： [0.60, 0.15, 0.15] ラーメン屋C： [0.0

概要 Rubyistでも機械学習がしたい! ということで、タイトルの通りRubyで機械学習のためのgemをつくってみました。機械学習のための、と書きましたが、試作品ということもあり2016年4月現在実装されているのは多層パーセプトロンと自己符号化器のみです。今後、時間が空いたときに少しずつ更新して、中身を増やせていければよいなと思っています。 Rubyにも機械学習のためのライブラリがいくつかあるのは知っていますが、選択肢を増やすためにも稚拙ながら実装してみました。 インストール ソースコード https://github.com/seinosuke/sabina デモ examples/ 以下にあるサンプルの実行結果をデモとして示します。これらのデモの実行には本gemに加えてv5.0以上のgnuplotが必要です。 多層パーセプトロン その1 以下の図はタグ付けされた訓練データの画像と、学

久々の投稿です、@kenmatsu4 です 久々なのですが、新規投稿ではなく今までの記事まとめです 昨年末くらいにまとめを書くといっていながら半年が経過してしまいましたが、ようやっと公開します。 統計学、機械学習、プログラミング、数学、その他にカテゴリ分けしてみました。

Photo by PROTim Regan こんにちは。谷口です。 最近「人工知能」や「機械学習」に関する話をよく耳にします。実際に機械学習の勉強をしている人や、機械学習に関連した研究開発の求人を探す人も増えてきたなーと感じます。弊社のITエンジニアにも機械学習を勉強中という人がいますが、特に最初の頃は難しすぎて何から手を付けたらいいのかよく分からず、とても悩んだと言っていました。 というわけで今回は 実は機械学習とディープラーニングの違いがわかってない 機械学習勉強したいけど仕事してると体系的に学ぶ時間がない 仕事や研究で「機械学習やって」って言われそうな気配がする 過去に機械学習の勉強にチャレンジしたことがあるけど難解すぎて挫折した という方々のために、機械学習を勉強している弊社のエンジニアに、機械学習に入門した頃に役立ったスライドを聞いてきたのでご紹介します。 ■機械学習とディープラ

ディープラーニングタノシイ! イラストで学ぶ ディープラーニング イラストで学ぶ ディープラーニング (KS情報科学専門書) 作者: 山下隆義出版社/メーカー: 講談社発売日: 2016/02/23メディア: 単行本（ソフトカバー）この商品を含むブログ (1件) を見る 以前、『初めてのディープラーニング』を紹介した時に、 こっちのほうがおすすめだよ、と言われた書籍です。 私はあくまでも初めてのディープラーニングのが好きですけど! レベルとしては初めてのディープラーニングとほとんど一緒。 こちらのほうが、Chainer,TensorFlowと多彩なフレームワークの説明あり。 初めてのディープラーニング 初めてのディープラーニング --オープンソース"Caffe"による演習付き 作者: 武井宏将出版社/メーカー: リックテレコム発売日: 2016/02/19メディア: 単行本（ソフトカバー）

コードはこちら: 全てのコードはGithub上のIpython Notebookでも公開しています。 この投稿では、1から3階層のシンプルなニューラルネットワークを構築します。出てくる全ての数学の解説はしませんが、可能な限り必要な部分は、わかりやすく説明したいと思います。数学の詳細が気になる方は、英語が多いですが参考になるリンクを下記で記載します。 この投稿の読者は最低限、微分と機械学習の基礎（クラシフィケーションや正則化など）を知っていると仮定します。更にGradient Descent（勾配降下法）のような最適化技術を知っていれば、なお良しです。ただ上記を知らなくても、ニューラルネットワークに興味のある方なら楽しめる内容だと思います。 それではまず、なぜ一からニューラルネットワークを構築する必要があるのでしょうか？後の投稿で PyBrain や Tensorflow のようなニューラル

主観的な観点からPythonとRの比較した記事は山ほどあります。それらに私たちの意見を追加する形でこの記事を書きますが、今回はこの2つの言語をより客観的な目線で見ていきたいと思います。PythonとRを比較をしていき、同じ結果を引き出すためにはそれぞれどんなコードが必要なのかを提示していきます。こうすることで、推測ではなく、それぞれの言語の強みと弱みの両者をしっかりと理解できます。 Dataquest では、PythonとRの両方の言語のレッスンを行っていますが、データサイエンスのツールキットの中では両者ともそれぞれに適所があります。 この記事では、NBA選手の2013/2014年シーズンの活躍を分析したデータセットを解析していきます。ファイルは ここ からダウンロードしてください。解析はまずPythonとRのコードを示してから、その後に2つの異なるアプローチを解説し議論していきます。つま