NNが心理学と生理学から離れていった瞬間：Back propagationに関するNature論文(1986)の意義を考える - 渋谷駅前で働くデータサイエンティストのブログ
(Fig. 1 from Rumelhart, Hinton & Williams, Nature, 1986) これはちょっとした小ネタです。僕自身はニューラルネットワーク (Neural Network, NN)の学術的専門家でもなければ況してやNNの研究史家でもないので、たかだか僕自身がかつて脳の研究者だった頃に把握していた事由に基づいて、極めていい加減な私見を書いているに過ぎないことを予めお断りしておきます。よって、この辺の事情に詳しい方いらっしゃいましたら、後学のためにも是非ご遠慮なくツッコミを入れて下さると有難いですm(_ _)m 先日のことですが、@tmaeharaさんがこんなことを呟いておられました。 オリジナル論文 https://t.co/kXfu8jIat3 これです．本当にただチェインルールで微分して勾配法しているだけにしか見えない……．— ™ (@tmaehara
データサイエンティストもしくは機械学習エンジニアを目指すならお薦めの初級者向け6冊＆中級者向け15冊（2017年春版） - 渋谷駅前で働くデータサイエンティストのブログ
(Photo credit: https://pixabay.com/en/books-door-entrance-italy-colors-1655783/) この記事は一昨年のこの書籍紹介記事のアップデート版です。 相変わらず毎月のように新刊書が出続けるデータ分析業界ですが、良い本が増え続けてきたせいでついに初級者向けは6冊、中級者向けは何と15冊にまで膨れ上がってしまいました（汗）。ともあれ、自分のところにアフィリエイトの類は一銭も入らないにもかかわらず*1懲りずに書籍紹介をやろうと思います。 あ、最初に断っておきますが僕の知識レベルは極めて適当なので、極めていい加減なことを書いている可能性があります。また最初に読んでから時間が経っていて記憶があやふやなせいで、内容に関する記述が不正確な書評が混じっている可能性もあります。誤っているところやおかしいところがあったらバンバン突っ込んでく
Rで異常検知(1): これまで自分がやってきたことのおさらい - 渋谷駅前で働くデータサイエンティストのブログ
ぶっちゃけ今更感がなくもないんですが、実はこれまで自分ではほとんど異常検知・変化検知をゴリゴリやったことがなかったなぁと思ったのでした。きっかけは、時々色々な手法のテストに使っているこのUCI機械学習リポジトリのデータセット。 UCI Machine Learning Repository: Water Treatment Plant Data Set これは説明にもあるように、とある都市部の下水処理場の様々なセンサからのインプットを合わせて日次でまとめたデータセットです。この手のプラントデータセットにありがちな課題がまさにその異常検知で、要は何か不具合があった日付を事後で良いので検出したいというお話です。 異常検知自体は、以前このブログでさらっとだけ取り上げたことがあります。それは{AnomalyDetection}パッケージの紹介記事。 この時は{AnomalyDetection}が依
Deep Learningライブラリ{mxnet}のR版でConvolutional Neural Networkをサクッと試してみた（追記3件あり） - 渋谷駅前で働くデータサイエンティストのブログ
For non-native Japanese speakers: English version is below. ちょっと前から色々なところでちらほら名前を聞くなぁと思っていたMXnet。どうやらKagglerの間では急速に人気が高まっているようで、最近になってだいぶバグフィックスが進んだらしいというので僕もインストールしてみることにしました。 もうこれはご覧の通りで、あのXgboostも配布しているDMLCが出したものです。既にソースもドキュメントもかなり整備が進んでいて、ImageNetの学習済みモデルも配布されているようです。ということで、早速ちょっと触ってみようと思います。 Convolutional Neural Network (CNN)とは 言うまでもないことだとは思いますが、Convolutional Neural Network (CNN)という手法自体はDeep
データサイエンティストを目指すというかデータ分析を生業にするなら読んでおきたい初級者向け5冊＆中級者向け12冊（2015年冬版） - 渋谷駅前で働くデータサイエンティストのブログ
(Photo via VisualHunt) 追記 2017年3月現在の最新書籍リストはこちらです。 最近になってまた色々とデータサイエンティストを目指す人向けのお薦め書籍リストとか資料リストとかが出てきてるんですが、個人的には何かと思うところがあるので僕も適当にまとめておきます。偏りありまくり、完全に主観で決めたリストなので文句が出まくるかと思いますが、もはや毎回のことなのでご容赦を。 なおこちらのリストはあくまでもビジネスの現場でデータ分析を生業にする（しようとしている）人たち向けのものであり、研究者含めたガチ勢の方々向けのものではありませんのでどうか悪しからずご了承下さい。 ちなみに毎回言ってますが、アフィリエイトは全くやっていないのでここに貼られたリンクを踏んで皆さんが購入されても僕の懐には一銭も入りません。拙著だけはそもそも例外ですが（笑）。*1 初級者向け5冊 一応初級者向けと
p値を計算したくなる検定の数々を試しにStanによるベイジアンモデリングで代替してみた - 渋谷駅前で働くデータサイエンティストのブログ
この記事は、やたらはてブを稼いでしまった前回の記事の続きです。 ASAのプレスリリース及び声明の中には、確かに「p値に依拠しない新たなアプローチの例」として予測値を重視するアプローチ*5、ベイジアンモデリング、決定理論的アプローチ*6およびfalse discovery rate*7といったものを用いるべき、という趣旨のコメントが入っています。とは言え、重回帰分析とか機械学習のような多変量モデリング（なおかつサンプルサイズも大きい）を伴うテーマならともかく、統計学的仮説検定のようなサンプルサイズも小さい（データも少ない）シチュエーションでどうやるんだよ的な疑問を持つ人も多いのではないかと。 そんなわけで、実際にそれっぽい各種検定の数々をStanによるベイジアンモデリングで代替してみたので、この記事ではその結果をつらつら紹介してみようと思います。テーマは前々回のこちらの記事の1節で取り上げた
確率的勾配降下法を最適化に使える{sgd}パッケージを一通り試してみる - 渋谷駅前で働くデータサイエンティストのブログ
ちょっと前に話題になってたんですが、何でもCRANに確率的勾配降下法(Stochastic Gradient Descent)を実装した{sgd}というパッケージが公開されているそうで。JSS掲載予定のVignetteもあるみたいです。 CRAN - Package sgd Stochastic gradient decent methods for estimation with large data sets ということで、ミーハーかもですが試しにちょっと触ってみようかと思います。ちなみに今回検証に用いたマシンはWindows 7 (64bit)、8コア (3.60GHz)、メモリ32GBというスペックです。 確率的勾配降下法について 最近はMLPシリーズとか良いテキストが沢山出ているので、そちらでも読んでみて下さい*1。 オンライン機械学習 (機械学習プロフェッショナルシリーズ) 作
パッケージユーザーのための機械学習(12)：Xgboost (eXtreme Gradient Boosting) - 六本木で働くデータサイエンティストのブログ
今やKaggleやKDD cup以下名だたる機械学習コンペで絶大な人気を誇る分類器、Xgboost (eXtreme Gradient Boosting)。特にKaggleのHiggs Boson Machine Learning Challengeの優勝チームが駆使したことで有名になった感があるようで。 その実装ですが、C++ベースで高速化したものにRとPythonのラッパーをつけたものが既にGitHubで公開されています。 Rパッケージである{xgboost}のインストールについての注意事項は前回の記事に書いていますので、インストールの際はご参考にしていただければと。 さて。これだけ大人気の分類器となると国内外問わず色々な解説記事に溢れておりまして、例えば日本語ブログでもこれだけの記事が既に出てます。 勾配ブースティングについてざっくりと説明する - About connecting
Online Chinese Restaurant Process (Liu et al., KDD 2014) メモランダム - 銀座で働くデータサイエンティストのブログ
先週のうちのチームの論文輪読会でこの論文を読んだので、その時用いた資料を一部改訂して上げておきます。いつも通り炎上ラーニング大歓迎*1なので、おかしなところがあったらどんどん突っ込んで下さると有難いです。 Online chinese restaurant process - ACM Digital Library 何とビデオレクチャーということで、去年のNYCでのKDDの本番トークそのものがまんま収録されて公開されてるんですね～。ということで論文読みながら*2このトークを改めて聴くのも良いかも。 0 全体要約 読んで字の如し、混合ディリクレ過程(Dirichlet Process Mixture)をオンライン化しようという論文。大規模データであればあるほどクラスタリングする際にクラスタ数が事前に分かっているケースは少ないのでDPMが大事になってくるが、当然のように大規模になるほどバッチで
データサイエンティストというかデータ分析職に就くための最低限のスキル要件とは - 渋谷駅前で働くデータサイエンティストのブログ
追記（2017年7月） こちらのスキル要件ですが、2017年版を新たに書きましたので是非そちらをご覧ください。 「データサイエンティストというかデータ分析職に就くためのスキル要件」という話題が某所であったんですが、僕にとって馴染みのあるTokyoR界隈で実際に企業のデータ分析職で活躍している人たちのスキルを眺めてみるに、 みどりぼん程度の統計学の知識 はじパタ程度の機械学習の知識 RかPythonでコードが組める SQLが書ける というのが全員の最大公約数＝下限ラインかなぁと。そんなわけで、ちょろっと色々与太話を書いてみます。なお僕の周りの半径5mに限った真実かもしれませんので、皆さん自身がどこかのデータサイエンティスト（）募集に応募して蹴られたとしても何の保証もいたしかねますので悪しからず。 統計学の知識は「みどりぼん以上」 データ解析のための統計モデリング入門――一般化線形モデル・階層
Rでデータ分析・統計学・機械学習・データマイニングを学ぶならこの10冊で（2015年2月版） - 渋谷駅前で働くデータサイエンティストのブログ
今週はまともなデータ分析やら統計学やら機械学習やらの記事を書くのが面倒になったので*1、しばらくやってなかったお薦め書籍リストでも書こうかと思います。 今回まとめるリストは、ズバリ「Rでデータサイエンス・統計学・機械学習を学ぶための10冊」。Rと言えばこのブログのメイン言語なので特に説明は要さないでしょう。去年1年間は拙著も含めてR絡みの本が大豊作で、以前のお薦め書籍リストに比べるとRの良書が増えたという部分もあり、そう言えばR本だけでリスト作れるなぁと思ったのでした。 というわけで、主に僕が持っているor読んだことがある本を中心にお薦めリストをまとめてみました。いつも通り独断と偏見まみれなので、他にも良いR本は沢山ありますよーという旨予めお断りしておきます。 そうそう、先に書いておきますがこのリストは中級者向けです。でも初学者向けに良いRの本ってあるのかなぁ。。。初学者はまずはExcel
UCI機械学習リポジトリのデータで遊ぶ(1)：2013年のテニス四大大会match stats - 渋谷駅前で働くデータサイエンティストのブログ
去る2月5日（木）にレバレジーズ様のお招きで渋谷でちょっとしたRハンズオンをやってきました。 手を動かしながら学ぶエンジニアのためのデータサイエンス！ from leverages_event この中で利用したのが、UCI Machine Learning Repositoryのオープンデータセット。恥ずかしながら僕は最近になってこのリポジトリの存在を知ったんですが、結構な老舗の割に今でも頻繁に更新されていて、つい最近もNoisyOfficeというデータセットが追加されたばかりのようです。 で、上記Rハンズオンの中で題材に取り上げたデータのひとつがTennis Major Tournament Match Statistics。これは2013年のプロテニスの四大大会のmatch statsをATP / WTA双方について集めたもので、おそらくIBMとかOMEGAとかRADO辺りが公開してい
「21世紀の相関」HSICの原論文"Measuring Statistical Dependence with Hilbert-Schmidt Norms" (Gretton et al., Algorithmic Learning Theory, 2005)メモランダム - 渋谷駅前で働くデータサイエンティストのブログ
相変わらずうちのチームでは論文輪読会をやってまして、先日僕が担当したのが「21世紀の相関の本命」HSIC (Hilbert-Schmidt Independence Criteria)の原論文たるこいつ↓でした。 Measuring Statistical Dependence with Hilbert-Schmidt Norms (Gretton et al., Algorithmic Learning Theory, 2005) HSICと言えば@motivic_氏の手による一昨年夏のTokyoRでの発表が一番ナイスな解説だと思います。 21世紀の手法対決 (MIC vs HSIC) 追記 HSIC関連だと鈴木先生のこれもお勧め(昔紹介したかも Bayes Independence Test - HSIC と性能を比較する- http://t.co/IMWUpB5qEu— motivi
Rでベイジアン動的線形モデルを学ぶ(4)：季節要素のあるローカルレベル・モデル - 渋谷駅前で働くデータサイエンティストのブログ
色々と興味が発散していて違う話題ばかりしてますが、これもまだ全然終わってないので粛々と進めようと思います。ということで今回は季節調整のお話。Commandeur本の進行に合わせて、季節調整ありただしトレンドなしというモデルでいきます。もちろんテキストはこちらの2冊と、R実践例をまとめたPDF book。 状態空間時系列分析入門 作者: J.J.F.コマンダー,S.J.クープマン,Jacques J.F. Commandeur,Sime Jan Koopman,和合肇出版社/メーカー: シーエーピー出版発売日: 2008/09メディア: 単行本購入: 2人 クリック: 4回この商品を含むブログを見る Rによるベイジアン動的線形モデル (統計ライブラリー) 作者: G.ペトリス,S.ペトローネ,P.カンパニョーリ,和合肇,萩原淳一郎出版社/メーカー: 朝倉書店発売日: 2013/05/08メデ
杜氏のいない蔵元が示した「データ分析さえすれば職人の技を職人抜きでも再現できる」という事実の凄み（追記あり） - 渋谷駅前で働くデータサイエンティストのブログ
先日、とあるコンサルの社長さんとお酒を飲みながらお話していて出てきた話題が「畢竟データ分析って何の役に立つんだろう？」というものだったんですが、そこで僕が思い出して紹介したのが「獺祭」で世界進出を成功させている旭酒造のエピソードだったのでした。 ということで、その事例を振り返りながら久しぶりにちょっと与太話でもしようと思います。 http://www.tv-tokyo.co.jp/cambria/backnumber/20140116.html ちなみに上ははてブでも大きな話題を呼んだ東洋経済の特集記事ですが、僕にとってはテレ東カンブリア宮殿で紹介された時の映像の方が遥かに衝撃的でした。 「獺祭」は杜氏でも何でもない普通の社員が、データに基づいて一挙手一投足を決めながら仕込んでいる 東洋経済の記事では割とざっくりとしか書かれてないんですが、カンブリア宮殿で放映された映像では獺祭の製造工程の
Rでベイジアン動的線形モデルを学ぶ(3)：ローカル線形トレンドモデル - 渋谷駅前で働くデータサイエンティストのブログ
相変わらずグダグダな上に挙句の果てに既にRでやっちゃった例をまとめたPDF bookまであると判明してモチベーションだだ下がりなんですが、備忘録も兼ねてめげずに続けます。もちろんテキストは相変わらずこちらの2冊。 状態空間時系列分析入門 作者: J.J.F.コマンダー,S.J.クープマン,Jacques J.F. Commandeur,Sime Jan Koopman,和合肇出版社/メーカー: シーエーピー出版発売日: 2008/09メディア: 単行本購入: 2人 クリック: 4回この商品を含むブログを見る Rによるベイジアン動的線形モデル (統計ライブラリー) 作者: G.ペトリス,S.ペトローネ,P.カンパニョーリ,和合肇,萩原淳一郎出版社/メーカー: 朝倉書店発売日: 2013/05/08メディア: 単行本この商品を含むブログを見る 後は冒頭に挙げたPDF bookを参照しながら、パ
Rでベイジアン動的線形モデルを学ぶ(2)：まずは状態空間のコンセプトと基本のローカルレベル・モデルから - 渋谷駅前で働くデータサイエンティストのブログ
前回からだいぶ間が空いた上に、要は{dlm}パッケージで遊ぼう！という大袈裟なタイトルの割に中身のないこのシリーズ記事ですが（笑）、取るものもとりあえずちょっと例題をやってみようと思います。参考文献はまずこちらのPetris本。 Rによるベイジアン動的線形モデル (統計ライブラリー) 作者: G.ペトリス,S.ペトローネ,P.カンパニョーリ,和合肇,萩原淳一郎出版社/メーカー: 朝倉書店発売日: 2013/05/08メディア: 単行本この商品を含むブログを見る あと、以前買ったけどまだ全部読み切ってないこちらのCommandeur*1本も。 状態空間時系列分析入門 作者: J.J.F.コマンダー,S.J.クープマン,Jacques J.F. Commandeur,Sime Jan Koopman,和合肇出版社/メーカー: シーエーピー出版発売日: 2008/09メディア: 単行本購入: 2
パッケージユーザーのための機械学習(9)：混合ディリクレ過程 - 渋谷駅前で働くデータサイエンティストのブログ
前回の記事からだいぶ経ってしまいましたが、皆様パッケージの使い心地はいかがでしょうか（汗）。ということで、今回はいよいよクラスタリングシリーズの大詰め、混合ディリクレ過程を取り上げます。 今回は僕も完全に理解しているわけではないので、ぶっちゃけこんなブログ記事読まずにもっとちゃんとした方の資料を読んでもらった方が100倍以上皆さんのためになると思いますorz 特に日本語資料がほとんどないということで結構大変なんですが、@shima__shima先生に伺ったところこんなお答えが。 .@TJO_datasci ノンパラはガッツリ書いてるのをあまり見かけません．持橋さんの資料とか http://t.co/9Yuv1DpIdp 吉井さんのとか https://t.co/KC8t94wBzo— しましま (@shima__shima) 2014, 4月 14 ノンパラメトリックベイズ法による言語モデ
第7回DCC・第64回EIP合同研究発表会で招待講演してきました - 渋谷駅前で働くデータサイエンティストのブログ
昨日、下記の研究会から招待講演にお招きに与り、お話してきました。 第7回DCC・第64回EIP合同研究発表会-情報処理学会 「データサイエンティスト・ブーム」後の企業におけるデータ分析者像を探る from Takashi J Ozaki 内容はまぁ、完全に見た通りです（笑）。昨年8月に講演した内容を色々アップデートして、「データサイエンティスト・ブーム」終焉後のデータ分析業界の潮流を解説する、という感じのお話です。 もっともそれだけでは面白くないので、今回は現場でのデータ分析例としてStanによるベイジアン・モデリングの例を入れてみました。やっていることは非常に単純で、単なる正規線形モデルでは表現できないトレンド項を階層ベイズにして突っ込むことで、 なる加法モデルとして表現して、は普通に正規線形モデルで解いて、は適当に事前分布を与えてやって最適値を出してやる、みたいな感じのものです。これは
パッケージユーザーのための機械学習(7)：K-meansクラスタリング - 銀座で働くデータサイエンティストのブログ
本シリーズ記事のカテゴリからPythonが消えて久しい今日この頃ですが、皆様いかがお過ごしでしょうか*1。とかいう前口上はどうでも良くて、とっとと今回のお題に入りましょう。今回はクラスタリングのド定番、K-means（k平均）クラスタリングです。 K-meansはどの本にも載っている手法なので参考文献には何を挙げても良い気がしますが、とりあえずこれまたド定番ということで相変わらずはじパタを挙げておきます。 はじめてのパターン認識 作者: 平井有三出版社/メーカー: 森北出版発売日: 2012/07/31メディア: 単行本（ソフトカバー）購入: 1人 クリック: 7回この商品を含むブログ (4件) を見る ちなみにPRMLでも下巻のp.140-146で触れてて*2、K-meansアルゴリズムとEMアルゴリズムとの類似点についてもコメントがあります。この辺はまた後で触れることにしましょう。 ま
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
