非負値行列因子分解(NMF)とK-meansが等価である話 - Qiita
NMF(Non-negative Matrix Factorization)とK-meansが等価であるという話を聞いたので参考論文を基にメモ書き程度に残しておきます。 なお、本稿では簡単な対称NMFについてしか記述しないので、それ以上を求める方は参考論文を辿って下さい。 NMF(Non-negative Matrix Factorization) 各成分が非負であるデータ行列$X=[\boldsymbol{x}_1 , ..., \boldsymbol{x}_n] \in \mathbb{R}^{p \times n}$であるとする(画像の各ピクセル値がデータ数分の行列となっている状態)。NMFではSVDやPCA等と異なり、この行列を非負行列で近似する。要するに下のようになる。 $F$ : $[ \boldsymbol{f}_1 , \ldots, \boldsymbol{f}_n] \
AIが競馬予想で回収率180％突破の快挙！ 『電脳賞』優勝のITエンジニアが語る戦略が鮮やかすぎて目からウロコ
どうも、「電ファミ」では競馬担当になりつつある、長谷川リョーです。 前回は北海道まで出張取材をした「リアルダビスタ」の記事をお届けしました。「将来の夢は馬主になることだ」と競馬への愛についても触れさせていただきましたが、馬券の方も嗜みます。週末は重賞を中心に、平場のレースまで手広く買うことが多いです。 （Photo by Getty Images） 1度だけ万万万馬券を当てたことがあり、生涯収支は間違いなくプラスなのですが、あの大当たりがなければ間違いなく回収率は100%を下回っていたことと思います。（僕だけではなく、おそらく多くの人が同じ現状だと思います……） 普段はAI（人工知能）、IoT、VRのようなテクノロジー周りの取材記事を書くことも多く、「ディープラーニングのような技術を元に、競馬予想をするプログラムを作ることができるのでは？」と夢想したことも一度や二度ではありません。IT企業
Rで異常検知(2): 正規分布に従うデータからの異常検知（ホテリング理論・MT法） - 渋谷駅前で働くデータサイエンティストのブログ
さて、気紛れから始まったこのシリーズですが。今回は第2章を取り上げます。 入門 機械学習による異常検知―Rによる実践ガイド 作者: 井手剛出版社/メーカー: コロナ社発売日: 2015/02/19メディア: 単行本この商品を含むブログ (4件) を見る 多変量かつ非正規データの異常検知は少し後の方になるので、例のwater treatment plantのデータセットを持ち出すのは後回しにして、今回は適当に生成したデータセットを使うことにしました。 ちなみに、今回のシリーズではあまりあれこれ引用しまくると引用の範囲を超えてしまいそうな気がしたので（笑）、要点をちろっとまとめてRスクリプトを並べるだけに留めておきます。故に、皆さんご自身がお手元で試される場合には必ず井手先生のテキストをご用意下さい、ということで。 ホテリングの（1次元） これはオーソドックスに正規分布する1次元のデータの中か
⭐️Rを使ったモデル構築の最善策を求めて: {dplyr} + {tidyr} + {broom} + {purrr}を使ったアプローチ - cucumber flesh
RStudioのチーフサイエンティスト、Hadley Wickham（ハドリー）が２月に行った講演のビデオがYouTubeに上がっていたので観た。 "Making Data Analysis Easier"というタイトルでの発表(スライドでは"Managing many models"になっているけど)で、ハドリー自身が考えている、データサイエンスに必要な可視化やモデリングを効率的に行うための手法について、彼の開発してきたパッケージを中心に説明している。 www.youtube.com 分かりやすく、具体例を交えた内容なので、是非YouTubeの動画を観てもらうのが良いと思うが、自分の頭を整理するためにもここでまとめておく。なお、発表スライドはクリエイティブ・コモンズライセンス3.0のもと、表示・非営利のラインセンスで再利用可能となっている。 Hadley Wickham (Chief S
競馬の予測をガチでやってみた - stockedge.jpの技術メモ
基本的に競馬なんてやるべきではないと私は思っている。胴元の取り分が多いからだ。宝くじに比べればまだましだが、それでも賭け金の20～30%は胴元に取られることになる。*1 しかし今回は、ちょっと思い立って競馬の予測をやってみることにした。 理由は馬券の安さだ。私は現在、資金量が少ない人間でも不利にならない投資先を探しているのだが、馬券の一枚100円という安さは魅力的に映る。株の場合にはどんな安い株であれ最低購入額は数万円以上*2なので、ある程度まとまった資金が必要になる。 また、競馬には技術介入の余地（努力次第で勝利できる可能性）がある。 例えばこんな例がある。 １６０億円ボロ儲け！英投資会社が日本の競馬で荒稼ぎした驚きの手法 - NAVER まとめ 彼らは統計解析によって競馬で勝っており、その所得を隠していたらしい。こういうニュースが出るということは、解析者の腕次第では競馬で勝てる可能性が
データマイニング｜競馬理論｜競馬セオリー
データマイニング 歴史 データマイニングの根幹は人工知能の構築にあり、その概念は計算機が誕生した1940年代と言われています。 1980年代には大規模なデータベース、データ情報を動的に操作するPC言語『SQL』が誕生し、データ量は飛躍的に増加しました。 そして、1990年前後、IBMはチェスで人間に勝利するためのスーパーコンピューター『ディープ・ブルー』の開発を開始しました。 『ディープ・ブルー』は高速な情報処理能力を有し、人間的な問題処理能力を発揮する側面、データマイニングの進化にも貢献しました。 そして1990年代、こうした技術と機械の発展からデータマイニングは誕生したのです。 概要 データマイニングとは、大量のデータから様々なデータ解析の手法を用いて、そこからデータの関連性や知識を発見することを総じた名称です。 様々な方法でデータの関連性を見出す手法が存在するため、データマイニングが
ウマナリティクス～競馬×データサイエンス～
競馬に関するあれこれを、データ分析の観点から語り合いましょう 主催 : @data_sciesotist 第2回イベント開催します！ 12/23（祝・金）17:00～銀座で第2回イベント「ウマナリティクス #2」を開催します。詳細は、イベントページをご覧ください。 https://umanalytics.connpass.com/event/46292/ 第1回イベント開催しました 6/12（日）17:30～品川で第1回イベント「ウマナリティクス #1」を開催しました。資料など詳細は、イベントページをご覧ください。 http://umanalytics.connpass.com/event/33008/ ウマナリティクスとは Uma + Analyticsの造語です。なんとなく思いついただけです。名前の由来はともかく、このイベントは競馬（JRA、地方、海外問わず）にまつわるいろんなことを、
データマイニング予測の仕組み｜JRA-VAN広場｜競馬情報ならJRA-VAN
はじめての方へ 競馬ソフトを開発したい方へ JRA-VAN では、皆様の馬券購入の参考になるように、データマイニング予測として、レース結果を事前に予測しています。 世の中には、気象予測、経済予測、株価予測など、さまざまな予測がコンピュータにより行われています。競馬の世界でも、スピード指数、レーティング指数などさまざまな数式や指数が、勝敗予測のために用いられていますが、それらの中のひとつがJRA-VANのデータマイニング予測です。 2008年1月以降予測の仕組みについて以下の改修を行っております。本文では改修後の仕組みについてご説明します。 予測モデルの細分化 2008年1月から距離別レースクラス別に予測モデルを分割 2009年1月から上記に2歳戦・3歳戦に限定した予測モデルを追加 従来の走破速度予測モデルに加え、競走馬の勝敗を予測するモデルを追加 予測のためのデータとして坂路調教データを追
We’re using a common statistical test all wrong. Statisticians want to fix that.
Whoops! There was an error and we couldn't process your subscription. Please reload the page and try again. After reading too many papers that either are not reproducible or contain statistical errors (or both), the American Statistical Association (ASA) has been roused to action. Today the group released six principles for the use and interpretation of p values. P-values are used to search for di
データ可視化チートシート - Qiita
はじめに データ可視化では、データの性質によって概ねどのような可視化ができるのか決まる場合があります。データ可視化は探索的なデータ分析をする場合や、データ分析した結果を誰かに伝えるために重要であり、その時々の目的に合わせた可視化を選択するべきですが、そもそも可視化手法の特性とデータの性質があっていないとあまり効果がない場合があります。筆者が業務においてデータ可視化する際にデータの性質から可視化手法を導く場合の道のりを整理し、チートシートとしてまとめてみました。 もちろん、調べたい・表現したい内容によって自分で自由に選んでもまったく問題無いですが、データを前にして「どうやって可視化しよう？」と悩んでいる方の一助になれば幸いです。 また、この記事では主に一般的な可視化（グラフ）手法にフォーカスしており、イラスト的な要素を含むインフォグラフィックなどについては触れていません。（が、だいたいのデー
ストリームデータ解析の世界
【機械学習アドベントカレンダー2015 8日目】 ストリームデータ解析 という分野がある。ある生成元から絶えずデータが到来する環境で、いかにそれらを捌くかという話。「時間計算量はほぼ線形であって欲しいし、空間計算量も小さく抑えつつ精度を担保したいよね」ということを考える世界。個人的に最近はそのあたりの情報を追いかけていたので、整理も兼ねてその世界を俯瞰したい。 すごいリンク集 はじめに、この分野で外せないと思うリンクを3つ挙げておく。 ■ SML: Data Streams YahooやGoogleの研究所を経てCMUの教授をしているAlex Smola先生の講義の一部（スライド＋動画あり）。理論からシステムアーキテクチャまで包括した実際的な機械学習ならこの人。この人の機械学習サマースクールの講義は最高だった。 古典的なものから最近のものまで、代表的なアルゴリズムについて直感的な説明といい
RPubs - Practical Machine Learning Project with XGBoost
Hide Comments (–) Share Hide Toolbars
データサイエンスのワークフロー ― データ分析を効率に行うために | POSTD
データを扱うときに、きちんと定められたワークフローがあると助かります。具体的には、「ストーリーを伝える」（データの可視化／ジャーナリズム）ことだけを目的として分析を行いたいのか、それとも一定のタスク（データマイニング）をモデリングするためにデータに依存するシステムを構築することが目的なのか、プロセスが重要です。前もって方法論を定めておくことによって、チームの足並みが揃い、次に何をすべきか考え出そうとして無駄な時間を費やさなくて済みます。それによって早く結果が得られ、資料の公表も早くなります。 これを念頭に、Ashley Madisonの漏洩データ分析に関する 前回の記事 に続いて、私たちが現在使用しているワークフローをご紹介します。このワークフローは、データ漏洩（Ashleyのケースなど）を分析するためだけでなく、社内のデータの分析にも使用されます。ただし、重要な点として、このワークフロー
予測分析コンペの入賞者たちが使ったのは、アンサンブル学習とディープラーニング - 日経BigData
予測分析コンペの結果から、最新の予測手法のトレンドが浮き彫りになった。精度の高い予測に成功したのはアンサンブル学習とディープラーニングの技術だ。
RでランダムフォレストやるならRboristかrangerか - 盆栽日記
最近Rにおけるランダムフォレストの高速な実装としてrangerパッケージが発表された。 開発者が既存のランダムフォレスト実装パッケージと比較した論文をarxivに掲載している。 http://arxiv.org/pdf/1508.04409v1.pdf rangerは速い…のか？ 既存のランダムフォレスト実装としてrandomForest、randomForest、bigrf、randomForestSRC、Random Jungle、Rboristが比較されている。 私が扱うデータはほとんどがサンプルサイズ>>特徴量数というデータなので、Table2とFigure4が比較結果として参考になる。 Table2ではサンプルサイズ100,000、特徴量数100というデータに対して各パッケージの処理速度とメモリ消費量を比較している。 ざっとみた感じ高速なのは二値型の特徴量（dichotomous
Microsoft Word - Thesis_Ying_without_matrikelnummer.docx
Beating Kaggle the easy way Studienarbeit Ying Dong Wirtschaftsinformatik I Ying Dong Studiengang: Master Wirtschaftsinformatik Studienarbeit Thema: " Beating Kaggle the easy way" Eingereicht: 22. Juli 2015 Betreuer: Dr. Frederik Janssen Prof. Dr. Johannes Fürnkranz Fachgebiet Knowledge Engineering Group Fachbereich Informatik Technische Universität Darmstadt Hochschulstraße 10 64289 Darmstadt I C
Deep Learning の次は、TDA 「トポロジカル・データ・アナリシス」 (Topological data analysis) が来る ? ～ その概要と、R言語 / Python言語 実装ライブラリ をちらっと調べてみた - Qiita
人工知能やデータ解析の領域で、膨大な量のデータから、物体概念（物体識別）や音声・体の運動スキーマ概念を自動的・自律的に獲得できる可能性をもった手法として、Deep Learning（ディープ・ラーニング、「深層学習」）と総称される手法が注目を集めています。 こうした中、一部の研究者やベンチャー企業の経営者・エンジニアの中には、このDeep Learningのさらに先をいくデータ解析手法として、TDA：トポロジカル・データ・アナリシス (Topological data analysis) と呼ばれる手法に着目している方たちがいるようです。 Deep Learningと同じく、人間が脳を使って、五感で得た周囲や自分の体についての感覚情報から、どのようにして周囲の環境空間に対する認識イメージや、物体概念、みずからの身体概念を得ているのか？という「問い」に対して、統計学や確率論のアプローチではな
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
https://ide-research.net/papers/2009_DMSM_Ide.pdf
Workflow, Serialization &� Docker for Kaggle
失敗から学ぶ�データ分析グループの�チームマネジメント変遷
