Robust PCA (Principlal Component Pursuit) の実装 - やったことの説明
はじめに 多変量データは実世界の様々なところで現れる(e.g., 画像、音声、動画)．これらの多変量データの多くは、データ自体がもつ次元 (e.g., ピクセル数)よりも小さい次元(自然画像の多様体的なやつ)で表現することができる． データから低次元の構造(低ランク行列)を取り出す代表的な方法として、PCAがある． しかし、実世界で観測されるデータには外れ値が含まれていることが多く、PCAはこの外れ値の影響を強く受けて低ランク行列を求めてしまうという性質がある． 外れ値にロバストに低ランク行列を推定する方法 (a.k.a., robust PCA)として、Principal Component Pursuitが提案されている． ここではPCPの簡単な説明と実装を行い、PCAと比較する． 低ランク行列 なんらかの低ランクな構造を持っている(日本語あやしい)多変量データは低ランクな行列とノイズ
データ解析・機械学習に関する手法・考え方・注意点のまとめ
データ解析に関するいろいろな手法を解説した記事や、データ解析をするときの考え方の記事をまとめました。興味のある内容がございましたら、ぜひリンクへ飛んでいただけたらと思います。 pdfファイルやパワーポイント(pptx)ファイルは、自由にご利用ください。 数学(行列計算・線形代数・統計・確率)が不安な方へ 高校数学の知識から、人工知能・機械学習・データ解析へつなげる、必要最低限の教科書 人の学習と人工知能の学習～人工知能を学習させるとかモデルを構築するということ～ Datachemical LAB 化学・化学工学分野におけるデータ解析・機械学習クラウドサービス「Datachemical LAB」 Datachemical LAB をデータ解析・機械学習・人工知能の初学者が用いて問題ないのか？ Datachemical LAB は他のソフトウェアと何が違うのか？～９つの大きなポイント～ Dat
Crash Course - データサイエンティスト育成クラッシュコース -
Crash Course - データサイエンティスト育成クラッシュコース - Home Crash Course - データサイエンティスト育成クラッシュコース - 統計数理研究所の人的リソースを最大限に活用した教材を開発しました。 データサイエンティストが知るべきことをひと通り概観する、約2.5時間のビデオ教材として、YouTube上で公開しています。各ユニットの最後には、講師がお勧めする文献リストも掲載されています。
面倒くさいこと考えたくないあなたへ〜Tpotと機械学習〜
機械学習はそもそも汎用的な枠組みであり基本的には対象分野に依らず利活用できる。従って、分野を限定して物質科学に機械学習を活用するなどと言う場合、その本質的難所の大部分は、有効な変量の設計・変換・選択・交互作用・線形性などに関する、いわゆるfeature engineeringの問題に帰する。特に、科学研究では端的な説明因子や共通パターンの探究こそが目的であることが多く、その場しのぎではない方法論が期待されている。本発表では、医薬品、機能制御剤、有機EL材料、食品、化粧品、と波及範囲が広い有機低分子について、その物性の予測と生物活性の予測の違いを例に、関わってきた問題・方法・課題について紹介する。 http://ibisml.org/ibis2016/session3/
第4回 Rにおけるデータ加工処理高速化の基本|Tech Book Zone Manatee
統計解析向けのプログラミング言語であるRは分析モデリングを簡単な記述で実現できる一方、計算に長い時間がかかる場合があります。本記事ではデータ加工処理高速化の基礎的なテクニックを紹介します。 1. はじめに Rは、統計解析向けのプログラミング言語です。そのため、分析モデリングを簡単な関数の記述で実現できる一方で、汎用的なプログラミング言語と同じように記述しても、計算に長い時間がかかる場合があります。本記事では、まだR言語に慣れていない人向けにデータ加工処理高速化の基礎的なテクニックを紹介します。 2. データコピーの回避 Rでは、大量のデータを扱うことも多く、データの格納方法にも気を使わなければなりません。特に気をつけることは、できるだけ最初に必要なデータの格納場所(メモリ)を確保しておくことです。これは、無駄なデータコピーを減らすためです。 例として、1,000,000個の1～10のベクト
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
データサイエンスLT祭り 2夜目の資料まとめ
