Chainerで始めるニューラルネットワーク - Qiita
Chainerは、Preferred Networksが開発したニューラルネットワークを実装するためのライブラリです。その特徴としては、以下のような点があります(ホームページより)。 高速: CUDAをサポートし、GPUを利用した高速な計算が可能 柔軟: 柔軟な記法により、畳み込み、リカレントなど、様々なタイプのニューラルネットを実装可能 直観的: ネットワーク構成を直観的に記述できる 個人的には、さらに一つ「インストールが簡単」というのも挙げたいと思います。 ディープラーニング系のフレームワークはどれもインストールが面倒なものが多いのですが、Chainerは依存ライブラリが少なく簡単に導入・・・できたんですが、1.5.0からCythonを使うようになりちょっと手間になりました。インストール方法については以下をご参照ください。 Mac Windows AWS 公式インストール情報 また、C
Matrix Factorizationとは - Qiita
Machine Learning Advent Calendarです。 普段はGunosyという会社で推薦システムを作ってます はじめに 推薦システムに関する最近の文献を読むと結構な割合で出てくるMatrix Factorizartion(MF)と呼ばれる手法があります。 ざっくり言うとこの手法は協調フィルタリングにおける次元削減を行うことでよりよい推薦を行おうという手法であり、 Netflix Prize(100万ドルの賞金が賭けられた推薦システムのコンテスト)で最も成果を上げたモデルの一つでもあります。 本記事ではこの手法を紹介していきます。 協調フィルタリング まず協調フィルタリングについておさらいしましょう。 あるサービスで3人のユーザが５つのアイテムに対して5段階評価をしたとき、その評価値を以下のようにベクトルで表すことができます。
ゼロからDeepまで学ぶ強化学習 - Qiita
ロボットから自動運転車、はては囲碁・将棋といったゲームまで、昨今多くの「AI」が世間をにぎわせています。 その中のキーワードとして、「強化学習」というものがあります。そうした意味では、数ある機械学習の手法の中で最も注目されている(そして誇張されている・・・)手法ともいえるかもしれません。 今回はその強化学習という手法について、基礎から最近目覚ましい精度を出しているDeep Q-learning(いわゆるドキュン、DQNです)まで、その発展の流れと仕組みについて解説をしていきたいと思います。 本記事の内容をベースに、ハンズオンイベントを開催しました(PyConJPのTalkの増補改訂版) Pythonではじめる強化学習 OpenAI Gym 体験ハンズオン 講義資料の方が図解が豊富なので、数式とかちょっと、という場合はこちらがおすすめです。 Tech-Circle #18 Pythonではじ
ディープラーニング(深層学習)を理解してみる(勾配降下法：最急降下法と確率的勾配降下法) - デジタル・デザイン・ラボラトリーな日々
はじめに 前回の続きです。 yaju3d.hatenablog.jp 勾配降下法をどうして使うのかは理解できたのですが、その計算方法がまだ理解が足りてなくて、微分の本とかを読んでいました。 数学は苦手なんですが、理解はしたい。おまじないとかそういうルールだからとかで済ましたくないんですよね。 勾配降下法の他にも最急降下法とか確率的勾配降下法の用語がありますので、この違いも理解したい。 今回は下記の本(Kindle)を参考にしている。 勾配降下法 勾配には、傾斜の程度・斜面という意味があります。 上図では1変数による関数でグラフは放物線となります。 リンゴとミカンの値段を求める場合は2変数による関数となり下図のようにワイングラスの底のような形になります。ちなみに3変数以上は図で表わすのは困難です。 下図は関数のグラフの一部を拡大し、斜面に見立てた図となります。その斜面上のある点Pにピンポン玉
ディープラーニング(深層学習)を理解してみる(勾配降下法) - デジタル・デザイン・ラボラトリーな日々
はじめに 機械学習をやる上では「勾配降下法」を理解しておきたい。 「勾配降下法」で検索すると自分が書いた記事が見つかります。 yaju3d.hatenablog.jp 資料を元に書いた記事なので当時はよく理解していたわけではないですが、今、読み返すとふむふむと言ったところです。今回はもっと深く追求していきます。 機械学習は最適解を求めるのが目的です。 上記記事の八百屋の件でも、条件が当てはまる最小の値をひたすら繰り返し計算すれば求めることが出来るのですが、これを出来るだけ少ない計算で最小値を見つけるようにしたい。ここで「勾配降下法」を使うことになるわけです。 解けない連立方程式 どうせなので八百屋の問題を使います。 例題 1 リンゴ１個とミカン３個を買うと１９０円、リンゴ３個とミカン１個を買うと３３０円するようです。 リンゴ２個とミカン４個を買うといくらになるでしょうか？ 今回は数式で表し
【python】ランダムフォレストのチューニングにOOB誤り率を使う - 静かなる名辞
一般的な機械学習のアルゴリズムでは、パラメタチューニングにはグリッドサーチ・交差検証を組み合わせて使うのが割と普通だと思います。sklearnにはそれ専用のGridSearchCVというクラスまで用意されています。 実際問題としては、GridSearchは良いとしても交差検証をやったのでは計算コストをたくさん食います。なので、他の方法で代替できるなら、そうしたいところです。 そして、RandomForestはOOB誤り率という、いかにも強そうなスコアを計算できます。これの良いところは一回fitしただけで計算でき、交差検証と同じ（ような）結果が得られることです。 なので、OOB誤り率を使ったパラメタチューニングを試してみたいと思います。 OOB誤り率とはなんぞ？ OOB誤り率、OOBエラー、OOB error等と呼ばれます。これを理解するためにはランダムフォレストの学習過程を（少なくとも大雑
ランダムフォレスト 特徴量の重要度（C++の実装例つき） - じじいのプログラミング
はじめに 今回の記事は、alfredplplさんの以下の記事とだいぶかぶっています…。図つきで、とても分かりやすい記事なので、お勧めです。こちらをはじめに読んだほうが良いと思います。alfredplpl.hatenablog.com alfredplplさんの記事は分類を例にあげてましたので、こちらは回帰を例にあげて説明します。基本的な中身は一緒ですので、比較しながら読んでもらえればと思います。 Rのランダムフォレストの重要度 Rのランダムフォレストには２種類の重要度(importance)があります。この記事で説明するのは、IncMSEとIncNodePurityです。 アプローチ 回帰(regression) 分類(classification) シャッフルしたOOBデータで予測して求める IncMSE MeanDecreaseAccuracy 決定木のノードの純度(Purity)の増
Random Forestで計算できる特徴量の重要度 - なにメモ
(pixabay.comより) １．背景とか Random Forest[1]とは、ランダムさがもつ利点を活用し、大量に作った決定木を効率よく学習させるという機械学習手法の一種です。SVMなどの既存の手法に比べて、特徴量の重要度が学習とともに計算できること、学習が早いこと、過学習が起きにくいこと（追記注釈１）などの利点が挙げられます。Kinectの姿勢推定に使われているらしいです。 最近、Random Forestをカジュアルに使う例が多く（特にうちの研究室）、一部パラメータやら出力やらがわからない人も多いと思います。使い方はTJOさんの資料[2]を読んでもらえれば理解できると思うし、詳細は波部先生の資料[3]をよんでもらえればわかると思います。 それで、いろいろな日本語の資料をいくら読んでも、Random Forestがもつ特徴の１つである、特徴量の重要度の詳細に関してはほとんどノータッ
ランダムフォレスト - Pythonと機械学習
目次 目次 はじめに ブートストラップサンプリング 特徴量の重要度 自作スクリプト スコアと特徴量の重要度比較 決定領域 自作スクリプト版 scikit-learn版 おわりに はじめに ランダムフォレストは複数の決定木学習による多数決で学習結果を決定するアルゴリズムです。 複数の学習機で学習させ、それぞれの学習機の予測結果を多数決で決定する手法を、アンサンブル学習といい、一般的によく使われているみたいです。 ランダムフォレストはアンサンブル学習の一種です。 ランダムに選択したトレーニングサンプルと特徴量で個々の決定木を学習させてやります。 ランダム選択+多数決によりトレーニングサンプル中のノイズを除去する効果があり、過学習を防ぐ効果があります。 各決定木で学習を実施する時は、トレーニングサンプルを全て使わずにランダムに選択した少し少ないデータを使ってやります。 ブートストラップサンプリン
決定木アルゴリズムを実装してみる - Pythonと機械学習
目次 目次 はじめに 再帰呼び出し 決定木のチャート図 決定木で使われる乱数 特徴量の重要度 自作スクリプト テスト結果のスコア比較 特徴量の重要度比較 決定領域比較 自作版の決定領域 scikit-learn版の決定領域 決定木チャート図比較 自作版のチャート図 scikit-learn版のチャート図 重要度が低い特徴量をトレーニングサンプルから省いてみる テスト結果のスコア比較 特徴量の重要度比較 決定領域比較 自作版の決定領域 scikit-learn版の決定領域 決定木チャート図比較 自作版のチャート図 scikit-learn版のチャート図 はじめに 前回までで決定木アルゴリズムがわかったので、ここでは実際にコーディングして、学習結果をscikit-learnの結果と比較してみたいと思います。 学習した決定木をどのように保持しようか悩んで色々検索していたら、自作した決定木のコード
コマンドプロンプトから管理者権限のコマンドプロンプトに切り替える - Qiita
できること コマンドプロンプトで「管理者特権が必要ですよ」と言われた時、 コマンドで管理者特権のコマンドプロンプトに切り替えることができます。 確認している環境 Windows7 Windows10 手順 コマンドプロンプトで、以下のコマンドを実行する。 powershell start-process cmd -verb runas 新しいウインドウになりますが、管理者権限のコマンドプロンプトが起動できます。 start-process -verb runasの応用で、hostsファイルの編集もいけます。 powershell start-process notepad c:\windows\system32\drivers\etc\hosts -verb runas その他 管理者権限でコマンドプロンプトを起動するショートカット http://qiita.com/takuya0301/
［Shift］＋右クリックメニューに「コマンドウィンドウをここで開く」を復活させる方法
［ダウンロード］フォルダなどでコマンドプロンプトを開きたい場合、これまでは［Shift］＋右クリックで表示されるコンテキストメニューで［コマンドウィンドウをここで開く］を選択すればよかった。開いたフォルダがカレントディレクトリの状態で、コマンドプロンプトが開くので、階層が深いフォルダ内をコマンドプロンプトで操作したいような場合には便利な機能であった。 ところが、Windows 10 Creators Updateにアップグレードすると、コンテキストメニューには［コマンドウィンドウをここで開く］の代わりに［PowerShellウィンドウをここに開く］が表示されるようになってしまった。 これは、［スタートメニュー］ボタンを右クリックして表示されるクイックアクセスメニューと同じ仕様変更だ。ただクイックアクセスメニューの場合、タスクバーを右クリックして［タスクバーの設定］を選択、表示された［タスク
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Internet Explorer(IE10)のウィンドウのサイズが保存されない
重複していない行の抽出 - Qiita