タグ

2017年12月26日のブックマーク (17件)

  • Pandas のデータフレームを確認する

    このページでは、Pandas のデータフレームの中身を確認する方法を紹介します。 先頭 N 行を表示する head([表示する行数]) メソッドでデータフレームの先頭 N 行を切り出すことができます。

    morioka
    morioka 2017/12/26
  • Python と R の違い (ナイーブベイズ分類器)

    ページでは、R と Python それぞれで機械学習の一手法である、ガウシアンナイーブベイズ分類器 (Gaussian Naive Bayes) を利用した判別分析の方法を紹介します。 例では、あくまで両環境でのコードや分析結果の表示についての比較の目的で行ったため、分析手法の説明や学習や検証における詳細なパラメータ設定は行っていないことをあらかじめご了承ください。 R での実装例 e1071 パッケージを用いて実行できます。 ソースコード

    morioka
    morioka 2017/12/26
  • Python と R の違い (k-NN 法による分類器)

    ページでは、R と Python それぞれで機械学習の一手法である、k-NN 法 (k-近傍法, k-Nearest Neighbor 法) を利用した判別分析の方法を紹介します。 例では、あくまで両環境でのコードや分析結果の表示についての比較の目的で行ったため、分析手法の説明や学習や検証における詳細なパラメータ設定は行っていないことをあらかじめご了承ください。 R での実装例 kknn パッケージを用いて実行できます。 ソースコード

    morioka
    morioka 2017/12/26
  • TensorFlow で画像認識 (CNN 法)

    ページでは、Google Brain Team によって開発されたオープンソースの機械学習エンジンである、TensorFlow (テンソルフロー) を利用して、ディープラーニングの一種である、CNN 法 (Convolutional Neural Network, 畳み込みニューラルネットワーク, ConvNet とも呼ばれる) によるモデルを構築して、画像の自動クラス分類器 (判別器) を作成し、実行する方法を紹介します。 もし、まだ TensorFlow をインストールしていない場合は、「TensorFlow をインストール」の手順にてインストール作業を行いましょう。 今回使用するデータ (CIFAR-10 データセット) 手順では、TensorFlow の Convolutional Neural Network のチュートリアル にしたがって、CIFAR-10 (読み方は、シー

    morioka
    morioka 2017/12/26
  • scikit-learn でトレーニングデータとテストデータを作成する

    ページでは、Python機械学習ライブラリの scikit-learn を用いてトレーニングデータとテストデータを作成するために、サンプリングを行なう手順を紹介します。 トレーニングデータ・テストデータとは 教師あり機械学習(回帰分析、決定木分析、ランダムフォレスト法、ナイーブベイズ法、ニューラルネットワークなど)によるモデルを作成するには、準備したデータセットをトレーニングデータ(訓練用データ、学習用データとも呼ばれます)とテストデータ(検証用データ、評価用データ、検証用データとも呼ばれます)の 2 つに分割して予測モデルの作成、評価を行なうことが一般的です。このように一定の割合でトレーニングデータとテストデータに分割することをホールドアウト (hold-out) と呼びます。 以下は、クレジットカードの解約予測の分析テーマを例に挙げて、そのイメージを説明します。 トレーニングデー

    morioka
    morioka 2017/12/26
  • Python と R の違い (ランダムフォレスト法)

    ページでは、R と Python それぞれでランダムフォレスト法 (Random Forest; RF) を利用した判別分析の方法を紹介します。 例では、あくまで両環境でのコードや分析結果の表示についての比較の目的で行ったため、分析手法の説明や学習や検証における詳細なパラメータ設定は行っていないことをあらかじめご了承ください。 R での実装例 randomForest パッケージを用いて実行できます。 ソースコード

    morioka
    morioka 2017/12/26
  • Python と R の違い (データ可視化・グラフ作成編)

    このページでは、前編に引き続き、Ajay Ohri 氏のスライド、”Python for R Users” から、Python と R の違いについて、データ可視化とグラフの作成方法の差異を紹介します。 散布図 R Python

    morioka
    morioka 2017/12/26
  • matplotlib で散布図 (Scatter plot) を描く

    ページでは、Python のグラフ作成パッケージ Matplotlib を用いて散布図 (Scatter plot) を描く方法について紹介します。 matplotlib.pyplot.scatter の概要 matplotlib には、散布図を描画するメソッドとして、matplotlib.pyplot.scatter が用意されてます。 matplotlib.pyplot.scatter の使い方

    morioka
    morioka 2017/12/26
  • [Python][Scikit-learn] 多次元尺度構成法(MDS)で都内公園の時間地図を作成する | DevelopersIO

    はじめに 都市間の距離の表や、個体間の類似度表から最適な二次元、三次元上の配置を推定し、類似した(距離が近い)ものを近くに、類似していない(距離が遠い)ものを遠くに配置する手法を多次元尺度構成法(Multidimensional Scaling)といいます。記事ではこのMDSを用いて、都内23区内にある主要な10公園(面積の広さトップ10)を対象に公園間の移動時間から時間地図(所要時間を地図上の距離として表したもの)を作成してみました。 多次元尺度構成法(MDS)のしくみ 多次元尺度構成法の手法にはいくつかあり、下記のような分類があります。 計量MDS : 温度や身長、長さといった比例尺度や間隔尺度等の定量的数値データを対象に個体の類似度を計算し、最適な配置を算出します。 非計量MDS : 心理学、アンケート等で用いられる評価データのような定性的データ(順序が意味をもつ順序尺度に限る)も

    [Python][Scikit-learn] 多次元尺度構成法(MDS)で都内公園の時間地図を作成する | DevelopersIO
    morioka
    morioka 2017/12/26
  • https://slideship.com/presentations/C9HQJ3vwMoAyzuMkeEdEV1

    morioka
    morioka 2017/12/26
  • Semi-Supervised Learning with Deep Generative Models

    The ever-increasing size of modern data sets combined with the difficulty of obtaining label information has made semi-supervised learning one of the problems of significant practical importance in modern data analysis. We revisit the approach to semi-supervised learning with generative models and develop new models that allow for effective generalisation from small labelled data sets to large unl

    morioka
    morioka 2017/12/26
  • Variational Auto Encoder

    Variational Auto Encoder nzw 2016 年 12 月 1 日 1 はじめに 深層学習における生成モデルとして Generative Adversarial Nets (GAN) と Variational Auto Encoder (VAE) [1] が主な手法として知られている.資料では,VAE を紹介する.資料は,提案論文 [1] とチュー トリアル資料 [2] をもとに作成した.おまけとして潜在表現が離散値を仮定したパターンと Keras による実験 結果をつけている.間違いなどがあれば指摘してほしい. 2 Variational Auto Encoder 2.1 導入 x z φ θ N 図 1 今回考えるグラフィカルモデル VAE では図 1 にあるような潜在変数を含んだグラフィカルモデルで表現される生成過程を考える.x は 1 つのデータで,i.

    morioka
    morioka 2017/12/26
  • 自己回帰型モデルの深層学習 - Start Today Technologies TECH BLOG

    初めまして、データチームの上月です。 今回はVASILYテックブログ初の論文紹介、テーマは 自己回帰型モデル(Autoregressive, AR)です。 はじめに VASILYではIQONの類似画像検索にAutoencoderを適用しています。 具体的にはアイテム画像で学習したAutoencoderの潜在変数を特徴量として類似画像検索を行っていますが、背景やモデルの影響を受けやすいなどの課題があります。 この問題は「潜在変数にどのような情報を持たせるか」を調整することで解決できる可能性が高く、潜在変数の分布にはdecoderの表現力が関係しています。 最近ではVAEのdecoderとしてRNNや自己回帰型モデルなどといった表現力のあるモデルを用いたり1、 decoderの後にPixelCNN2を追加することで潜在変数がもつ情報を目的にあったものにする例があります(PixelVAE3)。

    自己回帰型モデルの深層学習 - Start Today Technologies TECH BLOG
    morioka
    morioka 2017/12/26
  • vae 生成モデル - Google 検索

    2023/08/04 · VAE (Variational Autoencoder). オートエンコーダのEncoderとDecoderを別々に使うことができます。Encoderは前述のとおり、次元圧縮として用いることが ...

    morioka
    morioka 2017/12/26
  • VAEからCVAE with keras - rarilureloの日記

    はじめに 出てきた当初は画像分類タスクで猛威を振るった深層学習ですが, 最近はいろんな機械学習と組み合わせで応用されています. 強化学習を応用したAlphaGoでイ・セドルを打ち負かしたり, 画像認識と自然言語処理の組み合わせで画像のキャプションを生成したり, 生成モデルに応用して自然に近い画像を作るなど賑わいを見せています. 今回は画像生成手法のうちのDeepLearningを自然に生成モデルに拡張したと考えられるVAE(Variational Auto Encoder)から, その発展系であるCVAE(Conditional VAE)までを以下2つの論文をもとに自分の書いたkerasのコードとともに紹介したいと思います. Auto-Encoding Variational Bayes Semi-Supervised Learning with Deep Generative Model

    VAEからCVAE with keras - rarilureloの日記
    morioka
    morioka 2017/12/26
  • Variational Autoencoder(VAE)で生成モデル - Qiita

    この記事はMachine Learning Advent Calender13日目の記事です。 Variational Autoencoderで生成モデルを試した結果をまとめてみます。 理論はいいからどんなのか教えてよ! テストデータXから潜在変数Zを推論して( Z|X )、ZとラベルYを元にX|Z, Yを再生成するというものです。 任意の潜在変数を入力することで、その潜在変数の表現でラベルYのXが生成できるというのが面白い点だと考えてます。 例えばこんな動画見てみてください。 MNIST SVHN これは学習されたモデルに対して、任意の潜在変数をランダムに入力することでラベル0-9のデータを生成した実験結果です。 見慣れたMNISTのデータですが、これはデータセットから切り抜いてきたものではなく、VAEが生成してるものです。 ある入力に対して得られた潜在変数を利用することで、その入力と似

    Variational Autoencoder(VAE)で生成モデル - Qiita
    morioka
    morioka 2017/12/26
  • Variational Autoencoder徹底解説 - Qiita

    今回はディープラーニングのモデルの一つ、Variational Autoencoder(VAE)をご紹介する記事です。ディープラーニングフレームワークとしてはChainerを使って試しています。 VAEを使うとこんな感じの画像が作れるようになります。VAEはディープラーニングによる生成モデルの1つで、訓練データを元にその特徴を捉えて訓練データセットに似たデータを生成することができます。下記はVAEによって生成されたデータをアニメーションにしたものです。詳しくは文をご覧ください。 記事で紹介している内容のPythonコードはコチラにあります。 1. Variational Autoencoderとは? まず、VAEとはどんなものであるかを説明したいと思いますが、その前に通常のオートエンコーダーについて触れたいと思います。 1-1. 通常のオートエンコーダー オートエンコーダーとは、 教師

    Variational Autoencoder徹底解説 - Qiita
    morioka
    morioka 2017/12/26
    やってみないとなー