Tfrecords Guide
A post showing how to convert your dataset to .tfrecords file and later on use it as a part of a computational graph. Introduction In this post we will cover how to convert a dataset into .tfrecord file. Binary files are sometimes easier to use, because you don’t have to specify different directories for images and groundtruth annotations. While storing your data in binary file, you have your data
Building Autoencoders in Keras
In this tutorial, we will answer some common questions about autoencoders, and we will cover code examples of the following models: a simple autoencoder based on a fully-connected layer a sparse autoencoder a deep fully-connected autoencoder a deep convolutional autoencoder an image denoising model a sequence-to-sequence autoencoder a variational autoencoder Note: all code examples have been updat
大規模データのクラスタリングには Mini Batch K-Means を使うべきという話 | 10001 ideas
タイトルの通りですが、大規模データをクラスタリングする際には単純なK-Means法ではなく、Mini Batch K-Means法を使うべきという話です。 とある大規模データ（150万件ほどの文章ベクトル）をクラスタリングしたいことがあったのですが、単純にScikit-learnのK-Means法に投げてクラスタリングを走らせていたところ、数時間経っても一向に終わる気配がありませんでした。色々と調べていると、大規模データのクラスタリングにはMini Batch K-Means法を使うべきという記述を見つけました。公式ドキュメントによると、大体1万件を超えるデータをクラスタリングする場合にはMini Batch K-Meansを使うべきとのことです。 APIとしては単純にKMeansをMiniBatchKMeansに置き換えれば動きます。理論的な背景としては、論文 “Web Scale K-
PostgreSQLとcupyを繋ぐ～機械学習基盤としてのPG-Stromその①～ - KaiGaiの俺メモ
世間の機械学習屋さんは、機械学習・統計解析のライブラリにデータを食わせる時に、どうやってデータを入力しているのだろうか？ 話を聞くに、データを一度CSV形式に落とし込んで、それをPythonスクリプトで読み込むというパターンが多いようではある。 ただ、ある程度大量のデータセットをCSVファイルで扱うようになると、いくつか問題点が露わになってくる。 解析すべきデータセットを切り替えるたびに異なるCSVファイルを用意する事になり、ファイルの取り回しが煩雑である。 前処理をかけた後のCSVファイルがまたできてしまい、ファイルの取り回しが更に煩雑になってくる。 最終的にCSVファイルの所在が誰にも分からなくなってしまい、機械学習・統計解析の元になったファイルが散逸してしまう。 そもそも、GB単位のフラットファイルをシェル上でコピーしたり読み込ませたりするのはそれなりに時間を要する処理である。 デー
GPU Accelerated K-means - Qiita
GPU Accelerated K-means 既存のkmeansは遅すぎる CPUでやった場合のkmeansはscikit-learnなどを使えるのですが、いかんせん遅すぎるのと、kmeansの多くは距離の定義がEuclidであって、word2vecなどのベクトル情報をクラスタリングする際には、あまり意図した通りのクラスタリングになりません また、実際に、kmeansの学習ステップを見るとほとんどのクラスが安定して更新しなくなってしまっているのに、完全に更新が止まるまで繰り返してしまうので、かなり遅いです。 任意の距離関数を定義できて、GPUで高速化されており、十分な精度やイテレーションを繰り返した上で、停止できるように設計します cupy cupyはchainerのバックエンドで用いられているnumpyの一部互換ライブラリであり、行列の計算をGPUで高速に行うことができます numpy
gensimのWord2VecをKerasのEmbeddingレイヤーに凍結 - Qiita
import pandas as pd from os.path import join from sklearn.utils import shuffle emotions = ["happy", "sad", ["disgust", "disgust2"], "angry", "fear", "surprise"] dir_path = "gathering/ja_tweets_sentiment" size = 60000 df = [] for i, es in enumerate(emotions): if isinstance(es, list): for e in es: data = shuffle(pd.read_json(join(dir_path, "{}.json".format(e)))).iloc[:int(size/len(es))] data['label'
GPU対応の類似検索(最近傍探索)ライブラリ Faissの紹介 part1 導入/チュートリアル « Rest Term
Facebook AI Research (FAIR)が開発したGPU対応の類似検索ライブラリ Faiss を紹介します。 [06/25追記] Faiss GPU版の検索についてエントリーを書きました。 GPU対応の類似検索(最近傍探索)ライブラリ Faissの紹介 part2 GPUを利用した検索 論文は以下で公開されています。 [1702.08734] Billion-scale similarity search with GPUs 論文タイトルの通り、10億スケールの大規模データに対してGPUを駆使した効率的な最近傍探索アルゴリズムの研究事例となっています。分量が多くなりそうなので複数の記事に分けて紹介しようと思います。 環境 Amazon Linux AMI release 2017.03 Intel Xeon CPU E5-2686 v4 @ 2.30GHz NVIDIA GK
PCA, Kernel-PCA, t-SNE, CNNによる可視化のための次元削減の比較 - Qiita
画像の特徴量を可視化のために、2次元への次元削減を考えます。次元削減の結果を主成分分析（PCA）、カーネルあり主成分分析（Kernel-PCA）、t-SNE、畳込みニューラルネットワーク（CNN）で比較します。 目次 MNISTのテストデータを各ラベル100個ずつ取って各アルゴリズムで2次元にプロットします。以下の順で比較します。 主成分分析（PCA） RBF（ガウス）カーネルの主成分分析（Kernel-PCA） t-SNE 畳込みニューラルネットワーク（CNN）の隠れ層の値を取る 最後のCNN以外は比較的よくある方法だと思います。CNNをデータの可視化のために使うというのはあまり一般的ではありませんが、AutoEncoderの真ん中の特徴量を取ってプロットするという方法はとても強力な方法なので（例、他にも「AutoEncoder 可視化」で検索するとよく出てきます）、それの簡易版という位
kerasを使ったMuti-task Learning(CNN + Autoencoder) - Qiita
kerasを使ったMuti-task Learning(CNN + Autoencoder) 最新のモデルでは一般的になってきているMuti-taskなモデルについて取り上げたいと思います。 Multi-task Learningとは Muti-task Learning(MTL)とは、１つのネットワークで複数のタスクを解くモデルです。 MTLの内容はこちらの記事にわかりやすくまとめられています。 直感的な理解としては、人は新しいタスクを学習しようとするとき、これまでの知識を活用することでスムーズに新しいタスクを学習することができます。例えば、将棋ができる人とできない人が新しくチェスを覚えようと思ったとき、将棋ができる人の方が覚えが早いことが多いと思います。 このように別の分野の知識を複合的に学習することで、学習のスピードや最終的な精度を上げようということがMTLのモチベーションです。 今
定番のConvolutional Neural Networkをゼロから理解する
Convolutional Neural Networkとは何か CNNで解決できる問題 Convolutional Neural Networkの特徴 畳み込みとは 合成性 移動不変性 Convolutional Neural Networkの構成要素 ゼロパディング（zero padding） ストライド Fully Connected層 Fully Connected層の問題点 Convolution層 Pooling層 TensorFlowによる実装 TensorFlowのインストール CNNでMNIST文字認識する 参考 近年、コンピュータビジョンにおける最もイノベーションと言えるのはConvolutional Neural Networkといっても過言ではない。 コンピュータビジョンの業界におけるオリンピックとも言えるコンペティションがImageNetである。 そのコンペティシ
ソーベルフィルタでMNISTデータの画像のエッジ検出 - 人工知能・ロボティクス・and so on 工学系ブログ
今回は空間フィルタの一つで、エッジ検出に用いられるソーベルフィルタを使ってみたいと思います。 1. ソーベルフィルタ ソーベルフシルタは空間フィルタの一種で使用されるもので、以下のものが代表的です。 ぱっと行列を示されるのもあれなので、順に簡単に説明します。 1.1 エッジ検出と微分 我々人間も画像でエッジを検出するときには色の変化の度合いを見ますよね。コンピュータにおいても同様で、画素と画素の間における画素値の差の大きさを見るのです。例えば以下行列を画像にしてみます。 >>> ex = np.array([[0,0,0,0,0], [1,1,1,1,1], [1,2,3,4,5], [5,4,3,2,1], [1,1,1,1,1], [0,0,0,0,0]]) >>> plt.imshow(ex, cmap=plt.cm.gray_r, interpolation='nearest')
Autoencoders — Introduction and Implementation in TF.
Introduction and Concepts:Autoencoders (AE) are a family of neural networks for which the input is the same as the output (they implement a identity function). They work by compressing the input into a latent-space representation, and then reconstructing the output from this representation. A really popular use for autoencoders is to apply them to images. The trick is to replace fully connected la
TensorFlowで必要な変数を選択してsave/restoreする - Qiita
TensorFlowで学習プロセスを分ける際，変数のsave/restoreが必要になるが，これはTensorFlowでは tf.train.Saver クラスがサポートしている．モデルのスケールが小さければ使用する変数全部をsave/restoreしてもよいが，モデルが大きくなると本当に必要な変数だけをsave/restoreしたくなってくる． 本記事では，手書き数字分類MNISTを例に，変数のsave/restore方法について確認していく． （環境は，Python 2.7.11, tensorflow 0.8.0 になります．） 必要な変数にtrainable=Trueをつける 何が必要かについてはプログラムの内容によっていろいろな状況が考えられる．一番簡単なのは，使った変数全体（tf.Variableクラス変数）をsaveするやり方である． chkpt_file = '../MNI
文書ベクトルをお手軽に高い精度で作れるSCDVって実際どうなのか日本語コーパスで実験した(EMNLP2017)
SCDVのコードはGithubで公開されている(https://github.com/dheeraj7596/SCDV )ほか、ベンチマークとなるデータセットに対する適用方法がそのままあるので、今回のデータセットを使うにあたっては資産をほとんどそのまま使うことができました。python2だった部分をpython3に対応させるのがちょっと手間でしたが... リポジトリ全体はこちら: fufufukakaka/SCDV python3に対応させて20newsgroupを実行しているのがこちら livedoorニュースコーパスで実験しているのがこちら ノートブック、雑にやってしまったので適宜必要なところはコードを貼っていきながら解説します。 まずはword2vecを学習させる+単語ベクトル空間を可視化 まずはword2vecを学習させていきます。livedoorニュースコーパスはテキストファイル
Kerasで学ぶAutoencoder
Kerasの公式ブログにAutoencoder（自己符号化器）に関する記事があります。今回はこの記事の流れに沿って実装しつつ、Autoencoderの解説をしていきたいと思います。間違いがあれば指摘して下さい。また、Kerasの公式ブログはKerasでの実装に関してだけでなく、機械学習自体についても勉強になることが多く、非常におすすめです。 今回の記事では様々なタイプのAutoencoderを紹介しますが、日本語ではあまり聞き慣れないものもあるかと思いますので、今回は名称を英語で統一したいと思います。 目次 イントロダクション Undercomplete Autoencoder Sparse Autoencoder Deep Autoencoder Convolutional Autoencoder Denoising Autoencoder まとめ イントロダクション Autoencod
GitHub - yahoo/TensorFlowOnSpark: TensorFlowOnSpark brings TensorFlow programs to Apache Spark clusters.
TensorFlowOnSpark brings scalable deep learning to Apache Hadoop and Apache Spark clusters. By combining salient features from the TensorFlow deep learning framework with Apache Spark and Apache Hadoop, TensorFlowOnSpark enables distributed deep learning on a cluster of GPU and CPU servers. It enables both distributed TensorFlow training and inferencing on Spark clusters, with a goal to minimize t
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Pairsのコミュニティをword2vecとSVMで分類してみた
GitHub - CannyLab/tsne-cuda: GPU Accelerated t-SNE for CUDA with Python bindings
gensimのword2vecの結果を手軽に可視化する方法 | CloudAdvisor
ブラウザに手書きした数字をMNISTから深層学習したモデルで判定する簡単コード - 人工知能と競プロやってくブログ
