GPU Accelerated K-means - Qiita
GPU Accelerated K-means 既存のkmeansは遅すぎる CPUでやった場合のkmeansはscikit-learnなどを使えるのですが、いかんせん遅すぎるのと、kmeansの多くは距離の定義がEuclidであって、word2vecなどのベクトル情報をクラスタリングする際には、あまり意図した通りのクラスタリングになりません また、実際に、kmeansの学習ステップを見るとほとんどのクラスが安定して更新しなくなってしまっているのに、完全に更新が止まるまで繰り返してしまうので、かなり遅いです。 任意の距離関数を定義できて、GPUで高速化されており、十分な精度やイテレーションを繰り返した上で、停止できるように設計します cupy cupyはchainerのバックエンドで用いられているnumpyの一部互換ライブラリであり、行列の計算をGPUで高速に行うことができます numpy
gensimのWord2VecをKerasのEmbeddingレイヤーに凍結 - Qiita
import pandas as pd from os.path import join from sklearn.utils import shuffle emotions = ["happy", "sad", ["disgust", "disgust2"], "angry", "fear", "surprise"] dir_path = "gathering/ja_tweets_sentiment" size = 60000 df = [] for i, es in enumerate(emotions): if isinstance(es, list): for e in es: data = shuffle(pd.read_json(join(dir_path, "{}.json".format(e)))).iloc[:int(size/len(es))] data['label'
GPU対応の類似検索(最近傍探索)ライブラリ Faissの紹介 part1 導入/チュートリアル « Rest Term
Facebook AI Research (FAIR)が開発したGPU対応の類似検索ライブラリ Faiss を紹介します。 [06/25追記] Faiss GPU版の検索についてエントリーを書きました。 GPU対応の類似検索(最近傍探索)ライブラリ Faissの紹介 part2 GPUを利用した検索 論文は以下で公開されています。 [1702.08734] Billion-scale similarity search with GPUs 論文タイトルの通り、10億スケールの大規模データに対してGPUを駆使した効率的な最近傍探索アルゴリズムの研究事例となっています。分量が多くなりそうなので複数の記事に分けて紹介しようと思います。 環境 Amazon Linux AMI release 2017.03 Intel Xeon CPU E5-2686 v4 @ 2.30GHz NVIDIA GK
PCA, Kernel-PCA, t-SNE, CNNによる可視化のための次元削減の比較 - Qiita
画像の特徴量を可視化のために、2次元への次元削減を考えます。次元削減の結果を主成分分析（PCA）、カーネルあり主成分分析（Kernel-PCA）、t-SNE、畳込みニューラルネットワーク（CNN）で比較します。 目次 MNISTのテストデータを各ラベル100個ずつ取って各アルゴリズムで2次元にプロットします。以下の順で比較します。 主成分分析（PCA） RBF（ガウス）カーネルの主成分分析（Kernel-PCA） t-SNE 畳込みニューラルネットワーク（CNN）の隠れ層の値を取る 最後のCNN以外は比較的よくある方法だと思います。CNNをデータの可視化のために使うというのはあまり一般的ではありませんが、AutoEncoderの真ん中の特徴量を取ってプロットするという方法はとても強力な方法なので（例、他にも「AutoEncoder 可視化」で検索するとよく出てきます）、それの簡易版という位
kerasを使ったMuti-task Learning(CNN + Autoencoder) - Qiita
kerasを使ったMuti-task Learning(CNN + Autoencoder) 最新のモデルでは一般的になってきているMuti-taskなモデルについて取り上げたいと思います。 Multi-task Learningとは Muti-task Learning(MTL)とは、１つのネットワークで複数のタスクを解くモデルです。 MTLの内容はこちらの記事にわかりやすくまとめられています。 直感的な理解としては、人は新しいタスクを学習しようとするとき、これまでの知識を活用することでスムーズに新しいタスクを学習することができます。例えば、将棋ができる人とできない人が新しくチェスを覚えようと思ったとき、将棋ができる人の方が覚えが早いことが多いと思います。 このように別の分野の知識を複合的に学習することで、学習のスピードや最終的な精度を上げようということがMTLのモチベーションです。 今
定番のConvolutional Neural Networkをゼロから理解する
Convolutional Neural Networkとは何か CNNで解決できる問題 Convolutional Neural Networkの特徴 畳み込みとは 合成性 移動不変性 Convolutional Neural Networkの構成要素 ゼロパディング（zero padding） ストライド Fully Connected層 Fully Connected層の問題点 Convolution層 Pooling層 TensorFlowによる実装 TensorFlowのインストール CNNでMNIST文字認識する 参考 近年、コンピュータビジョンにおける最もイノベーションと言えるのはConvolutional Neural Networkといっても過言ではない。 コンピュータビジョンの業界におけるオリンピックとも言えるコンペティションがImageNetである。 そのコンペティシ
ソーベルフィルタでMNISTデータの画像のエッジ検出 - 人工知能・ロボティクス・and so on 工学系ブログ
今回は空間フィルタの一つで、エッジ検出に用いられるソーベルフィルタを使ってみたいと思います。 1. ソーベルフィルタ ソーベルフシルタは空間フィルタの一種で使用されるもので、以下のものが代表的です。 ぱっと行列を示されるのもあれなので、順に簡単に説明します。 1.1 エッジ検出と微分 我々人間も画像でエッジを検出するときには色の変化の度合いを見ますよね。コンピュータにおいても同様で、画素と画素の間における画素値の差の大きさを見るのです。例えば以下行列を画像にしてみます。 >>> ex = np.array([[0,0,0,0,0], [1,1,1,1,1], [1,2,3,4,5], [5,4,3,2,1], [1,1,1,1,1], [0,0,0,0,0]]) >>> plt.imshow(ex, cmap=plt.cm.gray_r, interpolation='nearest')
Autoencoders — Introduction and Implementation in TF.
Introduction and Concepts:Autoencoders (AE) are a family of neural networks for which the input is the same as the output (they implement a identity function). They work by compressing the input into a latent-space representation, and then reconstructing the output from this representation. A really popular use for autoencoders is to apply them to images. The trick is to replace fully connected la
TensorFlowで必要な変数を選択してsave/restoreする - Qiita
TensorFlowで学習プロセスを分ける際，変数のsave/restoreが必要になるが，これはTensorFlowでは tf.train.Saver クラスがサポートしている．モデルのスケールが小さければ使用する変数全部をsave/restoreしてもよいが，モデルが大きくなると本当に必要な変数だけをsave/restoreしたくなってくる． 本記事では，手書き数字分類MNISTを例に，変数のsave/restore方法について確認していく． （環境は，Python 2.7.11, tensorflow 0.8.0 になります．） 必要な変数にtrainable=Trueをつける 何が必要かについてはプログラムの内容によっていろいろな状況が考えられる．一番簡単なのは，使った変数全体（tf.Variableクラス変数）をsaveするやり方である． chkpt_file = '../MNI
文書ベクトルをお手軽に高い精度で作れるSCDVって実際どうなのか日本語コーパスで実験した(EMNLP2017)
SCDVのコードはGithubで公開されている(https://github.com/dheeraj7596/SCDV )ほか、ベンチマークとなるデータセットに対する適用方法がそのままあるので、今回のデータセットを使うにあたっては資産をほとんどそのまま使うことができました。python2だった部分をpython3に対応させるのがちょっと手間でしたが... リポジトリ全体はこちら: fufufukakaka/SCDV python3に対応させて20newsgroupを実行しているのがこちら livedoorニュースコーパスで実験しているのがこちら ノートブック、雑にやってしまったので適宜必要なところはコードを貼っていきながら解説します。 まずはword2vecを学習させる+単語ベクトル空間を可視化 まずはword2vecを学習させていきます。livedoorニュースコーパスはテキストファイル
Kerasで学ぶAutoencoder
Kerasの公式ブログにAutoencoder（自己符号化器）に関する記事があります。今回はこの記事の流れに沿って実装しつつ、Autoencoderの解説をしていきたいと思います。間違いがあれば指摘して下さい。また、Kerasの公式ブログはKerasでの実装に関してだけでなく、機械学習自体についても勉強になることが多く、非常におすすめです。 今回の記事では様々なタイプのAutoencoderを紹介しますが、日本語ではあまり聞き慣れないものもあるかと思いますので、今回は名称を英語で統一したいと思います。 目次 イントロダクション Undercomplete Autoencoder Sparse Autoencoder Deep Autoencoder Convolutional Autoencoder Denoising Autoencoder まとめ イントロダクション Autoencod
GitHub - yahoo/TensorFlowOnSpark: TensorFlowOnSpark brings TensorFlow programs to Apache Spark clusters.
TensorFlowOnSpark brings scalable deep learning to Apache Hadoop and Apache Spark clusters. By combining salient features from the TensorFlow deep learning framework with Apache Spark and Apache Hadoop, TensorFlowOnSpark enables distributed deep learning on a cluster of GPU and CPU servers. It enables both distributed TensorFlow training and inferencing on Spark clusters, with a goal to minimize t
シンプルなRNNで文字レベルの言語モデルをTensorFlowで実装してみる - 今日も窓辺でプログラム
はじめに GoogleやMicrosoftなどがディープラーニングを使用した機械翻訳をリリースして各所で話題になっています。こんな感じで記事にもなっています。 Google翻訳、深層学習による新システムで人に迫る自然で正確な翻訳を実現 | マイナビニュース Google翻訳、ディープラーニングの翻訳システムを日本語を含む8言語に拡大 | マイナビニュース Microsoft翻訳もニューラルネット対応で進化 テキストに加え音声翻訳も - ITmedia NEWS せっかくなのでこれらのニュースと少し関連のある、RNNを使用した言語モデルをTensorFlowで実装してみたいと思います。 まずはその第一弾として、文字レベルでの英語の言語モデルを実装します。また、学習の過程をTensorBoardを使用して可視化もしています。 今回はとりあえずRNNを組むことを目標とし、ハイパーパラメータの調整
RNN：時系列データを扱うRecurrent Neural Networksとは
Recurrent Neural Networksとは何か RNNの応用事例 機械翻訳 音声認識 画像の概要生成 説明文からの画像生成 知っておくと便利なRNNの種類と進化 Simple RNN LSTM GRU Bi-directional RNN Attention RNN Quasi-Recurrent Neural Network TensorFlowによるRNNの実装 まとめ 参考文献 人間は、目の前で起きた出来事から、次に起こりそうな出来事を予測しながら文脈を読んで判断を下すことができます。例えば、車を運転している際に歩行者が飛び出しそうだと思えば、十分な間隔を置いて走行することが出来るでしょう。 また、現実世界は時間の制約を受ける事象はたくさんあります。アニメーションなどのストーリーでは、前回の文脈を前提として次の展開が進んでいきます。 Recurrent Neural Ne
TensorFlow の名前空間を理解して共有変数を使いこなす - Qiita
イントロ これは、TensorFlow Advent Calendar 2016 の9日目の記事です． 2015年の11月に公開されたTensorFlowですが，公開当初から「名前空間」の機能がサポートされていました．これはTensorBoardによるグラフ視覚化において使われますが，もちろんそのためだけにあるわけではありません．名前空間は，識別子の管理に非常に有効です．強力な「名前空間」サポートというとC++を思い出しますが，C++の教則本（独習C++）から引用します． 名前空間(namespace)の目的は識別子の名前を局所化し，名前の競合を避けることです．C++のプログラミング環境では，変数，関数，クラスの名前が急増を続けてきました．名前空間が登場する前は，これらのすべての名前がグローバルな名前空間の中で場所を取り合い，多くの競合が発生していました． 一方，Pythonの変数スコープ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Pairsのコミュニティをword2vecとSVMで分類してみた
GitHub - CannyLab/tsne-cuda: GPU Accelerated t-SNE for CUDA with Python bindings
gensimのword2vecの結果を手軽に可視化する方法 | CloudAdvisor
ブラウザに手書きした数字をMNISTから深層学習したモデルで判定する簡単コード - 人工知能と競プロやってくブログ
seq2seq new API