日本語ツイートをEkmanの基本6感情で評価 - Qiita
import pandas as pd from os.path import join from sklearn.utils import shuffle emotions = ["happy", "sad", ["disgust", "disgust2"], "angry", "fear", "surprise"] dir_path = "gathering/ja_tweets_sentiment" size = 60000 df = [] for i, es in enumerate(emotions): if isinstance(es, list): for e in es: data = shuffle(pd.read_json(join(dir_path, "{}.json".format(e)))).iloc[:int(size/len(es))] data['label'
Domain Adaptation Neural Network (DANN) と Gradient Reversal Layer (GRL) の実装に関するメモ - Qiita
# generate toy data n_s = 1000 n_t = 1000 n_classes = 3 p_s = [0.4, 0.3, 0.3] p_t = [0.3, 0.5, 0.2] mu_s_1 = [0.0, 0.0] sig_s_1 = [0.2, 0.2] mu_s_2 = [0.0, 1.0] sig_s_2 = sig_s_1 mu_s_3 = [0.5, 0.5] sig_s_3 = sig_s_1 mu_t_1 = [2.0, 0.5] sig_t_1 = sig_s_1 mu_t_2 = [2.5, 2.0] sig_t_2 = sig_s_1 mu_t_3 = [3.0, 1.0] sig_t_3 = sig_s_1 y_s = np.random.choice(n_classes, n_s, p = p_s) y_s_one_hot = np.iden
AI開発におけるGPU利用に関する備忘録 - Qiita
背景 AI開発において、特にネットワークモデルが複雑な、画像系AI開発においては、その処理時間の短さを主な理由に、GPUを利用する事が推奨されています。 ただ、私が会社で利用しているAI開発環境は、GPUを２枚搭載しているサーバーであり、複数人がこの環境を共有し、GPUを使える事は非常にありがたいのですが、TensorFlowを使って、AIの勉強やPoCの学習をする際には、標準でTensorFlowを動かしてしまうと、GPUメモリーの90%を確保する為、同時に複数人でプログラムを動かしてしまうと、メモリー不足になり作業する事が出来なくなります。 このような状況を回避する為、自分で利用するGPUを制限する事が必要になりました。 １．Pythonプログラムで、TensorFlow実行時に、使用するGPUを指定する方法 GPU版のtensorFlow環境が前提： 実行前のGPUの状況：２枚のGP
DANN と ADDA の実装に関するメモ - Qiita
# generate toy data n_s = 1000 n_t = 1000 n_classes = 3 p_s = [0.4, 0.3, 0.3] p_t = [0.3, 0.5, 0.2] mu_s_1 = [0.0, 0.0] sig_s_1 = [0.2, 0.2] mu_s_2 = [0.0, 1.0] sig_s_2 = sig_s_1 mu_s_3 = [0.5, 0.5] sig_s_3 = sig_s_1 mu_t_1 = [2.0, 0.5] sig_t_1 = sig_s_1 mu_t_2 = [2.5, 2.0] sig_t_2 = sig_s_1 mu_t_3 = [3.0, 1.0] sig_t_3 = sig_s_1 y_s = np.random.choice(n_classes, n_s, p = p_s) y_s_one_hot = np.iden
Adversarial Residual Transform Network (ARTN) の実装に関するメモ - Qiita
# generate toy data n_s = 1000 n_t = 1000 n_classes = 3 p_s = [0.4, 0.3, 0.3] p_t = [0.4, 0.3, 0.3] mu_s_1 = [0.0, 0.0] sig_s_1 = [0.2, 0.2] mu_s_2 = [0.0, 1.0] sig_s_2 = sig_s_1 mu_s_3 = [0.5, 0.5] sig_s_3 = sig_s_1 # pattern 1 # mu_t_1 = [2.0, 0.5] # sig_t_1 = sig_s_1 # mu_t_2 = [2.0, 1.5] # sig_t_2 = sig_s_1 # mu_t_3 = [2.5, 1.0] # sig_t_3 = sig_s_1 # pattern 2 # mu_t_1 = [0.5, 0.5] # sig_t_1 =
Chainer とAnnoyを使った 類似画像検索 【入門】 - Qiita
はじめに 今回は以前の書いた記事(類似画像検索のための、Pythonを使った近似最近傍探索【入門】)の続きで、Deep Learningの特徴量抽出と近似最近傍探索を使って類似画像検索を実装します。 類似画像検索とは特徴ベクトル $\boldsymbol{x}$で表現された画像に近い画像をデータベースの中から探すことです。データベースのすべての画像と類似度を比較していると膨大な計算量になり時間がかかるので、効率よく似ている画像を探しだすことが求められます。 類似画像検索はSNSのPinterestのズームイン検索という機能に使われています。以下の例でいうと、左の画像で囲ったキーボードの画像を使って、類似画像を検索し表示しています。リモコンのようなものを検索されていますが、色や形状などが似ている画像を表示することができます。 Deep Learningを使って類似画像検索を実装する方法は基本
Connectionist Temporal Classification (CTC) を用いた音素認識 - Qiita
はじめに ほとんどの音声データベースには時間情報がなく、発話内容しか与えられていません。これは、音素の時間情報を同定する作業が非常に高コストだからです。このため、ニューラルネットを用いた音声認識は、これまでは学習時にHMM(隠れマルコフモデル)を用いた従来の音声認識を援用し、はじめに各音素の区間を音声認識によって推定する必要がありました。 これに対し、近年ニューラルネットだけで音声認識を可能とする枠組がいくつか提案されています。CTC (Connectionist Temporal Classification) は、そのようなアルゴリズムの1つです。 CTCの学習では、通常の交差エントロピー損失ではなく、縮約すると正解音素列と一致するような全ての音素列の確率の和をネットワークの出力の「望ましさ」と考え、その対数にマイナスを付けた関数を損失関数とします。例えば、縮約すると /h a i/
tensorflowをインストールしたときに引っかかったこと - Qiita
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? Traceback (most recent call last): File "<stdin>", line 1, in <module> File "/Users/DEN/pyenv/versions/anaconda3-4.1.1/lib/python3.5/site-packages/tensorflow/__init__.py", line 24, in <module> from tensorflow.python import * File "/Users/DEN/pyenv/versions/anaconda3-4.1.
auto-sklearnのインストールではまった話 - Qiita
モデル選定まで自動でやってくれるならもうこれでいいじゃん・・・ というわけでauto-sklearnなるものを使ってみようとしたら意外とはまった話 auto-sklearnの公式はこちら 元々の環境：以下のコマンドで作ったdocker上に構築したjupyter環境 $ docker pull jupyter/tensorflow-notebook 上記環境ではデフォルトでauto-sklearnが入っていないが以下のcommandでpython環境にauto-sklearnが導入できる $ pip install auto-sklearn 早速実行してみたが、pip installerのバージョンが古くて対応していないとのことなので、以下のコマンドを打つこと要求された $ pip install upgrade pip コマンドを実施してみるとpipのアップグレードに成功。 改めてauto
機械学習でサザエさんとじゃんけん勝負（回帰分析編） - Qiita
はじめに 先日、「サザエさんじゃんけん研究所」1様の「サザエさんじゃんけん白書」が話題になりました。 過去のサザエさんの手を分析し、傾向と対策を見出すという企画？です。 じゃんけんで何を出せば勝てるか人間が推測できるなら、コンピュータ（プログラム）でもできるに違いない、ということで勝手にシリーズ化してしまったネタです。 これまでのあらすじ 機械学習でサザエさんとじゃんけん勝負（ニューラルネットワーク編） - Qiita 機械学習でサザエさんとじゃんけん勝負（SVM編） - Qiita 問題設定 くどいからもういいか。。。 あらすじのどちらかの記事をご覧ください。 今回は回帰分析 今までの2回はサザエさんの手を直接予想するプログラムだったのですが、今回は「ある手を自分が出したときの利益」を考えてみます。言ってみれば、サッカーの試合などでいう「勝ち点」のようなものですね。 もちろん同じ状況と戦
sklearnをpandasから使う場合の便利ツール - Qiita
sklearn-pandas とは？ pandasのDataFlameからsklearnのモデルやpiplineを使う際に若干の煩わしさが残っていたが、最近はsklearn-pandasというパッケージが開発されており扱い易くなっているようだ。 このパッケージを使うと、例えば次のようなことができるようだ。 pandasのDataFlameをそのまま入力できて、なおかつ、出力もDataFlameで取り出せる。 特定のコラム（特徴量）のみへの処理をsklearnのmodelと同様の形式で定義できる。 従来より柔軟なpipelineを作成できる。 従来、pandasのDataFlameをsklearnの適当なmodelで学習する場合、DataFlameの特定のコラムのみを抽出し、エンコーディング、欠損補完、スケーリング等を行った後、np.arrayとして、sklearnのmodel(piplin
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
DataFrame melt を使って複数列のデータを1列に整形＿SEOの為のPython
論文のためのMatplotlibを利用した図の作り方 - Qiita
Chainer v4 PILからNumpy NumpyからPILの変換 - Qiita
文字ベースCNNによるツイート分類 (成功) - Qiita
Donkey Carの作り方(RasPi側) - Qiita
Donkey Carの作り方(Mac側) - Qiita
Donkey Car学習(Mac側) - Qiita
Yet another 機械学習で株価を予測する (2) - Qiita
seabornでhueを指定しながら、重ねてプロットしようとしたらハマった話 - Qiita
