Adversarial Residual Transform Network (ARTN) の実装に関するメモ（２） - Qiita
# generate toy data n_s = 1000 n_t = 1000 n_classes = 3 p_s = [0.4, 0.3, 0.3] p_t = [0.4, 0.3, 0.3] mu_s_1 = [0.0, 0.0] sig_s_1 = [0.2, 0.2] mu_s_2 = [0.0, 1.0] sig_s_2 = sig_s_1 mu_s_3 = [0.5, 0.5] sig_s_3 = sig_s_1 # pattern 1 # mu_t_1 = [2.0, 0.5] # sig_t_1 = sig_s_1 # mu_t_2 = [2.0, 1.5] # sig_t_2 = sig_s_1 # mu_t_3 = [2.5, 1.0] # sig_t_3 = sig_s_1 # pattern 2 # mu_t_1 = [0.5, 0.5] # sig_t_1 =
日本語ツイートをEkmanの基本6感情で評価 - Qiita
import pandas as pd from os.path import join from sklearn.utils import shuffle emotions = ["happy", "sad", ["disgust", "disgust2"], "angry", "fear", "surprise"] dir_path = "gathering/ja_tweets_sentiment" size = 60000 df = [] for i, es in enumerate(emotions): if isinstance(es, list): for e in es: data = shuffle(pd.read_json(join(dir_path, "{}.json".format(e)))).iloc[:int(size/len(es))] data['label'
Domain Adaptation Neural Network (DANN) と Gradient Reversal Layer (GRL) の実装に関するメモ - Qiita
# generate toy data n_s = 1000 n_t = 1000 n_classes = 3 p_s = [0.4, 0.3, 0.3] p_t = [0.3, 0.5, 0.2] mu_s_1 = [0.0, 0.0] sig_s_1 = [0.2, 0.2] mu_s_2 = [0.0, 1.0] sig_s_2 = sig_s_1 mu_s_3 = [0.5, 0.5] sig_s_3 = sig_s_1 mu_t_1 = [2.0, 0.5] sig_t_1 = sig_s_1 mu_t_2 = [2.5, 2.0] sig_t_2 = sig_s_1 mu_t_3 = [3.0, 1.0] sig_t_3 = sig_s_1 y_s = np.random.choice(n_classes, n_s, p = p_s) y_s_one_hot = np.iden
AI開発におけるGPU利用に関する備忘録 - Qiita
背景 AI開発において、特にネットワークモデルが複雑な、画像系AI開発においては、その処理時間の短さを主な理由に、GPUを利用する事が推奨されています。 ただ、私が会社で利用しているAI開発環境は、GPUを２枚搭載しているサーバーであり、複数人がこの環境を共有し、GPUを使える事は非常にありがたいのですが、TensorFlowを使って、AIの勉強やPoCの学習をする際には、標準でTensorFlowを動かしてしまうと、GPUメモリーの90%を確保する為、同時に複数人でプログラムを動かしてしまうと、メモリー不足になり作業する事が出来なくなります。 このような状況を回避する為、自分で利用するGPUを制限する事が必要になりました。 １．Pythonプログラムで、TensorFlow実行時に、使用するGPUを指定する方法 GPU版のtensorFlow環境が前提： 実行前のGPUの状況：２枚のGP
DANN と ADDA の実装に関するメモ - Qiita
# generate toy data n_s = 1000 n_t = 1000 n_classes = 3 p_s = [0.4, 0.3, 0.3] p_t = [0.3, 0.5, 0.2] mu_s_1 = [0.0, 0.0] sig_s_1 = [0.2, 0.2] mu_s_2 = [0.0, 1.0] sig_s_2 = sig_s_1 mu_s_3 = [0.5, 0.5] sig_s_3 = sig_s_1 mu_t_1 = [2.0, 0.5] sig_t_1 = sig_s_1 mu_t_2 = [2.5, 2.0] sig_t_2 = sig_s_1 mu_t_3 = [3.0, 1.0] sig_t_3 = sig_s_1 y_s = np.random.choice(n_classes, n_s, p = p_s) y_s_one_hot = np.iden
Adversarial Residual Transform Network (ARTN) の実装に関するメモ - Qiita
# generate toy data n_s = 1000 n_t = 1000 n_classes = 3 p_s = [0.4, 0.3, 0.3] p_t = [0.4, 0.3, 0.3] mu_s_1 = [0.0, 0.0] sig_s_1 = [0.2, 0.2] mu_s_2 = [0.0, 1.0] sig_s_2 = sig_s_1 mu_s_3 = [0.5, 0.5] sig_s_3 = sig_s_1 # pattern 1 # mu_t_1 = [2.0, 0.5] # sig_t_1 = sig_s_1 # mu_t_2 = [2.0, 1.5] # sig_t_2 = sig_s_1 # mu_t_3 = [2.5, 1.0] # sig_t_3 = sig_s_1 # pattern 2 # mu_t_1 = [0.5, 0.5] # sig_t_1 =
Chainer とAnnoyを使った 類似画像検索 【入門】 - Qiita
はじめに 今回は以前の書いた記事(類似画像検索のための、Pythonを使った近似最近傍探索【入門】)の続きで、Deep Learningの特徴量抽出と近似最近傍探索を使って類似画像検索を実装します。 類似画像検索とは特徴ベクトル $\boldsymbol{x}$で表現された画像に近い画像をデータベースの中から探すことです。データベースのすべての画像と類似度を比較していると膨大な計算量になり時間がかかるので、効率よく似ている画像を探しだすことが求められます。 類似画像検索はSNSのPinterestのズームイン検索という機能に使われています。以下の例でいうと、左の画像で囲ったキーボードの画像を使って、類似画像を検索し表示しています。リモコンのようなものを検索されていますが、色や形状などが似ている画像を表示することができます。 Deep Learningを使って類似画像検索を実装する方法は基本
Connectionist Temporal Classification (CTC) を用いた音素認識 - Qiita
はじめに ほとんどの音声データベースには時間情報がなく、発話内容しか与えられていません。これは、音素の時間情報を同定する作業が非常に高コストだからです。このため、ニューラルネットを用いた音声認識は、これまでは学習時にHMM(隠れマルコフモデル)を用いた従来の音声認識を援用し、はじめに各音素の区間を音声認識によって推定する必要がありました。 これに対し、近年ニューラルネットだけで音声認識を可能とする枠組がいくつか提案されています。CTC (Connectionist Temporal Classification) は、そのようなアルゴリズムの1つです。 CTCの学習では、通常の交差エントロピー損失ではなく、縮約すると正解音素列と一致するような全ての音素列の確率の和をネットワークの出力の「望ましさ」と考え、その対数にマイナスを付けた関数を損失関数とします。例えば、縮約すると /h a i/
tensorflowをインストールしたときに引っかかったこと - Qiita
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? Traceback (most recent call last): File "<stdin>", line 1, in <module> File "/Users/DEN/pyenv/versions/anaconda3-4.1.1/lib/python3.5/site-packages/tensorflow/__init__.py", line 24, in <module> from tensorflow.python import * File "/Users/DEN/pyenv/versions/anaconda3-4.1.
データの種類の理解と線形回帰ことはじめ - Qiita
昨日は統計のウソを見破る 5 つの視点として統計的誤りに関する注意点を説明しました。 本日はここであらためて、分析しようとしているデータそのものにスポットを当ててみたいと思います。 KPI (key performance indicator) とは目標を達成するために何が必要かを定量的に表す数値です。整形して美人になりたいというのは KPI ではありませんが、体重を 3 ヶ月後までに 10 キロ減らすとか鼻を 1.5 センチ高くするといったものは KPI です。 データにはどのような種類があり KPI として利用しようとしている指標はどんなデータなのか正しく理解していないとしばしば誤った KPI を導き、無意味なデータ分析へとつながる危険を孕みます。 変数とは 社会調査や医療統計など様々な分野で被調査対象者の状態を多方面から特定していきます。たとえばアンケートやカルテを想定してみましょう
線形回帰と相関係数、そして東京の平均気温を実際に分析してみる - Qiita
線形回帰における仮定 前々回、前回 と線形回帰について説明してきました。 線形回帰における最小二乗法では Y 軸の点と点の全体的な長さの差異 (= これを、それぞれの差の二乗を取ってから加算するので二乗誤差といいます) が最小になるように、まっすぐな線 (= 1 次式の直線となる関数) を求めました。すなわち、データの集合から直線に回帰する推定をおこなったわけです。 相関係数を求める どんな 2 次元データでも線形回帰で関数を導くことはできますが、それが妥当かどうか気になります。そこで両者の相関係数を求めます。相関係数はベクトル v1, v2 からそれぞれの要素 x, y の平均を求め、次に v1, v2 の分散と共分散を求めます。コードで表現してみましょう。 def correlation(data): n = len(data) # 二次元データの長さを n に求める xm = 0.0
[Review] Wide&Deep Learning - Qiita
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? Main Question can we teach computers to learn like humans do, by combining the power of memorization and generalization? Study Resources Tensorflow Tutorial Nice Qiita Post in Japanese Research Blog Visual Concept Case Study Let's say one day you wake up with an idea for
![[Review] Wide&Deep Learning - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/c5a065018045cb8935d9affbda0bcd09a5f0ab23/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fqiita-user-contents.imgix.net%252Fhttps%25253A%25252F%25252Fcdn.qiita.com%25252Fassets%25252Fpublic%25252Farticle-ogp-background-afbab5eb44e0b055cce1258705637a91.png%253Fixlib%253Drb-4.0.0%2526w%253D1200%2526blend64%253DaHR0cHM6Ly9xaWl0YS11c2VyLXByb2ZpbGUtaW1hZ2VzLmltZ2l4Lm5ldC9odHRwcyUzQSUyRiUyRmF2YXRhcnMzLmdpdGh1YnVzZXJjb250ZW50LmNvbSUyRnUlMkYyMDYyNjc5MiUzRnYlM0Q0P2l4bGliPXJiLTQuMC4wJmFyPTElM0ExJmZpdD1jcm9wJm1hc2s9ZWxsaXBzZSZiZz1GRkZGRkYmZm09cG5nMzImcz1lMTcxNzlmZDdkODRmMDAxMWY1YWZlNGI0YmNjMTZhOA%2526blend-x%253D120%2526blend-y%253D467%2526blend-w%253D82%2526blend-h%253D82%2526blend-mode%253Dnormal%2526s%253D252d3bb79a479c660485224722ed8572%3Fixlib%3Drb-4.0.0%26w%3D1200%26fm%3Djpg%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTk2MCZoPTMyNCZ0eHQ9JTVCUmV2aWV3JTVEJTIwV2lkZSUyNkRlZXAlMjBMZWFybmluZyZ0eHQtYWxpZ249bGVmdCUyQ3RvcCZ0eHQtY29sb3I9JTIzMUUyMTIxJnR4dC1mb250PUhpcmFnaW5vJTIwU2FucyUyMFc2JnR4dC1zaXplPTU2JnR4dC1wYWQ9MCZzPTdkZjBlMjhmYzE4ZTZhMDE4ZjM1ZGU5ZTczOTZmMjhj%26mark-x%3D120%26mark-y%3D112%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTgzOCZoPTU4JnR4dD0lNDBSb3dpbmcwOTE0JnR4dC1jb2xvcj0lMjMxRTIxMjEmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9MzYmdHh0LXBhZD0wJnM9NGEwOTczZTZhZTVjN2ZiM2E0ZDkzMTU1MjRkZDdlZTc%26blend-x%3D242%26blend-y%3D480%26blend-w%3D838%26blend-h%3D46%26blend-fit%3Dcrop%26blend-crop%3Dleft%252Cbottom%26blend-mode%3Dnormal%26s%3D6de727fab18e05b3b15c118a08e2936c)
LinearRegression クラスについてメモ - Qiita
sklearn の LinearRegression クラスについての個人メモ。 LinearRegression とは 線形回帰モデルの一つ。説明変数の値から目的変数の値を予測する。 導入 import sklearn.linear_model.LinearRegression アトリビュート coef_ 回帰変数。 intercept_ 切片。 メソッド fit(x, y) 線形回帰モデルの当てはめを実行。訓練の開始。 xが対象データで、yが正解データ ※教師あり学習が前提 get_params() 推定に用いたパラメータを取得。 predict(x) モデルを使用して、xに対して予測を実行し予測値を算出する。 score(x, y) 決定係数を出力。予測値xと正解値yの相関を測る。 実践 import pandas as pd from sklearn.linear_model im
【機械学習】最小二乗法について メモ - Qiita
機械学習で使用することを前提として、最小二乗法についてまとめます。 ど文系のメモなので、誤りなどあったら指摘していただければ嬉しいです。 最小二乗法とは 最小二乗法(さいしょうにじょうほう、さいしょうじじょうほう；最小自乗法とも書く、英: least squares method)は、測定で得られた数値の組を、適当なモデルから想定される1次関数、対数曲線など特定の関数を用いて近似するときに、想定する関数が測定値に対してよい近似となるように、残差の二乗和を最小とするような係数を決定する方法、あるいはそのような方法によって近似を行うことである。(Wikipedia) あるデータの分散について回帰を行いたいときなどに用いる考え方。 回帰直線をはじめとし、ロッソ回帰やリッジ回帰などの根底となる概念。 数式について 数式 モデル関数を f(x) とするとき
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Chainer v4 PILからNumpy NumpyからPILの変換 - Qiita
文字ベースCNNによるツイート分類 (成功) - Qiita
Donkey Carの作り方(RasPi側) - Qiita
Donkey Carの作り方(Mac側) - Qiita
Donkey Car学習(Mac側) - Qiita
[Review] Wide&Deep Learning for Recommender System - Qiita![[Review] Wide&Deep Learning for Recommender System - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/c8ee4576ae8c677f6b298876c6bb587ee94dc23b/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fqiita-user-contents.imgix.net%252Fhttps%25253A%25252F%25252Fcdn.qiita.com%25252Fassets%25252Fpublic%25252Farticle-ogp-background-afbab5eb44e0b055cce1258705637a91.png%253Fixlib%253Drb-4.0.0%2526w%253D1200%2526blend64%253DaHR0cHM6Ly9xaWl0YS11c2VyLXByb2ZpbGUtaW1hZ2VzLmltZ2l4Lm5ldC9odHRwcyUzQSUyRiUyRmF2YXRhcnMzLmdpdGh1YnVzZXJjb250ZW50LmNvbSUyRnUlMkYyMDYyNjc5MiUzRnYlM0Q0P2l4bGliPXJiLTQuMC4wJmFyPTElM0ExJmZpdD1jcm9wJm1hc2s9ZWxsaXBzZSZiZz1GRkZGRkYmZm09cG5nMzImcz1lMTcxNzlmZDdkODRmMDAxMWY1YWZlNGI0YmNjMTZhOA%2526blend-x%253D120%2526blend-y%253D467%2526blend-w%253D82%2526blend-h%253D82%2526blend-mode%253Dnormal%2526s%253D252d3bb79a479c660485224722ed8572%3Fixlib%3Drb-4.0.0%26w%3D1200%26fm%3Djpg%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTk2MCZoPTMyNCZ0eHQ9JTVCUmV2aWV3JTVEJTIwV2lkZSUyNkRlZXAlMjBMZWFybmluZyUyMGZvciUyMFJlY29tbWVuZGVyJTIwU3lzdGVtJnR4dC1hbGlnbj1sZWZ0JTJDdG9wJnR4dC1jb2xvcj0lMjMxRTIxMjEmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9NTYmdHh0LXBhZD0wJnM9YmRiODAyMmYxODFlYTM0ZGJmY2IwOTZkN2JhNDM5ZDU%26mark-x%3D120%26mark-y%3D112%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTgzOCZoPTU4JnR4dD0lNDBSb3dpbmcwOTE0JnR4dC1jb2xvcj0lMjMxRTIxMjEmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9MzYmdHh0LXBhZD0wJnM9NGEwOTczZTZhZTVjN2ZiM2E0ZDkzMTU1MjRkZDdlZTc%26blend-x%3D242%26blend-y%3D480%26blend-w%3D838%26blend-h%3D46%26blend-fit%3Dcrop%26blend-crop%3Dleft%252Cbottom%26blend-mode%3Dnormal%26s%3D5c8b4e1ccd62209ed63fe92eeb907dfe)
