EdwardとEdward2, TensorFlow Probabilityの相違点 - QiitaDeleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?
pandas.to_jsonの挙動 - Qiita
import pandas as pd df = pd.DataFrame([['a0', 'b0', 'c0'], ['a1', 'b1', 'c1']], index = ['taro', 'jiro'], columns = ['sono1', 'sono2', 'sono3']) print (df.to_json(orient = 'split')) print (df.to_json(orient = 'records')) print (df.to_json(orient = 'index')) print (df.to_json(orient = 'columns')) print (df.to_json(orient = 'values')) {"columns":["sono1","sono2","sono3"],"index":["taro","jiro"],"dat
Udemy「Pythonで機械学習：scikit-learnで学ぶ識別入門」を受講後の感想・まとめ その1 - Qiita
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 機械学習を仕事で使うため、Udemyで色々と受講しています。 その中で、「Pythonで機械学習：scikit-learnで学ぶ識別入門」を受講したので、そのメモです。 感想 非常に充実しています。 オープニングで、扱っているのは予測ではなく識別のみと宣言しているため、内容が統一されていると感じます。 ボリュームはかなりあります。単に講座を聞くだけなら2~3日で終わりますが、講座を聞いて、手元のJupyter notebookで理解しながらコードを確認・修正して..とやっていると、社会人だと6~7日は必要かと思います。 データ分割～学習
Scikit-learnの回帰/分類/クラスタ/次元圧縮を考えてみる - Qiita
1.書こうと思た動機 機械学習の勉強のため、Scikit-learnを実行してみました。 でも回帰と分類、よくわからず行っていました。 よってSVMで株価の推定を行おうというアホなことをやっていました。 勉強不足は棚に上げて でもよくよく見るとどの参考書等でもいきなりやりたいことが〇〇だからSVM使おうぜみたいな記載、またはもっと概念的な記載が多いかと思います。 そこで具体例を含めた記載にチャレンジしたいと思います。 1.1お断り 全４つを纏めたうえで書くのではなく進捗具合に合わせて途中の状態であってもアップしていきます。 その後、勉強していく中で自分の中で整理がついたら順次更新いたします。 2.機械学習のアルゴリズム 本家の説明文書は以下の通り。 http://scikit-learn.org/stable/tutorial/machine_learning_map/ 2.1分類（cla
sklearn.svm.SVCのpredict_probaって - Qiita
はじめに SVMで二クラス(0/1)の分類器を学習して、各データのクラス1への所属確率を出したい用ができたので sklearn.svm.SVC を見ていたら、predict_probaとかいうまさになやつを見つけたので、使って見たら ん?ってなった話。 ん?ってなったこと predict(X)で予測した結果とpredict_probaで算出した確率の整合が取れてない（時がたまにあった）のです。 準備 いったんpredictとpredict_probaの仕様を確認。 predict(X) [データ数]行 × [次元数]列の特徴量行列 X を引数にして、データ数分の予測ラベルを返すそうです。読む必要なかった。 predict_proba(X) [データ数]行 × [次元数]列の特徴量行列 X を引数にして、各データがそれぞれのクラスに所属する確率を返す、って書いてあります。で、最後に「列はクラ
matplotlib.animationを利用してgif画像を作る (ArtistAnimation) - Qiita
matplotlibはデータ解析の可視化ツールとして一般的に用いられています． 今回は，matplotlib.animation機能を使ってgif画像を作ってみたので，そのコードを紹介します． 最終的には，以下のgifアニメーションを作りたいとします． matplotlib.animationには，「ArtistAnimation」機能「FuncAnimation」機能があります． 今回は「ArtistAnimation」機能で話を進めます． 「FuncAnimation」機能については，こちらのページでまとめています． matplotlib.animationを利用してgif画像を作る (FuncAnimation) なお，こちらのページも参考にしています． Animation using matplotlib with subplots and ArtistAnimation 動作環境
ディープラーニングによる異常検知手法ALOCCを実装した - Qiita
はじめに ディープラーニングを用いた異常検知手法であるALOCCをChainerで実装し，MNISTで実験しました。 全体のコードはGitHubのリポジトリにアップロードしました。 ALOCCについて ALOCCは画像データに対して異常検知を行うための手法です。 多くの場合，異常データは正常データに比べて極めて少ないか，全く無いです。 そこで，ALOCCでは正常データのみを利用して学習し，その分布から外れたデータを検出します。 学習 ALOCCのモデルは以下のようなオートエンコーダとGANを組み合わせたような構造をしています。 オートエンコーダ部分はGANのGeneratorに相当し，Reconstructor (${\cal R}$) と呼ばれます。 学習時には正常画像にノイズを加えたデータを入力し，元通りに復元することを学習します。 Discriminator (${\cal D}$)
KerasのImageDataGeneratorにおけるbrightness_rangeの挙動 - Qiita
自分の備忘録/メモも兼ねて。 画像認識系のDeep Learningする際に、訓練データ（画像）を回転させたり左右反転したり、とデータの水増し（data augumentation）することってよくあると思います。Kerasでは、ImageDataGeneratorクラスを使って簡単に水増しできちゃうわけですが、その際のオプション「brightness_range」の挙動について。 Kerasのbrigtness_rangeとは brightness_rangeは、画像データの水増しの際に、明るさをランダムに変更するオプションです。こんな感じでImageDataGeneratorのコンストラクタに、brightness_rangeのオプションとして、明るさ変更の強度の範囲をタプルかリストで渡すだけです。あとはflowとかflow_from_directoryとかに上記を渡してあげると、ラン
一年の交通事故死亡率をpythonで計算する - Qiita
はじめに 二度目の投稿になります。 今回は東大出版会の「基礎統計学Ⅰ 統計学入門」の第9章「標本分布」にある練習問題9.7をpythonで実装することを目指します。 今回の問題文は以下の通り。 1988年の統計によれば、同年における10万人当たりの交通事故死亡者数、交通事故死傷者数は、次の通りであった。 各都道府県において、人口10万人の都市を考えるとき、 i）1年間の交通事故死亡者数が10人未満である確率を求めよ。 ii）1日の交通事故死傷者数が5人未満である確率を求めよ。 開発環境 python3 Jupyter Notebook 基本事項の確認 ポアソン分布 非常に起こる確率が低い（たとえば、今回のような交通事故）場合、二項分布からnp→λとしてポアソン分布を考えることができます。 定義式及びグラフは以下のようになります。 $y=\frac{\mathrm{e}^{-\lambda}
Deep Learning を使って衛星画像から建物を検出する - Qiita
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? SpaceNetと呼ばれるデータセットを用いて、衛星画像から建物を検出する畳み込みニューラルネットワークを学習した 学習したニューラルネットワークにより、IoU=0.602 の精度で建物領域を抽出できることを確認した 衛星画像と既存のGISデータに対して機械学習を適用することにより、広域の衛星画像からの情報抽出を大幅に効率化できる可能性を示した Source on GitHub 1 機械学習による衛星写真の自動解析 近年、AIブームの影響もあり、衛星画像の自動解析に注目が集まりつつあります。 衛星画像や航空写真は、地図作成や変化抽出など
Kerasでメモリに乗りきらない量のデータを扱うための、fit_generator関数を試してみる - Qiita
画像関係のKaggleコンテストで、Kerasを使いつつコードを書いていたところ、前処理などで工夫しても厳しそうなレベルでメモリ不足に悩まされました。（しかし、一方で精度を上げるためになるべく多くのデータを使いたい） 他の人はどうやっているんだろう？と他人のカーネルを見ていたところ、KerasのSequentialクラスにfit_generator関数という、バッチ単位でデータを扱ってくれる（＝瞬間的なメモリが少なくて済む）関数を使っているようでした。 過去に読んだ書籍だと、この関数は使っていなかったので、触りながら色々調べてみます。 簡単な例で試してみる。 MNISTで試してみます。モデルのコード自体は、以前書いたGoogle colaboratoryを試してみる（Keras ＆ MNIST）のものをほぼそのまま使います。 X.shapeが(60000, 1, 28, 28)、y.sha
dockerで機械学習(38) with anaconda(38)「Mastering Machine Learning with scikit-learn」2nd Edition By Gavin Hackeling - Qiita
以下のshell sessionでは (base) root@f19e2f06eabb:/#は入力促進記号(comman prompt)です。実際には数字の部分が違うかもしれません。この行の#の右側を入力してください。 それ以外の行は出力です。出力にエラー、違いがあれば、コメント欄などでご連絡くださると幸いです。 それぞれの章のフォルダに移動します。 dockerの中と、dockerを起動したOSのシェルとが表示が似ている場合には、どちらで捜査しているか間違えることがあります。dockerの入力促進記号(comman prompt)に気をつけてください。 ファイル共有または複写 dockerとdockerを起動したOSでは、ファイル共有をするか、ファイル複写するかして、生成したファイルをブラウザ等表示させてください。参考文献欄にやり方のURLを記載しています。 dockerを起動したOSの
dockerで機械学習(36) with anaconda(36)「Learning TensorFlow」 By Itay Lieder, Yehezkel Resheff, Tom Hope - Qiita
以下のshell sessionでは (base) root@f19e2f06eabb:/#は入力促進記号(comman prompt)です。実際には数字の部分が違うかもしれません。この行の#の右側を入力してください。 それ以外の行は出力です。出力にエラー、違いがあれば、コメント欄などでご連絡くださると幸いです。 それぞれの章のフォルダに移動します。 dockerの中と、dockerを起動したOSのシェルとが表示が似ている場合には、どちらで捜査しているか間違えることがあります。dockerの入力促進記号(comman prompt)に気をつけてください。 ファイル共有または複写 dockerとdockerを起動したOSでは、ファイル共有をするか、ファイル複写するかして、生成したファイルをブラウザ等表示させてください。参考文献欄にやり方のURLを記載しています。 dockerを起動したOSの
TensorFlow内部構造解析 (4.4) 計算グラフ最適化処理1 Grappler - Qiita
1. Layout Optimizer ソースコード：tensorflow/core/grappler/optimizers/layout_optimizer.cc TensorFlowがデフォルトで採用するデータフォーマットはNHWC形式ですが、GPUに最適なデータフォーマットはNCHW形式です。 このため、GPUで実行するノードについてはNCHW形式のデータフォーマットで実行するように計算グラフを変形することで、GPUで最適な演算が行えるようにします。 なお、計算グラフを変形するときに、必要に応じてNCHW→NHWCまたはNHWC→NCHWのデータフォーマット変換を行うためのTransposeノードを挿入し、計算グラフ内でデータフォーマットの一貫性が取れていることを保証します。 2. Model Pruner ソースコード：tensorflow/core/grappler/optimi
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
ツイートから学習した感情分析モデル - Qiita
Kerasからパラメータ抽出についてのメモ - Qiita
[Docker]TensorFlowをJupyter Notebook上で使用できる環境を10分で構築[Mac] - Qiita![[Docker]TensorFlowをJupyter Notebook上で使用できる環境を10分で構築[Mac] - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/f3684b7cb1a97634be19d94026a2341c8ba1bf1c/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fqiita-user-contents.imgix.net%252Fhttps%25253A%25252F%25252Fcdn.qiita.com%25252Fassets%25252Fpublic%25252Farticle-ogp-background-afbab5eb44e0b055cce1258705637a91.png%253Fixlib%253Drb-4.0.0%2526w%253D1200%2526blend64%253DaHR0cHM6Ly9xaWl0YS11c2VyLXByb2ZpbGUtaW1hZ2VzLmltZ2l4Lm5ldC9odHRwcyUzQSUyRiUyRnFpaXRhLWltYWdlLXN0b3JlLnMzLmFtYXpvbmF3cy5jb20lMkYwJTJGMjA1MzQ3JTJGcHJvZmlsZS1pbWFnZXMlMkYxNTM3ODM2NTg3P2l4bGliPXJiLTQuMC4wJmFyPTElM0ExJmZpdD1jcm9wJm1hc2s9ZWxsaXBzZSZiZz1GRkZGRkYmZm09cG5nMzImcz04YjQzZDJlMGEwNjQ5OTVhYTk4ZTBmMjIwMWI2ZDY1NA%2526blend-x%253D120%2526blend-y%253D467%2526blend-w%253D82%2526blend-h%253D82%2526blend-mode%253Dnormal%2526s%253Db0135e3095ba7e00a0c656d5aa760e97%3Fixlib%3Drb-4.0.0%26w%3D1200%26fm%3Djpg%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTk2MCZoPTMyNCZ0eHQ9JTVCRG9ja2VyJTVEVGVuc29yRmxvdyVFMyU4MiU5Mkp1cHl0ZXIlMjBOb3RlYm9vayVFNCVCOCU4QSVFMyU4MSVBNyVFNCVCRCVCRiVFNyU5NCVBOCVFMyU4MSVBNyVFMyU4MSU4RCVFMyU4MiU4QiVFNyU5MiVCMCVFNSVBMiU4MyVFMyU4MiU5MjEwJUU1JTg4JTg2JUUzJTgxJUE3JUU2JUE3JThCJUU3JUFGJTg5JTVCTWFjJTVEJnR4dC1hbGlnbj1sZWZ0JTJDdG9wJnR4dC1jb2xvcj0lMjMxRTIxMjEmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9NTYmdHh0LXBhZD0wJnM9MGZlYTg2ZDBlMWI1MDY3MzUyNGU1ZWNlYzkyODgzNTA%26mark-x%3D120%26mark-y%3D112%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTgzOCZoPTU4JnR4dD0lNDB5X2thbmkmdHh0LWNvbG9yPSUyMzFFMjEyMSZ0eHQtZm9udD1IaXJhZ2lubyUyMFNhbnMlMjBXNiZ0eHQtc2l6ZT0zNiZ0eHQtcGFkPTAmcz0wNDllMzhkYTQ0MzgyZjNlOWM3MzE3ODg2NDNkYTcyYw%26blend-x%3D242%26blend-y%3D480%26blend-w%3D838%26blend-h%3D46%26blend-fit%3Dcrop%26blend-crop%3Dleft%252Cbottom%26blend-mode%3Dnormal%26s%3D66931cd3d77ba889204d72865c025ac0)
TensorflowでGradientの値を計算グラフ外から読み込み - Qiita
Proxy下でTensorFlowのMNIST - Qiita
[pd.read_csv] IsADirectoryError: [Errno 21] Is a directory: '[パス名]/.AppleDouble' - Qiita![[pd.read_csv] IsADirectoryError: [Errno 21] Is a directory: '[パス名]/.AppleDouble' - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/3ec91501cc0133d56a8b2cbd7e50afa9bc985288/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fqiita-user-contents.imgix.net%252Fhttps%25253A%25252F%25252Fcdn.qiita.com%25252Fassets%25252Fpublic%25252Farticle-ogp-background-afbab5eb44e0b055cce1258705637a91.png%253Fixlib%253Drb-4.0.0%2526w%253D1200%2526blend64%253DaHR0cHM6Ly9xaWl0YS11c2VyLXByb2ZpbGUtaW1hZ2VzLmltZ2l4Lm5ldC9odHRwcyUzQSUyRiUyRnFpaXRhLWltYWdlLXN0b3JlLnMzLmFwLW5vcnRoZWFzdC0xLmFtYXpvbmF3cy5jb20lMkYwJTJGMTkxMzEzJTJGcHJvZmlsZS1pbWFnZXMlMkYxNjI3NDI5ODQ4P2l4bGliPXJiLTQuMC4wJmFyPTElM0ExJmZpdD1jcm9wJm1hc2s9ZWxsaXBzZSZiZz1GRkZGRkYmZm09cG5nMzImcz0wOTU4YTQ5OTBjN2Q4ZDI1YmY1ZDk0ZjkyZmVjMGEwMg%2526blend-x%253D120%2526blend-y%253D467%2526blend-w%253D82%2526blend-h%253D82%2526blend-mode%253Dnormal%2526s%253D96084ab9ae8d4396617faafaacbf45b3%3Fixlib%3Drb-4.0.0%26w%3D1200%26fm%3Djpg%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTk2MCZoPTMyNCZ0eHQ9JTVCcGQucmVhZF9jc3YlNUQlMjBJc0FEaXJlY3RvcnlFcnJvciUzQSUyMCU1QkVycm5vJTIwMjElNUQlMjBJcyUyMGElMjBkaXJlY3RvcnklM0ElMjAlMjclNUIlRTMlODMlOTElRTMlODIlQjklRTUlOTAlOEQlNUQlMkYuQXBwbGVEb3VibGUlMjcmdHh0LWFsaWduPWxlZnQlMkN0b3AmdHh0LWNvbG9yPSUyMzFFMjEyMSZ0eHQtZm9udD1IaXJhZ2lubyUyMFNhbnMlMjBXNiZ0eHQtc2l6ZT01NiZ0eHQtcGFkPTAmcz0yNjkwMTlhMDU1MWJmMDZiNjg4MDk2MDE0ODk3ZTE3Yw%26mark-x%3D120%26mark-y%3D112%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTgzOCZoPTU4JnR4dD0lNDBjdl9jYXJuYXZpJnR4dC1jb2xvcj0lMjMxRTIxMjEmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9MzYmdHh0LXBhZD0wJnM9MDI2Yzc5ZGQwNGJkZWYxY2UyNTE3NjE0ZjZiMDcxY2M%26blend-x%3D242%26blend-y%3D480%26blend-w%3D838%26blend-h%3D46%26blend-fit%3Dcrop%26blend-crop%3Dleft%252Cbottom%26blend-mode%3Dnormal%26s%3Dd02a50b097147c6673620d7166794487)
