欠損値の出現パターンを簡単に可視化する - Qiita
(An English translation is available here.) Pythonでデータ分析をする際に、欠損値の出現パターンを簡単に可視化する方法を紹介します。 はじめに データ分析をする際に、欠損値に対処する必要があります。方法は様々あります1が、対処法を考える前に、欠損値の数や出現パターンを知る必要があります。この記事では、Pythonを用いてデータ分析をする際に、欠損値の出現パターンを簡単に可視化する方法を紹介します。 なお、この記事で紹介する方法については、私のGitHub repoにJupyter notebookをアップロードしてあります。下のバッジをクリックすると、Binderで実行できます。 前提 以下、Kaggleから入手できるTitanicのtrain datasetを例として紹介します。以下のコードと実行結果があるものとします。
線形重回帰を本当はPythonで解きたいけど表計算で解けと言われたので - Qiita
import pandas as pd data = [['HF', 19.5, 20.0, 1.826567], ['HCl', -84.9, 36.5, 1.1086], ['HBr', -67.0, 80.9, 0.8271], ['HI', -35.1, 127.9, 0.4477], ['H2O', 100.0, 18.0, 1.8546], ['H2S', -60.7, 34.1, 0.978325], ['H2Se', -42, 81.0, 0.627], ['NH3', -33.4, 17.0, 1.471772], ['PH3', -87, 34.0, 0.57397], ['AsH3', -55, 77.9, 0.217], ['SbH3', -17.1, 124.8, 0.116], ['CH4', -161.49, 16.0, 0], ['SiH4', -111.8
JupyterLab上で周期表を用いた可視化、分析をする方法 - Qiita
from __future__ import absolute_import from bokeh.models import (ColumnDataSource, LinearColorMapper, LogColorMapper, ColorBar, BasicTicker) from bokeh.plotting import figure from bokeh.io import output_file, show from bokeh.sampledata.periodic_table import elements from bokeh.transform import dodge from matplotlib.colors import Normalize, LogNorm, to_hex from matplotlib.cm import plasma, inferno,
線形回帰を本当はPythonで解きたいけど表計算で解けと言われたので - Qiita
import pandas as pd data = [['HF', 19.5, 20.0], ['HCl', -84.9, 36.5], ['HBr', -67.0, 80.9], ['HI', -35.1, 127.9], ['H2O', 100.0, 18.0], ['H2S', -60.7, 34.1], ['H2Se', -42, 81.0], ['H2Te', -1.8, 129.6], ['NH3', -33.4, 17.0], ['PH3', -87, 34.0], ['AsH3', -55, 77.9], ['SbH3', -17.1, 124.8], ['CH4', -161.49, 16.0], ['SiH4', -111.8, 32.1], ['GeH4', -90, 76.6], ['SnH4', -52, 122.7], ['He', -268.934, 4.0
初めての機械学習〜Python, Tensorflowのインストールまで〜 - Qiita
初めての機械学習 この記事は、初めて機械学習に触れる初心者を対象に書かれています。 Anaconda Navigaterを使おう Anacondaを使用したPythonのインストール（3.6） https://www.anaconda.com/download/#macos Anaconda Nabvigaterで新しいユーザーの作成をしよう 仮想環境ごとにパッケージを管理することで、バージョン管理ができる Jupyter Notebookを使ってみよう。 Jupyter Notebookとは？ 仮想環境を提供してくれるやつ。ここでPythonの命令が打てます。 インストールするには 実行環境のJupyter Notebookのインストール 上記でインストールしたAnaconda Nabvigaterからインストールしてください。 TensorFlowのインストール Anaconda Na
KerasでTensorFlowの関数を使ったカスタムレイヤーを作る - Qiita
Kerasでちょっと複雑な計算をしようとすると、Kerasのバックエンドで定義されている関数だけでは物足りなくなることがあります。そういうときは豊富なTensorFlowの関数を使ってみましょう。TensorFlowの関数を使ったKerasのカスタムレイヤーは意外と簡単にできたので紹介します。 Kerasのバックエンド関数は実はTensorFlow関数のラッパー Kerasはバックエンドにより処理系統が異なりますが、TensorFlowがバックエンドのときはTensorFlowの関数をそのまま返しています。TensorFlowがバックエンドのときのソースコードを覗いてみます。こちらにあります。 例えば絶対値を返すバックエンド関数K.abs()はこんな定義になっています。
Google TrendのデータをAPI経由で取得し時系列解析②〜プログラム言語の人気トレンドを国別比較する〜 - Qiita
Summary Google Trendから各キーワードの検索データを取得し、時系列データ分析を行います Pytrendsという（非公式の）ライブラリを用いてデータを取得します 各検査キーワードの検索トレンドを国別に比較・分析します 前回同様にstatsmodelを用いて時系列解析を施して比較してみます 参考（前回記事）： Google TrendのデータをAPI経由で取得し時系列解析①〜人気プログラム言語のトレンドを考察する〜 分析ゴール 各プログラム言語のキーワード検索傾向に関する国別の違いを把握する 対象国は下記とする（言語の影響を排除するため、英語圏に絞りました） 日本 U.S イギリス シンガポール オーストラリア カナダ 対象データ 前回分析時の結果を参考に、対象言語を以下として、Google trendから抽出する Python（日本では上昇傾向） JavaScript（日本
クロダイとキビレの画像識別 - Qiita
釣りが趣味で、よく黒鯛（チヌ）、キビレ（キチヌ）を釣るのですが、この2魚は姿、形がとても似ています。そのため、素人ではなかなか見分けがつきません。僕は余裕ですが。 上が黒鯛で下がキビレ。ほぼ同じですね。 一番の見分けポイントは下ビレが黒いほうが黒鯛、黄色いほうがキビレです。 釣れたときに、あれ？これ黒鯛？キビレ？どっちだ？ってことがよくあると思います。 そして、キビレは黒鯛に対し味が落ちるため、釣れた時に持ち帰るかリリースするか即座に判断しないといけません。 そこで今回は、この２魚を識別することができるのか、pythonで検証しました。 将来的にはその場で写真を撮って画像をアプリに投げ、判定する。そんなことができたらいいですね。いや、いらないですね。 ソースコード、手順は以下記事を参考にさせていただきました。 ■ TensorFlowで画像認識「〇〇判別機」を作る https://qiit
機械学習+Unityで水遁・水龍弾！（誇張） - Qiita
キーワード Unity, Perception Neuron, モーションキャプチャ, 機械学習, ニューラルネット, Tensorflow モチベーション Unity+Tensorflowといふものを、してみむとてするなり。 結果 Youtubeが開きます。 概要 何番煎じか分かりませんが、Unity+Tensorflowネタがやりたかったのです。 文字認識などはありきたりなので、お題はNARUTOより、十二支の印の判別としました。 具体的な個々の指の形に関しては、Googleの画像検索などでよろしくお願いします。 NARUTO + 印 臨兵闘......と続くものも検索に引っ掛かりますが、子、丑、と続く方です。 学習については画像判定ではなく、モーションキャプチャを用いて取得した値を用います。これは、最終的な利用シーンとしてカメラに正対する想定をしないためです。 印の画像を見比べるに、
matplotlib.animationを利用してgif画像を作る (ArtistAnimation) - Qiita
matplotlibはデータ解析の可視化ツールとして一般的に用いられています． 今回は，matplotlib.animation機能を使ってgif画像を作ってみたので，そのコードを紹介します． 最終的には，以下のgifアニメーションを作りたいとします． matplotlib.animationには，「ArtistAnimation」機能「FuncAnimation」機能があります． 今回は「ArtistAnimation」機能で話を進めます． 「FuncAnimation」機能については，こちらのページでまとめています． matplotlib.animationを利用してgif画像を作る (FuncAnimation) なお，こちらのページも参考にしています． Animation using matplotlib with subplots and ArtistAnimation 動作環境
KerasのImageDataGeneratorにおけるbrightness_rangeの挙動 - Qiita
自分の備忘録/メモも兼ねて。 画像認識系のDeep Learningする際に、訓練データ（画像）を回転させたり左右反転したり、とデータの水増し（data augumentation）することってよくあると思います。Kerasでは、ImageDataGeneratorクラスを使って簡単に水増しできちゃうわけですが、その際のオプション「brightness_range」の挙動について。 Kerasのbrigtness_rangeとは brightness_rangeは、画像データの水増しの際に、明るさをランダムに変更するオプションです。こんな感じでImageDataGeneratorのコンストラクタに、brightness_rangeのオプションとして、明るさ変更の強度の範囲をタプルかリストで渡すだけです。あとはflowとかflow_from_directoryとかに上記を渡してあげると、ラン
Kerasからパラメータ抽出についてのメモ - Qiita
WeightとBiasを見るために Kerasでモデルをsaveしたときにハマったので、一応の自分用のメモ もし抽出で悩んだ人がいれば幸い 例として以下のMNISTの３層MLP(下はFunctional API) # coding utf-8 from __future__ import function import keras from keras.datasets import mnist from keras.models import Model from keras.layers import Dense, Dropout, Input from keras.optimizers import RMSprop (x_train, y_train), (x_test, y_test) = mnist.load_data() x_train = x_train.reshape(60
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
【随時更新】よく使う・よく忘れるコード一覧(Python編) - Qiita
ubuntu18.04にCuda9.0を入れてtensorflow-gpuを使う - Qiita
プログラミング初心者がラズパイでカメラを作る 1 - Qiita
Deep Learningが視覚的にわかるサイト - Qiita
データサイエンスの可視化 #3 Unit 2: ggplot2の導入とプロットの作り方[MOOC/edX] - Qiita
EdwardとEdward2, TensorFlow Probabilityの相違点 - Qiita
ツイートから学習した感情分析モデル - Qiita
[Docker]TensorFlowをJupyter Notebook上で使用できる環境を10分で構築[Mac] - Qiita![[Docker]TensorFlowをJupyter Notebook上で使用できる環境を10分で構築[Mac] - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/01f5d33522100d9df15bfb749a0889d4ac26fe5f/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fqiita-user-contents.imgix.net%252Fhttps%25253A%25252F%25252Fcdn.qiita.com%25252Fassets%25252Fpublic%25252Farticle-ogp-background-afbab5eb44e0b055cce1258705637a91.png%253Fixlib%253Drb-4.0.0%2526w%253D1200%2526blend64%253DaHR0cHM6Ly9xaWl0YS11c2VyLXByb2ZpbGUtaW1hZ2VzLmltZ2l4Lm5ldC9odHRwcyUzQSUyRiUyRnFpaXRhLWltYWdlLXN0b3JlLnMzLmFtYXpvbmF3cy5jb20lMkYwJTJGMjA1MzQ3JTJGcHJvZmlsZS1pbWFnZXMlMkYxNTM3ODM2NTg3P2l4bGliPXJiLTQuMC4wJmFyPTElM0ExJmZpdD1jcm9wJm1hc2s9ZWxsaXBzZSZmbT1wbmczMiZzPWZkNTkyNjk3MGZjODJhZWM2OGMxNWE3YmEyODNkNTUz%2526blend-x%253D120%2526blend-y%253D467%2526blend-w%253D82%2526blend-h%253D82%2526blend-mode%253Dnormal%2526s%253Db0e377c54996304a7808b3eefb5417f7%3Fixlib%3Drb-4.0.0%26w%3D1200%26fm%3Djpg%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTk2MCZoPTMyNCZ0eHQ9JTVCRG9ja2VyJTVEVGVuc29yRmxvdyVFMyU4MiU5Mkp1cHl0ZXIlMjBOb3RlYm9vayVFNCVCOCU4QSVFMyU4MSVBNyVFNCVCRCVCRiVFNyU5NCVBOCVFMyU4MSVBNyVFMyU4MSU4RCVFMyU4MiU4QiVFNyU5MiVCMCVFNSVBMiU4MyVFMyU4MiU5MjEwJUU1JTg4JTg2JUUzJTgxJUE3JUU2JUE3JThCJUU3JUFGJTg5JTVCTWFjJTVEJnR4dC1hbGlnbj1sZWZ0JTJDdG9wJnR4dC1jb2xvcj0lMjMxRTIxMjEmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9NTYmdHh0LXBhZD0wJnM9MGZlYTg2ZDBlMWI1MDY3MzUyNGU1ZWNlYzkyODgzNTA%26mark-x%3D120%26mark-y%3D112%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTgzOCZoPTU4JnR4dD0lNDB5X2thbmkmdHh0LWNvbG9yPSUyMzFFMjEyMSZ0eHQtZm9udD1IaXJhZ2lubyUyMFNhbnMlMjBXNiZ0eHQtc2l6ZT0zNiZ0eHQtcGFkPTAmcz0wNDllMzhkYTQ0MzgyZjNlOWM3MzE3ODg2NDNkYTcyYw%26blend-x%3D242%26blend-y%3D480%26blend-w%3D838%26blend-h%3D46%26blend-fit%3Dcrop%26blend-crop%3Dleft%252Cbottom%26blend-mode%3Dnormal%26s%3Dc5640e8ee8313464a3fa7fc11e283700)
