ggplotとtidyなデータ - Qiita
今回はtidyではないデータをtidyなデータに変形することで、より簡単にggplotでデータを可視化する方法について書きたいと思います。 tidyなデータとは何ぞやという方、参考にあげているページをご覧ください（なげやりですみません。。）。 まず、tidyではないデータとして、以下のデータフレームを用意します。 tibbleはRのデータフレームオブジェクトを拡張させたオブジェクトで多くのメリットを持ちます。 library(tidyverse) #今回使用するtibble,tidyr,dplyr,stringr,ggplotパッケージはtidyverseパッケージに内包されています。 tb1 <- tibble(Place=c("Hiroshima","Osaka","Tokyo"), "2018-08-01 temperature" = c(30,33,28), "2018-10-01
Pythonのベクトルの類似度計算高速化 - Qiita
3万文書をベクトル化し、類似度計算するときに大量ベクトルの類似度計算にすさまじい時間がかかっていたので、効率的な計算方法を調査。scipyのライブラリを使うことで100倍くらい速くなったのでメモ。 from scipy.spatial import distance # ベクトルの作成 (Mは30,000×100の配列） M = [a.vector for a in articles] # a.vectorは100要素のnp.arrayベクトル # 30,000の記事の総当たり類似度を計算 dist_M = distance.cdist(M, M, metric='cosine') 結果がコサイン類似度ではなくコサイン距離で出るので注意。 今回の場合同じ配列同士を計算しているので、上三角形だけ計算するpdistの方がいいらしい。（計算時間が２分の１になる）。後ほど試す。
【初心者向け】初めての機械学習入門 - Qiita
初めて機械学習を行う方向け、初めての機械学習特集です。 今回は機械学習とはの概要と開発環境について紹介していきます。 機械学習とは データから知識を引きだし活用すること。 大きく教師あり学習と教師なし学習の２種類ある。 教師あり学習 ユーザーが入力データと望ましい出力のペア群をアルコリズムに与える。このペアのデータを「教師」としてアルコリズムは出力を生成するからである。詳しくは次回紹介。 教師なし学習 ユーザーが入力データのみをアルコリズムに与える。よって出力結果はどういったものになるか、わからない。詳しくは第３回で。 開発環境 Visual Studio Code マイクロソフトが開発しているソースコードエディタ。 Windows、Mac OS、Linux上でも使え、マークダウン エディタとしても使える優れもの。 多言語対応、拡張機能もあり、Pythonのデバックを可能にできる。 ダウン
tensorflow+Geforce RTXシリーズでパフォーマンスを確認してみる - Qiita
概要 RTX2080を衝動買いしたため、これで機械学習を高速化できないか、とtensorflow+CUDA10自家ビルドで試してみた話。 結果としては「FP32性能上昇分しか変わりませんでした」という残念なものになっています。 ただ、やり方を間違えている可能性はあるのでいずれリベンジ記事を書け...ればいいなぁ。 なおこの記事ですが「Windows10＋Python3.6」というマイナー(?)環境でやっていますのでその点ご注意を。 前準備 RTX20xxシリーズの機能をフルに使うにはCUDA10の案内で「Turingサポート」が挙げられているので、CUDA10を使ってやる必要がありそう。 が、ビルド済みパッケージの提供は プラットフォーム CUDAバージョン という状況で、どちらもCUDA10は組み込まれていません（10/9現在）。 なければビルド...ということでビルドしてみましたが、ど
NEologdをUbuntuに入れようとしたらMakeエラーが出た。 - Qiita
ど素人がwindowsにMeCabをいれて遊びたいと思ったのだが、思いのほかハマったので記録として残したいと思います。 はじめに 基本的には、趣味でPHPとpythonを独学でいじくっている、初心者に毛が生えた程度の実力です。 間違いや効率的な方法などありましたら、どんどん教えてください。コードレビューも大歓迎です。 よろしくお願いします。 環境 windows10 home Anaconda3-5.3.0 windowsにMeCab投入 特に難しいことはなく、以下を参考にしながらインストール PythonとMeCabで形態素解析(on Windows) NEologd辞書を入れる。 NEologdを入れるためにはWindows Subsystem for Linuxがひつようなため、下記を参考にUbuntu環境構築 Windows Subsystem for Linuxをインストールして
Amazon SageMaker の Jupyter で MeCab-NEologd を使う - Qiita
概要 Amazon SageMaker の Jupyter Notebook ( Python3 ) で MeCab ／ NEologd を使うためのセットアップ手順です 基本は公式手順どおりですが、下記でエラー回避と便利設定を加えています 外部インターネットへ接続可能なノートブックインスタンスを使います 端的にはページ下部のライフサイクル設定だけ適用すれば使えます 手順 Install mecab ノートブックインスタンスの Jupyter をオープンし、Terminal から次を実行 （インストール作業を行う場所は任意、ここでは別途マウントした EFS を指定しています） $ WORK_BASE="/efs" $ MECAB_ROOT="${WORK_BASE}/mecab" $ cd ${WORK_BASE} $ git clone https://github.com/taku91
Rのデータ可視化パッケージggplotの基本 - Qiita
Rのグラフィクスパッケージであるggplotの基本的な使い方を備忘録的にまとめていこうと思います。 library(ggplot2) df<-diamonds #今回はggplotパッケージに含まれるdiamondsデータセットを使います。df(dataframe)に代入します。 head(df) #dfの内容確認 # A tibble: 6 x 10 carat cut color clarity depth table price x y z <dbl> <ord> <ord> <ord> <dbl> <dbl> <int> <dbl> <dbl> <dbl> 1 0.23 Ideal E SI2 61.5 55 326 3.95 3.98 2.43 2 0.21 Premium E SI1 59.8 61 326 3.89 3.84 2.31 3 0.23 Good E VS1 56
ggplotで作成した複数のグラフを１枚にまとめる - Qiita
ggplotで作成した複数のグラフを１つの画像にまとめて出力します。 色々と複数の図をまとめるパッケージがあるみたいですが、今回はgridExtraパッケージを使います。興味のある方は参考ページを見てください。 まず、各グラフを作成します。作成の仕方はRのデータ可視化パッケージggplotの基本を参考にして下さい。 #パッケージの読み込み library(ggplot2) library(gridExtra) #各グラフの作成 df <- diamonds #データはdiamondsを使います。 p1 <- ggplot(df,aes(x=carat,y=price))+ geom_point() p2 <- ggplot(df,aes(x=cut,y=price))+ geom_boxplot() p3 <- ggplot(df,aes(x=price))+ geom_histogram
Pythonのベクトルの類似度計算高速化 - Qiita
3万文書をベクトル化し、類似度計算するときに大量ベクトルの類似度計算にすさまじい時間がかかっていたので、効率的な計算方法を調査。scipyのライブラリを使うことで100倍くらい速くなったのでメモ。 from scipy.spatial import distance # ベクトルの作成 (Mは30,000×100の配列） M = [a.vector for a in articles] # a.vectorは100要素のnp.arrayベクトル # 30,000の記事の総当たり類似度を計算 dist_M = distance.cdist(M, M, metric='cosine') 結果がコサイン類似度ではなくコサイン距離で出るので注意。 今回の場合同じ配列同士を計算しているので、上三角形だけ計算するpdistの方がいいらしい。（計算時間が２分の１になる）。後ほど試す。
pandas.queryからの値の更新はできない(chained indexing) - Qiita
numpy & pandasの講座の演習課題でハマったのでメモ。 環境は、anaconda3でまとめてインストールした、python3.6.5、pandas0.23.0 DataFrameの値を変更したいときはqueryではなくlocを使う。 例えばこんなDataFrameがあったとする In [2]: df = pd.DataFrame({"score":[10, 20, 30], ...: "address":["Kashiwa", "Matsudo", "Noda"], ...: "weight":[70, 80, 90]}, ...: columns = ["score", "weight", "address"]) ...: df.index = ["Taro", "Jiro", "Hanako"] ...: df ...: Out[2]: score weight addres
pandas で groupby した後のはなし - Qiita
した時に表示されるものの絶望は忘れません。 多くのチュートリアルは、data.groupby(['col1', 'col2'])の後に、.mean() .max() .sum() などの処理をする前提で書かれています。 とかすると、中身のデータは平均化されるけど、とりあえず見ることはできます。 ちゃんと公式のマニュアル Group By: split-apply-combineに他の処理方法が書かれてます。 他にもstackoverflowを漁っていると lambda を使う面白い記事がありました 元記事は見失ったのですが、僕が書いたプログラムの一例です。 とある生放送プラットフォームの視聴者側の会話やアイテムのログのdataframeからの抽出です。 Dataframeのdfでcol:idol_nameがmenberに含まれるものを抽出して、さらに視聴者のuseridとその視聴者のpoi
【プロ野球】清宮の3年後の打撃成績を予測する - Qiita
はじめに 2018年のプロ野球レギュラーシーズンも残りわずかです。 今年は悪天候による中止が多く、クライマックスシリーズ初日にまだレギュラーシーズンの試合をやっているという不思議な年になりました…。 今年の注目は、なんと言っても野手最多タイ7球団競合の清宮幸太郎選手。現在の1軍成績は、あと2試合を残し、「.200 7本塁打 18打点」となっています。ルーキーにしては十分な活躍ではありますが、まだ打線の主軸を張れるような成績ではありません。当初の期待が大きすぎたために、イマイチなイメージを持たれている方も多いのではないのでしょうか。 ということで、清宮は今後ファイターズの4番を打てるような打者になるのかを、機械学習で予測してみたいと思います。 手法 ランダムフォレスト（回帰） データ プロ野球データFreakさんのデータをスクレイピングして利用させていただきました。 2009年以降のデータが
CoLabでAutoEncoder - Qiita
これまで、KerasでAutoEncoderとか、KerasでAutoEncoderその2とかの記事を書いてきたんだけれど、これをGoogle Colaboratoryで動かしてみようか、というココロミについて。 Google Colaboratoryで動かせば、GPUが使えるのが大きい。 目的 手書きの数字の「1」を学習する 手書きの「1以外の数字」が入力された際に、その画像が「1」とは何やら違う、ということを示す まずは、KerasでAutoEncoderその2で書いたネタを、tensorflowのKerasで動作するようにするのがゴール。 Colab上で実装する Colabでpip install -U Kerasしようかと思ったけれど、tf.kerasを使うことにする。 まずは、Colabの「ファイル」メニューで「Python3の新しいノートブック」を選択して、ノートブックを作成す
dockerで機械学習(10) with anaconda(10)「実践 Deep Learning ――PythonとTensorFlowで学ぶ次世代の機械学習アルゴリズム」Nikhil Buduma 著 - Qiita
dockerで機械学習(10) with anaconda(10)「実践 Deep Learning ――PythonとTensorFlowで学ぶ次世代の機械学習アルゴリズム」Nikhil Buduma 著PythonDeepLearningDockerAnacondaTensorFlow この項は書きかけです。順次追記します。 1.すぐに利用したい方へ(as soon as) 「実践 Deep Learning ――PythonとTensorFlowで学ぶ次世代の機械学習アルゴリズム」Nikhil Buduma 著 https://www.oreilly.co.jp/books/9784873118321/ <この項は書きかけです。順次追記します。> docker dockerを導入し、Windows, Macではdockerを起動しておいてください。 Windowsでは、BiosでIn
Caffeで超軽量な "Semantic Segmentation" のモデルを生成する Sparse-Quantized CNN 512x1024_10MB_軽量モデル_その１ - Qiita
Caffeで超軽量な "Semantic Segmentation" のモデルを生成する Sparse-Quantized CNN 512x1024_10MB_軽量モデル_その１PythonDeepLearningCaffeSemanticSegmentationセグメンテーション ◆ はじめに 先月ようやく、今時のGPU付きのノートパソコンを購入できたので、本格的に趣味でDeepLearningに取り組めるようになった。 ただ、セマンティック・セグメンテーションに興味を持ってあれこれとモデルを作り始めてみたものの、最終生成されたモデルのサイズが 500MB とか、200MB とか、ロースペック端末では現実的に利用不可能な巨大なサイズとなることが分かり、途方に暮れていた。 都合上、 Pure Caffe や Pure Tensorflow 、あるいは、それらの派生フレームワーク で実装でき
Python×Keras×GANチュートリアル 人工知能でファッション生成（2） - Qiita
コードの解説 （２）もお読み頂きありがとうございます。 それでは、さっそく、コードの解説に移らせていただきたいと思います。まずはganの仕組みをしっかり理解する必要があります。原論文をきちんと読んだ上で、実装に即した形で説明したいと思います。 GANの実装の仕組み 基本の構成要素 GANは、２つのニューラルネットワークでできています。 generaterとdescriminaterです。面倒なので、ｇ，ｄと呼びます。ｇは、ニセの画像を作り出すニューラルネットワークです。ｄは、ｇが作ったニセの画像と、本物の画像を識別するニューラルネットワークです。 なので、ｇが偽造者、ｄが判別者などと呼ばれたりもします。 ｇとｄをトレーニングしていくと、最終的には、本物っぽい画像を生み出すｇが得られることになります。このｇを使えば、以後、本物っぽい画像をいくらでも生成できることになります。 gとｄの実装理念
Kerasでの学習とEagerModeでの学習の比較 - Qiita
概要 TensorFlowに導入されているEager Modeについて、プログラムの書き方を理解するため、Kerasとの書き方の比較をしてみました。また、学習結果の差がどうなるかを検証しました。 環境 TensorFlow v1.10 Windows10 Eager Modeの起動 まずは、TensorFlowをEagerModeに切り替えます。KerasはEagerModeにしておいても動くようです。 import tensorflow as tf tf.enable_eager_execution() tfe = tf.contrib.eager print("TensorFlow version: {}".format(tf.VERSION)) # TensorFlowのバージョン確認 print("Eager execution: {}".format(tf.executing_e
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
[pandas]DataFrameオブジェクトの複数条件でのフィルタリング - Qiita
Pythonでエクセルの操作 - Qiita
BatchNormalizationはどこに入れればいいのか?(CNN編②）