scikit-learn による最も基本的なクラスタリング分析 - Qiita
scikit-learn + クラスタリングに関してはこのブログのだいぶ初期にちょっとだけ触ったのですが、今にして思うと説明不足感が否めないですし、そもそもこれだけじゃ scikit-learn を思い通りの目的にあわせて使えないという意見もあるかと思います。そこで改めて scikit-learn による基本的なクラスタリングについて説明していきます。 といっても基本的な話としては本家のドキュメントを読めで話が終わってしまうのですが、日本語の情報があると何かと助かるということもあるかと思います。 生徒の成績をもとに班分けをおこなう よくあるケースとしては例えば、生徒の国語・数学・英語の成績をもとにいくつかのグループに分けたいという場面です。このとき、各科目の合計点の上位から順番に分けてもいいのですが、中には国語が良く出来るけど数学はいまひとつな生徒、数学は得意だけど国語はいまひとつな生徒も
scikit-learn によるクラスタリング (1) - Qiita
クラスタリングの概要 実装根拠は以下を参照してください。 K-means++ K-means 英語ですけど日本語のページより情報量が多くまた厳密性があると思います。 scikit-learn の概要 Python で機械学習のあれこれをできる超便利なライブラリです。この辺を読んでください。 scikit-learn scikit-learn の紹介 前提 入力ファイルとして文字列ごとに改行で区切られたテキストファイルを想定します。 使い方としては python clustering.py input.txt output.txt のように引数に入出力ファイルを指定します。 途中 print() で途中結果を表示しています。 出力ファイルにクラスタリング後のデータが出力されます。 ぜひ適当なテキストファイルを用意して実際に動かしてみてください。 実装 コード全体は以下の通りです。 clust
scikit-learnでCross Validation - Qiita
scikit-learnCross ValidationとGrid Searchをやってみた。 Cross Validation 詳しいことはWikipediaに書いてある。 Cross Validationはモデルの妥当性を検証する方法のひとつ。一般的に開発用のデータは訓練データと検証データに分かれる。 しかし、このまま行ってしまうと折角の訓練データが減ってしまうことになる上に、訓練データの選び方によって汎化性能が下がってしまう可能性がある。 Wikipediaに書いてあるもののホールド・アウト検定がこれに当たる。一般にはこれはCross Validationにはあたらない。 ここに書いてあるK-分割交差検定がこれに当たる。K-分割交差検定では開発用のデータをK個に分割しK-1個を訓練用に、残りの一つを検証用に使いモデルの正当性を計算する。 これにより使える訓練データが増えると同時に、こ
Scikit-learnでハイパーパラメータのグリッドサーチ - Qiita
# -*- coding: utf-8 -*- from sklearn import datasets from sklearn.cross_validation import train_test_split from sklearn.grid_search import GridSearchCV from sklearn.metrics import classification_report, confusion_matrix from sklearn.svm import SVC ## データの読み込み digits = datasets.load_digits() X = digits.data y = digits.target ## トレーニングデータとテストデータに分割． X_train, X_test, y_train, y_test = train_test_spli
Python + scikit-learn + Django で機械学習を利用したツールを作る - Qiita
過去のデータから未来の数値を予測するちょっとしたツールを社内向けに作りました。単に学習済のモデルを使って予測値とグラフを表示するだけなら Jupyter Notebook でも良いのですが、非プログラマーが想定ユーザーだったので Web アプリケーションにしました。この方がユーザーとって不要な Python のコードが表示されませんし、データの追加・修正を安全に行うことができます。 仕様など 社内用のツールなので詳細は伏せますが、今回作るのは過去のデータから未来のデータを予測し、数値とグラフを表示します。過去データは手動で入力し、バッチ処理により学習と予測を行います。想定ユーザーは社内で1名のみ。予測結果は今後のユーザーが業務上で意思決定を行うときに参考データのひとつとして利用されます。 バージョンは下記の通りです。 $ python --version Python 3.6.2 :: A
Pythonでローソク足チャートの表示（matplotlib編） - Qiita
Pythonでグラフを描画するパッケージはたくさんあるのですが、なかなかローソク足チャートに特化したものはありません。 今回、４本値データから比較的簡単にローソク足チャートが作成できるパッケージとして、matplotlibとPlotlyを試してみました。 準備 本記事のPythonコードは、Jupyter notebookで実行することを前提としています。チャートもJupyter notebookにインライン表示させます。 まずは、2016年6月から２か月分の架空の相場データを作成します。 Pythonでランダムウォーク を参考に、 %matplotlib inline import numpy as np import pandas as pd idx = pd.date_range('2016/06/01', '2016/07/31 23:59', freq='T') dn = np.
TensorFlowとCNNで、自作データセットを画像分類する
初めまして！ BitStarでエンジニアのインターンをしている久根間です。 普段は、Railsで、社内システムや自社サービスの開発をしていますが、個人的に、機械学習に興味があるので、自作したデータセットを画像解析する方法をまとめてみようと思います。 はじめに この記事では、TensorflowのDeep MNIST for Expertsチュートリアルのコードを少し変えて、自作したデータセットを学習させていく方法を書いていきたいと思います。なので、今回は、データの扱いを中心にいきたいと思います。チュートリアルやCNNについては、深く突っ込まないので、ご了承ください。 具体的に、何を分類するかですが、BitStarでは、YouTubeのチャンネルを、ジャンルごとに分類したりしています。そこで、『YouTubeのサムネイルから、動画の内容を分類する』をやっていきたいと思います。〜やってみたの動
pandas-profilingが探索的データ解析にめちゃめちゃ便利だった件 - GoogleColab編 - Qiita
はじめに 以下記事よりGoogleColabratoryでは表示、挙動が不安定とのこと、解決方法があったので紹介します。 【Pythonメモ】pandas-profilingが探索的データ解析にめちゃめちゃ便利だった件 Colaboratoryでやると表示、挙動が不安定でした。 Kaggle KernelはOK。 Colaboratoryでは何か方法があるかもしれません。 IT詳しい方、ご存知でしたら教えてください。 2020/2/4 追記 以前までは以下のように一度htmlファイルに出力してからfrom IPython.display import HTMLを使って描画するようにしていました。 2020/10/3 追記 下記コードの内容を@Kudaka さんの指摘を受けて修正しました。 import pandas as pd import warnings from pandas_pro
PiCameraとKerasで物体認識 - Qiita
Keras動かせたから何かそこらにあるものを対象にできないかと、Raspberry Piの純正カメラモジュールを使って、定番の画像分類をやってみた。 RasPi OneでTensorflow/Kerasを動かす。で使ったKerasのClassify ImageNet classes with ResNet50にPicameraの出力を渡しているだけです。 カメラモジュール: PiNoIR Camera Module オリジナルのものです。今はVer.2になってます。 ## サンプルコード import io import time import picamera import picamera.array import cv2 from keras.applications.resnet50 import ResNet50 from keras.preprocessing.image im
[Keras/TensorFlow] KerasでTensorBoardの利用 - Qiita
目的 ゼロからKerasとTensorFlow(TF)を自由自在に動かせるようになる。 そのための、End to Endの作業ログ(備忘録)を残す。 ※環境はMacだが、他のOSでの汎用性を保つように意識。 ※アジャイルで執筆しており、精度を逐次高めていく予定。 環境 Mac: 10.12.3 Python: 3.6 TensorFlow: 1.0.1 Keras: 2.0.2 To Do Keras(Tensorflow)の環境構築 KerasでMINSTの学習と予測 KerasでTensorBoardの利用 <---いまココ Kerasで重みファイルの保存/読み込み Kerasで自前データの学習と予測 Kerasで転移学習 参考 流れ TensorBoardを表示されるためには、モデルを学習した時に出力されるlogファイルが必要になる。そのため、log用ディレクトリの作成とサンプルスク
![[Keras/TensorFlow] KerasでTensorBoardの利用 - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/405852bdc9ee493d1e75c006b7e82ad7edcc8952/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fqiita-user-contents.imgix.net%252Fhttps%25253A%25252F%25252Fcdn.qiita.com%25252Fassets%25252Fpublic%25252Farticle-ogp-background-afbab5eb44e0b055cce1258705637a91.png%253Fixlib%253Drb-4.0.0%2526w%253D1200%2526blend64%253DaHR0cHM6Ly9xaWl0YS11c2VyLXByb2ZpbGUtaW1hZ2VzLmltZ2l4Lm5ldC9odHRwcyUzQSUyRiUyRnFpaXRhLWltYWdlLXN0b3JlLnMzLmFtYXpvbmF3cy5jb20lMkYwJTJGMTc1MDkyJTJGcHJvZmlsZS1pbWFnZXMlMkYxNDkxOTY1NTQzP2l4bGliPXJiLTQuMC4wJmFyPTElM0ExJmZpdD1jcm9wJm1hc2s9ZWxsaXBzZSZiZz1GRkZGRkYmZm09cG5nMzImcz1mYzdmZGQxOTY1YzRlY2I2OTA3YjIxMWY2OGE3YjZhMQ%2526blend-x%253D120%2526blend-y%253D467%2526blend-w%253D82%2526blend-h%253D82%2526blend-mode%253Dnormal%2526s%253D087cc3613eb2eb54bed820b66db40323%3Fixlib%3Drb-4.0.0%26w%3D1200%26fm%3Djpg%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTk2MCZoPTMyNCZ0eHQ9JTVCS2VyYXMlMkZUZW5zb3JGbG93JTVEJTIwS2VyYXMlRTMlODElQTdUZW5zb3JCb2FyZCVFMyU4MSVBRSVFNSU4OCVBOSVFNyU5NCVBOCZ0eHQtYWxpZ249bGVmdCUyQ3RvcCZ0eHQtY29sb3I9JTIzMUUyMTIxJnR4dC1mb250PUhpcmFnaW5vJTIwU2FucyUyMFc2JnR4dC1zaXplPTU2JnR4dC1wYWQ9MCZzPTg1MzhmMWZjN2NiNDFiMmEyZTM1N2U1MTdjYzM1NzEy%26mark-x%3D120%26mark-y%3D112%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTgzOCZoPTU4JnR4dD0lNDBhZ3Vtb24mdHh0LWNvbG9yPSUyMzFFMjEyMSZ0eHQtZm9udD1IaXJhZ2lubyUyMFNhbnMlMjBXNiZ0eHQtc2l6ZT0zNiZ0eHQtcGFkPTAmcz01MmU1MGE3NmNjYzA3NDFlMmQ0ZjQwMzQwNWU2MzgyZA%26blend-x%3D242%26blend-y%3D480%26blend-w%3D838%26blend-h%3D46%26blend-fit%3Dcrop%26blend-crop%3Dleft%252Cbottom%26blend-mode%3Dnormal%26s%3Dff0596909c813d809dc49198d986d2d3)
TensorFlow.jsでMNIST学習済モデルを読み込みブラウザで手書き文字認識をする - Qiita
先日行われたTensorFlow Dev Summit 2018の「Machine Learning in JavaScript」で、Webブラウザ上で実行可能な機械学習ライブラリとしてTensorFlow.jsが公開されました。 そこで、素振りがてらにこんなものを作ってみました。 これは、手書き数字識別のトレーニング済モデルをTensorFlow.jsで読み込むことで、Webブラウザ上で書いた数字が0~9のどれかを予測しています。 主なフロー TensorFlow or Kerasで学習済みモデルを作成 tensorflowjs_converterでTensorFlow.jsで読み込める形に変換 TensorFlow.jsで変換済モデルを読み込んで推論を実行 今回はKerasを使用した方法を紹介していますが、TensorFlowの場合も同様なフローになります。 具体的には、1で出力するフ
ssd-kerasをターミナルで動かす - Qiita
はじめに オブジェクト検出のアルゴリズムのSSDをkerasで実装したリポジトリがあります。 rykov8/ssd_keras こちらにはJupyter用のサンプルコードがありますが、ターミナルですぐ動かせるコードがなかったため、 Jupyter用のサンプルコード(SSD.ipynb)を参考に作成しました。 コード import cv2 import keras from keras.applications.imagenet_utils import preprocess_input from keras.backend.tensorflow_backend import set_session from keras.models import Model from keras.preprocessing import image import matplotlib.pyplot as
【翻訳】scikit-learn 0.18 User Guide 4.2 特徴抽出 - Qiita
4.2.1. dictsからの特徴量のロード クラスDictVectorizerは、標準のPython dictオブジェクトのリストとして表される特徴量配列を、scikit-learn推定器で使用されるNumPy / SciPy表現に変換するために使用できます。 特に処理が速いわけではありませんが、Pythonのdictには、使いやすく、疎である（存在しない特徴を格納する必要はありません）、値に加えて特徴名を格納できるという利点があります。 DictVectorizerは、カテゴリ（または、名目、離散値）に対して、1対1のコーディングまたは「ワンホット」コーディングを実装ます。カテゴリ属性は、値に順番のない離散性のリスト（トピック識別子、オブジェクトのタイプ、タグ、名前など）に制限される「属性 - 値」のペアです。 以下では、「city」はカテゴリ属性であり、「temperature」は従
データ分析で頻出のPandas基本操作 - Qiita
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? はじめに 機械学習や深層学習が人気の昨今ですが、それらのモデルの精度に最もクリティカルに影響するのはインプットするデータの質です。データの質は、データを適切に把握し、不要なデータを取り除いたり、必要なデータを精査する前処理を行うことで高めることができます。 本頁では、データ処理の基本ツールとしてPandasの使い方を紹介します。Pandasには便利な機能がたくさんありますが、特に分析業務で頻出のPandas関数・メソッドを重点的に取り上げました。 Pandasに便利なメソッドがたくさんあることは知っている、でもワイが知りたいのは分析に最
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
pandasでよく使う文法まとめ - Qiita
Parquet, CSV, Pandas DataFrameをPyArrow経由で相互変換する - Qiita
matplotlib によるデータ可視化の方法 (2) - Qiita
Kerasで画像分類～前処理から分類テストまで～ - Qiita
【Pythonメモ】pandas-profilingが探索的データ解析にめちゃめちゃ便利だった件 - Qiita
pandasのDataFrameの複数列を同時にastypeで型変換 - Qiita
