7.2. Feature extraction
7.2. Feature extraction# The sklearn.feature_extraction module can be used to extract features in a format supported by machine learning algorithms from datasets consisting of formats such as text and image. Note Feature extraction is very different from Feature selection: the former consists of transforming arbitrary data, such as text or images, into numerical features usable for machine learnin
2.3. Clustering — scikit-learn 0.20.0 documentation
2.3. Clustering# Clustering of unlabeled data can be performed with the module sklearn.cluster. Each clustering algorithm comes in two variants: a class, that implements the fit method to learn the clusters on train data, and a function, that, given train data, returns an array of integer labels corresponding to the different clusters. For the class, the labels over the training data can be found
sklearn.neural_network.MLPClassifier — scikit-learn 0.20.0 documentation
MLPClassifier# class sklearn.neural_network.MLPClassifier(hidden_layer_sizes=(100,), activation='relu', *, solver='adam', alpha=0.0001, batch_size='auto', learning_rate='constant', learning_rate_init=0.001, power_t=0.5, max_iter=200, shuffle=True, random_state=None, tol=0.0001, verbose=False, warm_start=False, momentum=0.9, nesterovs_momentum=True, early_stopping=False, validation_fraction=0.1, be
Udemy「Pythonで機械学習：scikit-learnで学ぶ識別入門」を受講後の感想・まとめ その1 - Qiita
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 機械学習を仕事で使うため、Udemyで色々と受講しています。 その中で、「Pythonで機械学習：scikit-learnで学ぶ識別入門」を受講したので、そのメモです。 感想 非常に充実しています。 オープニングで、扱っているのは予測ではなく識別のみと宣言しているため、内容が統一されていると感じます。 ボリュームはかなりあります。単に講座を聞くだけなら2~3日で終わりますが、講座を聞いて、手元のJupyter notebookで理解しながらコードを確認・修正して..とやっていると、社会人だと6~7日は必要かと思います。 データ分割～学習
Scikit-learnの回帰/分類/クラスタ/次元圧縮を考えてみる - Qiita
1.書こうと思た動機 機械学習の勉強のため、Scikit-learnを実行してみました。 でも回帰と分類、よくわからず行っていました。 よってSVMで株価の推定を行おうというアホなことをやっていました。 勉強不足は棚に上げて でもよくよく見るとどの参考書等でもいきなりやりたいことが〇〇だからSVM使おうぜみたいな記載、またはもっと概念的な記載が多いかと思います。 そこで具体例を含めた記載にチャレンジしたいと思います。 1.1お断り 全４つを纏めたうえで書くのではなく進捗具合に合わせて途中の状態であってもアップしていきます。 その後、勉強していく中で自分の中で整理がついたら順次更新いたします。 2.機械学習のアルゴリズム 本家の説明文書は以下の通り。 http://scikit-learn.org/stable/tutorial/machine_learning_map/ 2.1分類（cla
sklearn.svm.SVCのpredict_probaって - Qiita
はじめに SVMで二クラス(0/1)の分類器を学習して、各データのクラス1への所属確率を出したい用ができたので sklearn.svm.SVC を見ていたら、predict_probaとかいうまさになやつを見つけたので、使って見たら ん?ってなった話。 ん?ってなったこと predict(X)で予測した結果とpredict_probaで算出した確率の整合が取れてない（時がたまにあった）のです。 準備 いったんpredictとpredict_probaの仕様を確認。 predict(X) [データ数]行 × [次元数]列の特徴量行列 X を引数にして、データ数分の予測ラベルを返すそうです。読む必要なかった。 predict_proba(X) [データ数]行 × [次元数]列の特徴量行列 X を引数にして、各データがそれぞれのクラスに所属する確率を返す、って書いてあります。で、最後に「列はクラ
dockerで機械学習(38) with anaconda(38)「Mastering Machine Learning with scikit-learn」2nd Edition By Gavin Hackeling - Qiita
以下のshell sessionでは (base) root@f19e2f06eabb:/#は入力促進記号(comman prompt)です。実際には数字の部分が違うかもしれません。この行の#の右側を入力してください。 それ以外の行は出力です。出力にエラー、違いがあれば、コメント欄などでご連絡くださると幸いです。 それぞれの章のフォルダに移動します。 dockerの中と、dockerを起動したOSのシェルとが表示が似ている場合には、どちらで捜査しているか間違えることがあります。dockerの入力促進記号(comman prompt)に気をつけてください。 ファイル共有または複写 dockerとdockerを起動したOSでは、ファイル共有をするか、ファイル複写するかして、生成したファイルをブラウザ等表示させてください。参考文献欄にやり方のURLを記載しています。 dockerを起動したOSの
dockerで機械学習(35) with anaconda(35)「scikit-learn Cookbook」 2nd Edition By Trent Hauck, Julian Avila - Qiita
(base) root@a221771835f7:/scikit-learn/sklearn# python setup.py non-existing path in '__check_build': '_check_build.c' Appending sklearn.__check_build configuration to sklearn Ignoring attempt to set 'name' (from 'sklearn' to 'sklearn.__check_build') Appending sklearn._build_utils configuration to sklearn Ignoring attempt to set 'name' (from 'sklearn' to 'sklearn._build_utils') Appending sklearn.s
[SIGNATE]画像で遊んでみる(土砂崩れを探せ) - Qiita
なんか新しいコンペのメールが来てたのでSIGNATEのコンペのデータで遊んでみた。 コンペの目的 Tellus Satellite Challengeは、衛星データの利活用事例の可視化、優秀な分析人材の発掘、衛星データ種やフォーマットの周知・啓蒙等、Tellusの利活用の促進を目的としたデータ分析コンテストです。 第1回目のテーマは「SARデータを用いた土砂崩れ検出」です。 近年、自然災害のリスクが高まる中、災害時の土砂崩れの迅速把握が人命救助の観点などから極めて重要であり、観測衛星からのモニタリングが緊急時対応で実施されております。取得されたデータから土砂崩れを判定する業務は、専門家の高度なスキルにより解析される一方で、その判定は容易ではないのが実際です。そこで今回のチャレンジでは衛星画像データから土砂崩れ領域をより高い精度で検出するアルゴリズムの開発を目指します。 とのこと。 ここに書
![[SIGNATE]画像で遊んでみる(土砂崩れを探せ) - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/d08b53492f99cd4ae7f5c88981f82e23808fe42d/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fqiita-user-contents.imgix.net%252Fhttps%25253A%25252F%25252Fcdn.qiita.com%25252Fassets%25252Fpublic%25252Farticle-ogp-background-afbab5eb44e0b055cce1258705637a91.png%253Fixlib%253Drb-4.0.0%2526w%253D1200%2526blend64%253DaHR0cHM6Ly9xaWl0YS11c2VyLXByb2ZpbGUtaW1hZ2VzLmltZ2l4Lm5ldC9odHRwcyUzQSUyRiUyRnFpaXRhLWltYWdlLXN0b3JlLnMzLmFtYXpvbmF3cy5jb20lMkYwJTJGMTA2NjM5JTJGcHJvZmlsZS1pbWFnZXMlMkYxNDczNzA5OTkwP2l4bGliPXJiLTQuMC4wJmFyPTElM0ExJmZpdD1jcm9wJm1hc2s9ZWxsaXBzZSZiZz1GRkZGRkYmZm09cG5nMzImcz1hNDM5MDBiMDZkZTcxMThjOTg4ZDdmN2M0NGM0M2Q2ZA%2526blend-x%253D120%2526blend-y%253D467%2526blend-w%253D82%2526blend-h%253D82%2526blend-mode%253Dnormal%2526s%253Dac70949d432607b5e148f26d8a33365c%3Fixlib%3Drb-4.0.0%26w%3D1200%26fm%3Djpg%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTk2MCZoPTMyNCZ0eHQ9JTVCU0lHTkFURSU1RCVFNyU5NCVCQiVFNSU4MyU4RiVFMyU4MSVBNyVFOSU4MSU4QSVFMyU4MiU5MyVFMyU4MSVBNyVFMyU4MSVCRiVFMyU4MiU4QiUyOCVFNSU5QyU5RiVFNyVBMCU4MiVFNSVCNCVBOSVFMyU4MiU4QyVFMyU4MiU5MiVFNiU4RSVBMiVFMyU4MSU5QiUyOSZ0eHQtYWxpZ249bGVmdCUyQ3RvcCZ0eHQtY29sb3I9JTIzMUUyMTIxJnR4dC1mb250PUhpcmFnaW5vJTIwU2FucyUyMFc2JnR4dC1zaXplPTU2JnR4dC1wYWQ9MCZzPWJlNjhjZTU0N2JlMDRiODcxZjRjYTRhOThhZTUxNjFh%26mark-x%3D120%26mark-y%3D112%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTgzOCZoPTU4JnR4dD0lNDByeW9fbmFrYSZ0eHQtY29sb3I9JTIzMUUyMTIxJnR4dC1mb250PUhpcmFnaW5vJTIwU2FucyUyMFc2JnR4dC1zaXplPTM2JnR4dC1wYWQ9MCZzPWI4ZWVmM2M1NzA2ODU3ZTgyY2RkZmFlMDE5NTBjNjk2%26blend-x%3D242%26blend-y%3D480%26blend-w%3D838%26blend-h%3D46%26blend-fit%3Dcrop%26blend-crop%3Dleft%252Cbottom%26blend-mode%3Dnormal%26s%3Dd43f96e0f08cfbd11d5fbdfb1c398f0e)
サポートベクターマシーンのパラメータをいろいろといじってみる(画像データの分類問題) - Qiita
初めに 機械学習の教科書では(紙面の都合上やらなさそうな)様々なパラメータを変えた際にどのように変化するのかについて、SVCを用いてやってみました。 ちなみに使用したのは0~9までの数字が書かれたDigitsの画像データ。 Digitsのデータについてこちらで可視化等は行ってみています。 LinearSVC まずはsvm.LinearSVCで正則化定数Cのチューニングを行ってみたいと思います。カーネル法を試す前に線形のSVMから始めた方が良いらしいです。結果はロジスティクス回帰分析とだいたい同じような感じになります。 svm.LinearSVCはLinearに特化したアルゴリズムのため、svm.SVCよりも高速で動くとのこと(未検証) 交差検証は10分割で行い、正答率の平均値を今回はscoreとして、プロットしてみました。(本来はテストデータを訓練データを分けてから交差検証した方が、よいで
sklearn.linear_model.LinearRegression — scikit-learn 0.20.0 documentation
LinearRegression# class sklearn.linear_model.LinearRegression(*, fit_intercept=True, copy_X=True, tol=1e-06, n_jobs=None, positive=False)[source]# Ordinary least squares Linear Regression. LinearRegression fits a linear model with coefficients w = (w1, …, wp) to minimize the residual sum of squares between the observed targets in the dataset, and the targets predicted by the linear approximation.
キーワードベースのログ監視からの脱却を目指して、ログクラスタリングによるパターン毎の出力頻度ヒートマップ化を試してみる - Qiita
ログの監視といえば、特定のキーワード(例えばErrorという文字列とか、Warningという文字列とか)をベースに監視ツールで検知させるといったことを実施するのが一般的かと思います。 ただ、この対処をするには、どういったログが出力されるのかを予め知っておく必要があり、その条件を決めるのもなかなか大変なのではないでしょうか。 そのようなケースに対し、もう少し分析技術の要素を取り入れて異常な状態に気づけるようにするアプローチを考えてみます。 試したこと 今回試したのは、ログをgensimのdoc2vecでベクトル化し、k-meansでクラスタリング。 さらにそれを時間毎に区分けして各ログパターンの発生件数をヒートマップ化してみます。 サンプルプログラム Python3で、gensim、matplotlib、sklearnのKMeansを利用しています。 # !/bin/env python f
5. Dataset loading utilities — scikit-learn 0.19.2 documentation
5. Dataset loading utilities¶ The sklearn.datasets package embeds some small toy datasets as introduced in the Getting Started section. To evaluate the impact of the scale of the dataset (n_samples and n_features) while controlling the statistical properties of the data (typically the correlation and informativeness of the features), it is also possible to generate synthetic data. This package als
sklearn.model_selection.train_test_split — scikit-learn 0.19.2 documentation
train_test_split# sklearn.model_selection.train_test_split(*arrays, test_size=None, train_size=None, random_state=None, shuffle=True, stratify=None)[source]# Split arrays or matrices into random train and test subsets. Quick utility that wraps input validation, next(ShuffleSplit().split(X, y)), and application to input data into a single call for splitting (and optionally subsampling) data into a
API Reference — scikit-learn 0.19.2 documentation
API Reference# This is the class and function reference of scikit-learn. Please refer to the full user guide for further details, as the raw specifications of classes and functions may not be enough to give full guidelines on their use. For reference on concepts repeated across the API, see Glossary of Common Terms and API Elements.
【Python】pickle（漬け物）は仮想マシンだった——仕組みとリスク - Qiita
Pythonでは、pickle（英：漬け物）という仕組みを利用することで、オブジェクトをシリアライズ化できます。これにより、構造をもつデータの転送や、永続化——データを生成したプログラムが終了してもそのデータを存続させること——が可能となります。 pickleを利用するよう自分で設計することもあるでしょう。あるいは、ライブラリのマニュアルにpickleを利用するよう記載されていることもあるでしょう。例えば、scikit-learnでは、pickleか、joblib拡張版のpickleを利用してモデルを永続化するよう記載があります。機械学習つながりで言えば、書籍の付録として学習済みの重みがpickleで提供されることもあるでしょう。 pickleは、その利便性と、公式ドキュメントやPythonチュートリアルにおける、物騒な警告で有名です。 警告：pickle モジュールはエラーや不正に生成さ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
教師あり機械学習アルゴリズムの長所、欠点をまとめようとした - Qiita
[SIGNATE]画像で遊んでみる(土砂崩れを探せ) その２ - Qiita![[SIGNATE]画像で遊んでみる(土砂崩れを探せ) その２ - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/9af13dead9b4ffa63741043767c713dbf8ac48f4/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fqiita-user-contents.imgix.net%252Fhttps%25253A%25252F%25252Fcdn.qiita.com%25252Fassets%25252Fpublic%25252Farticle-ogp-background-afbab5eb44e0b055cce1258705637a91.png%253Fixlib%253Drb-4.0.0%2526w%253D1200%2526blend64%253DaHR0cHM6Ly9xaWl0YS11c2VyLXByb2ZpbGUtaW1hZ2VzLmltZ2l4Lm5ldC9odHRwcyUzQSUyRiUyRnFpaXRhLWltYWdlLXN0b3JlLnMzLmFtYXpvbmF3cy5jb20lMkYwJTJGMTA2NjM5JTJGcHJvZmlsZS1pbWFnZXMlMkYxNDczNzA5OTkwP2l4bGliPXJiLTQuMC4wJmFyPTElM0ExJmZpdD1jcm9wJm1hc2s9ZWxsaXBzZSZiZz1GRkZGRkYmZm09cG5nMzImcz1hNDM5MDBiMDZkZTcxMThjOTg4ZDdmN2M0NGM0M2Q2ZA%2526blend-x%253D120%2526blend-y%253D467%2526blend-w%253D82%2526blend-h%253D82%2526blend-mode%253Dnormal%2526s%253Dac70949d432607b5e148f26d8a33365c%3Fixlib%3Drb-4.0.0%26w%3D1200%26fm%3Djpg%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTk2MCZoPTMyNCZ0eHQ9JTVCU0lHTkFURSU1RCVFNyU5NCVCQiVFNSU4MyU4RiVFMyU4MSVBNyVFOSU4MSU4QSVFMyU4MiU5MyVFMyU4MSVBNyVFMyU4MSVCRiVFMyU4MiU4QiUyOCVFNSU5QyU5RiVFNyVBMCU4MiVFNSVCNCVBOSVFMyU4MiU4QyVFMyU4MiU5MiVFNiU4RSVBMiVFMyU4MSU5QiUyOSVFMyU4MCU4MCVFMyU4MSU5RCVFMyU4MSVBRSVFRiVCQyU5MiZ0eHQtYWxpZ249bGVmdCUyQ3RvcCZ0eHQtY29sb3I9JTIzMUUyMTIxJnR4dC1mb250PUhpcmFnaW5vJTIwU2FucyUyMFc2JnR4dC1zaXplPTU2JnR4dC1wYWQ9MCZzPTYwZTVkNjQ0ZDAzN2ZhNjA2MmRhN2I1ODBhMWEwZmRk%26mark-x%3D120%26mark-y%3D112%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTgzOCZoPTU4JnR4dD0lNDByeW9fbmFrYSZ0eHQtY29sb3I9JTIzMUUyMTIxJnR4dC1mb250PUhpcmFnaW5vJTIwU2FucyUyMFc2JnR4dC1zaXplPTM2JnR4dC1wYWQ9MCZzPWI4ZWVmM2M1NzA2ODU3ZTgyY2RkZmFlMDE5NTBjNjk2%26blend-x%3D242%26blend-y%3D480%26blend-w%3D838%26blend-h%3D46%26blend-fit%3Dcrop%26blend-crop%3Dleft%252Cbottom%26blend-mode%3Dnormal%26s%3D3a640fcc4643d37a20c363c5880b6e4e)
株価をscikit-learnで機械学習してみる 回帰編 - Qiita
記事のスクレイピングを機械学習で自動化 - Qiita
