タイタニック号乗客の生存予測モデルを立ててみる - Qiita
はじめに この記事はGizumoエンジニア Advent Calendar 2015の24日目の記事です。 株式会社Gizumoというまだ出来て半年という若い会社でWebアプリエンジニアやってる@suzumiです。 アドベントカレンダー２回目の記事になります。 一回目の記事は「IoT - node.jsを使ってWebからエアコンを遠隔操作できるようにしてみた」です。 よければ合わせてご覧下さい。 お題 まずはじめにKaggleを知っておきましょう。 Kaggleとは Kaggleは企業や研究者がデータを投稿し、世界中の統計家やデータ分析家がその最適モデルを競い合う、予測モデリング及び分析手法関連プラットフォーム及びその運営会社である。 -- WikiPediaより 引用にある通り、企業などがデータを投稿して、それに対して分析やモデリングをして最適なモデリングを競い合うサイトです。 データを
[SIGNATE]画像で遊んでみる(土砂崩れを探せ) その２ - Qiita
前回はあまりにさっぱりだったので別の方法を試してみる。 Deep Learningを試してみる scikit-learnでDeep Learningもできそうということで入れてみることにする https://qiita.com/ToshikiShimizu/items/3c0b8713a26ee10b689e https://algorithm.joho.info/machine-learning/python-scikit-learn-neural-network-iris/ ついでに画像についても正規化してから差分をとるようにしてみる。 MLPについてはとりあえずデフォルトのまま試す。 正規化 np_feature = np_feature.astype(np.float64) np_feature =np_feature / np_feature.max()
![[SIGNATE]画像で遊んでみる(土砂崩れを探せ) その２ - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/4632ddda779e0b4723c0aa0b387218373e76cdde/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Farticle-ogp-background-9f5428127621718a910c8b63951390ad.png%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTkxNiZoPTMzNiZ0eHQ9JTVCU0lHTkFURSU1RCVFNyU5NCVCQiVFNSU4MyU4RiVFMyU4MSVBNyVFOSU4MSU4QSVFMyU4MiU5MyVFMyU4MSVBNyVFMyU4MSVCRiVFMyU4MiU4QiUyOCVFNSU5QyU5RiVFNyVBMCU4MiVFNSVCNCVBOSVFMyU4MiU4QyVFMyU4MiU5MiVFNiU4RSVBMiVFMyU4MSU5QiUyOSVFMyU4MCU4MCVFMyU4MSU5RCVFMyU4MSVBRSVFRiVCQyU5MiZ0eHQtY29sb3I9JTIzMjEyMTIxJnR4dC1mb250PUhpcmFnaW5vJTIwU2FucyUyMFc2JnR4dC1zaXplPTU2JnR4dC1jbGlwPWVsbGlwc2lzJnR4dC1hbGlnbj1sZWZ0JTJDdG9wJnM9ZjFjYzc1ODMwNDdjNzBiMGU3NDk4N2U0YTE1OGQ3YTg%26mark-x%3D142%26mark-y%3D112%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTYxNiZ0eHQ9JTQwcnlvX25ha2EmdHh0LWNvbG9yPSUyMzIxMjEyMSZ0eHQtZm9udD1IaXJhZ2lubyUyMFNhbnMlMjBXNiZ0eHQtc2l6ZT0zNiZ0eHQtYWxpZ249bGVmdCUyQ3RvcCZzPTllM2UyYzdhYzQxYjdkZjcyMjFmMzMxNjZkNjk3NjE0%26blend-x%3D142%26blend-y%3D491%26blend-mode%3Dnormal%26s%3D8bd278219cdaa4b756edd49989253d43)
Udemy「Pythonで機械学習：scikit-learnで学ぶ識別入門」を受講後の感想・まとめ その1 - Qiita
機械学習を仕事で使うため、Udemyで色々と受講しています。 その中で、「Pythonで機械学習：scikit-learnで学ぶ識別入門」を受講したので、そのメモです。 非常に充実しています。 オープニングで、扱っているのは予測ではなく識別のみと宣言しているため、内容が統一されていると感じます。 ボリュームはかなりあります。単に講座を聞くだけなら2~3日で終わりますが、講座を聞いて、手元のJupyter notebookで理解しながらコードを確認・修正して..とやっていると、社会人だと6~7日は必要かと思います。 データ分割～学習～認識の流れで、学習に進んだと思ったらデータ分割の別の方法の説明があるなどで、飛ぶことがある印象です。また、同じ識別器でもサンプルデータ・癌データでセクションが別なので、類似説明が続く印象もあります。その場合はスキップしてよいかと。最後にまとめがあると嬉しかったか
Scikit-learnの回帰/分類/クラスタ/次元圧縮を考えてみる - Qiita
1.書こうと思た動機 機械学習の勉強のため、Scikit-learnを実行してみました。 でも回帰と分類、よくわからず行っていました。 よってSVMで株価の推定を行おうというアホなことをやっていました。 勉強不足は棚に上げて でもよくよく見るとどの参考書等でもいきなりやりたいことが〇〇だからSVM使おうぜみたいな記載、またはもっと概念的な記載が多いかと思います。 そこで具体例を含めた記載にチャレンジしたいと思います。 1.1お断り 全４つを纏めたうえで書くのではなく進捗具合に合わせて途中の状態であってもアップしていきます。 その後、勉強していく中で自分の中で整理がついたら順次更新いたします。 2.機械学習のアルゴリズム 本家の説明文書は以下の通り。 http://scikit-learn.org/stable/tutorial/machine_learning_map/ 2.1分類（cla
sklearn.svm.SVCのpredict_probaって - Qiita
はじめに SVMで二クラス(0/1)の分類器を学習して、各データのクラス1への所属確率を出したい用ができたので sklearn.svm.SVC を見ていたら、predict_probaとかいうまさになやつを見つけたので、使って見たら ん?ってなった話。 ん?ってなったこと predict(X)で予測した結果とpredict_probaで算出した確率の整合が取れてない（時がたまにあった）のです。 準備 いったんpredictとpredict_probaの仕様を確認。 predict(X) [データ数]行 × [次元数]列の特徴量行列 X を引数にして、データ数分の予測ラベルを返すそうです。読む必要なかった。 predict_proba(X) [データ数]行 × [次元数]列の特徴量行列 X を引数にして、各データがそれぞれのクラスに所属する確率を返す、って書いてあります。で、最後に「列はクラ
dockerで機械学習(38) with anaconda(38)「Mastering Machine Learning with scikit-learn」2nd Edition By Gavin Hackeling - Qiita
dockerで機械学習(38) with anaconda(38)「Mastering Machine Learning with scikit-learn」2nd Edition By Gavin Hackelingscikit-learnDockerAnaconda小川メソッド 1.すぐに利用したい方へ(as soon as) 「Mastering Machine Learning with scikit-learn」2nd Edition By Gavin Hackeling http://shop.oreilly.com/product/9781788299879.do docker dockerを導入し、Windows, Macではdockerを起動しておいてください。 Windowsでは、BiosでIntel Virtualizationをenableにしないとdockerが起
dockerで機械学習(35) with anaconda(35)「scikit-learn Cookbook」 2nd Edition By Trent Hauck, Julian Avila - Qiita
(base) root@a221771835f7:/scikit-learn/sklearn# python setup.py non-existing path in '__check_build': '_check_build.c' Appending sklearn.__check_build configuration to sklearn Ignoring attempt to set 'name' (from 'sklearn' to 'sklearn.__check_build') Appending sklearn._build_utils configuration to sklearn Ignoring attempt to set 'name' (from 'sklearn' to 'sklearn._build_utils') Appending sklearn.s
[SIGNATE]画像で遊んでみる(土砂崩れを探せ) - Qiita
なんか新しいコンペのメールが来てたのでSIGNATEのコンペのデータで遊んでみた。 コンペの目的 Tellus Satellite Challengeは、衛星データの利活用事例の可視化、優秀な分析人材の発掘、衛星データ種やフォーマットの周知・啓蒙等、Tellusの利活用の促進を目的としたデータ分析コンテストです。 第1回目のテーマは「SARデータを用いた土砂崩れ検出」です。 近年、自然災害のリスクが高まる中、災害時の土砂崩れの迅速把握が人命救助の観点などから極めて重要であり、観測衛星からのモニタリングが緊急時対応で実施されております。取得されたデータから土砂崩れを判定する業務は、専門家の高度なスキルにより解析される一方で、その判定は容易ではないのが実際です。そこで今回のチャレンジでは衛星画像データから土砂崩れ領域をより高い精度で検出するアルゴリズムの開発を目指します。 とのこと。 ここに書
![[SIGNATE]画像で遊んでみる(土砂崩れを探せ) - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/adac1fc2b8f6ff8a417d8c2bc8a0c909100fd8bf/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Farticle-ogp-background-412672c5f0600ab9a64263b751f1bc81.png%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTk3MiZoPTM3OCZ0eHQ9JTVCU0lHTkFURSU1RCVFNyU5NCVCQiVFNSU4MyU4RiVFMyU4MSVBNyVFOSU4MSU4QSVFMyU4MiU5MyVFMyU4MSVBNyVFMyU4MSVCRiVFMyU4MiU4QiUyOCVFNSU5QyU5RiVFNyVBMCU4MiVFNSVCNCVBOSVFMyU4MiU4QyVFMyU4MiU5MiVFNiU4RSVBMiVFMyU4MSU5QiUyOSZ0eHQtYWxpZ249bGVmdCUyQ3RvcCZ0eHQtY29sb3I9JTIzMjEyMTIxJnR4dC1mb250PUhpcmFnaW5vJTIwU2FucyUyMFc2JnR4dC1zaXplPTU2JnM9M2Q3NmZiOTk3ZGQ1Mzc4NDcxODRkMmJkZTY3NzEzNzg%26mark-x%3D142%26mark-y%3D57%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZoPTc2Jnc9NzcwJnR4dD0lNDByeW9fbmFrYSZ0eHQtY29sb3I9JTIzMjEyMTIxJnR4dC1mb250PUhpcmFnaW5vJTIwU2FucyUyMFc2JnR4dC1zaXplPTM2JnR4dC1hbGlnbj1sZWZ0JTJDdG9wJnM9MWFlYjU2ZmFhYzkxN2E0NDAxMmY4MDdiMWY4YTUyMDE%26blend-x%3D142%26blend-y%3D486%26blend-mode%3Dnormal%26s%3Dc5466ec9dd7853a773b419331b1a9b70)
サポートベクターマシーンのパラメータをいろいろといじってみる(画像データの分類問題) - Qiita
初めに 機械学習の教科書では(紙面の都合上やらなさそうな)様々なパラメータを変えた際にどのように変化するのかについて、SVCを用いてやってみました。 ちなみに使用したのは0~9までの数字が書かれたDigitsの画像データ。 Digitsのデータについてこちらで可視化等は行ってみています。 LinearSVC まずはsvm.LinearSVCで正則化定数Cのチューニングを行ってみたいと思います。カーネル法を試す前に線形のSVMから始めた方が良いらしいです。結果はロジスティクス回帰分析とだいたい同じような感じになります。 svm.LinearSVCはLinearに特化したアルゴリズムのため、svm.SVCよりも高速で動くとのこと(未検証) 交差検証は10分割で行い、正答率の平均値を今回はscoreとして、プロットしてみました。(本来はテストデータを訓練データを分けてから交差検証した方が、よいで
キーワードベースのログ監視からの脱却を目指して、ログクラスタリングによるパターン毎の出力頻度ヒートマップ化を試してみる - Qiita
キーワードベースのログ監視からの脱却を目指して、ログクラスタリングによるパターン毎の出力頻度ヒートマップ化を試してみるPythonmonitoring機械学習MachineLearningscikit-learn ログの監視といえば、特定のキーワード(例えばErrorという文字列とか、Warningという文字列とか)をベースに監視ツールで検知させるといったことを実施するのが一般的かと思います。 ただ、この対処をするには、どういったログが出力されるのかを予め知っておく必要があり、その条件を決めるのもなかなか大変なのではないでしょうか。 そのようなケースに対し、もう少し分析技術の要素を取り入れて異常な状態に気づけるようにするアプローチを考えてみます。 試したこと 今回試したのは、ログをgensimのdoc2vecでベクトル化し、k-meansでクラスタリング。 さらにそれを時間毎に区分けして各
Python3(scikit-learn)を使ってロジスティック回帰 - Qiita
こんにちは！ さて，みなさん，今回はscikit-learnを使ってロジスティック回帰したいと思います． 準備 サンプルコードを動かす上で予めいくつかモジュールを読み込んでおきます． import pandas as pd import numpy as np from sklearn import linear_model from sklearn.externals import joblib 機械学習 機械学習には様々な種類のものがあります．大きく分けると以下のように なります． 教師あり学習 教師なし学習 その他(強化学習など) 今回はロジスティック回帰を使うために簡単に教師あり学習について紹介したいと思います． 教師あり学習(回帰) 教師あり学習ではデータと正解ラベルの2つの情報が渡されます． 大量のデータから「このデータの正解はこのラベルであった」というパターンを見つけ出して，
【初心者向け】初めての機械学習入門 - Qiita
初めて機械学習を行う方向け、初めての機械学習特集です。 今回は機械学習とはの概要と開発環境について紹介していきます。 機械学習とは データから知識を引きだし活用すること。 大きく教師あり学習と教師なし学習の２種類ある。 教師あり学習 ユーザーが入力データと望ましい出力のペア群をアルコリズムに与える。このペアのデータを「教師」としてアルコリズムは出力を生成するからである。詳しくは次回紹介。 教師なし学習 ユーザーが入力データのみをアルコリズムに与える。よって出力結果はどういったものになるか、わからない。詳しくは第３回で。 開発環境 Visual Studio Code マイクロソフトが開発しているソースコードエディタ。 Windows、Mac OS、Linux上でも使え、マークダウン エディタとしても使える優れもの。 多言語対応、拡張機能もあり、Pythonのデバックを可能にできる。 ダウン
digitsでランダムフォレストと主成分分析の寄与率を比較してみる - Qiita
初めに またdigitsネタ、一回目はこちら。同じデータをいろいろな方法を使用して、ごちゃごちゃ分析するのはデータ分析の基本中の基本(?)なので…。 Random Forestは、パラメータの寄与率まで出せるという利点があります。今回はdigitsをRandom Forestで学習させてみて、一回目で分析したPCAと比較していきたいと思います。 Random Forestを使ってみる # -*- coding: utf-8 -*- from sklearn import datasets from sklearn import ensemble from sklearn import metrics from sklearn import decomposition from sklearn.model_selection import train_test_split import ma
機械学習のモデルのライフサイクルを管理するOSS「MLflow」が便利そう - Qiita
「http://TrackingServerIP:5000」 デフォルトでポート5000番でサーバが稼働するのでそちらにアクセス。 すると、過去にどういったハイパーパラメータおよびどのコードでモデルが生成され、その時のスコアがどうだったか等のリストが表示されるWeb UIにアクセス可能です。 Trackingデータは大きく4つの要素から成り立っています。 Parameters : モデル学習時のハイパーパラメータの管理用要素 Metrics : 学習モデルの状態を示すスコア情報等の管理用要素 Tags : 学習モデルを識別の管理のための任意のタグ要素 Artifacts : 学習により生成されるモデル等の生成物管理用要素 学習用のコード内で以下のように組み込むことで、状況の各要素をTracking Serverの管理下に置くことができます。 サンプルとして、以下のようなRandomFore
[Kaggle]画像で遊んでみる(dogs vs cats) - Qiita
前回までは属性に対しての解析だったので今度は画像を分類わけしてみることにした。 といっても、右も左もわからない状態がどうやって進んだのか？という参考になればという程度のメモである。 犬猫 試してみたのはこっちのコンペのデータ https://www.kaggle.com/c/dogs-vs-cats 犬か猫かを分類しようぜというやつだ。 データ確認 DLしながらデータセットの中身を確認 The training archive contains 25,000 images of dogs and cats. Train your algorithm on these files and predict the labels for test1.zip (1 = dog, 0 = cat). といっても、データを確認するも何もない。 画像を犬(1)か猫(0)に分類しろってだけな模様。 どこか
![[Kaggle]画像で遊んでみる(dogs vs cats) - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/e2e66068378c050194af0efbb7b8f114336ae825/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Farticle-ogp-background-9f5428127621718a910c8b63951390ad.png%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTkxNiZoPTMzNiZ0eHQ9JTVCS2FnZ2xlJTVEJUU3JTk0JUJCJUU1JTgzJThGJUUzJTgxJUE3JUU5JTgxJThBJUUzJTgyJTkzJUUzJTgxJUE3JUUzJTgxJUJGJUUzJTgyJThCJTI4ZG9ncyUyMHZzJTIwY2F0cyUyOSZ0eHQtY29sb3I9JTIzMjEyMTIxJnR4dC1mb250PUhpcmFnaW5vJTIwU2FucyUyMFc2JnR4dC1zaXplPTU2JnR4dC1jbGlwPWVsbGlwc2lzJnR4dC1hbGlnbj1sZWZ0JTJDdG9wJnM9NzBiZDg3ZTBkNWRiZjlmZjI1MzVjMDExYTI5NzU1YTE%26mark-x%3D142%26mark-y%3D112%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTYxNiZ0eHQ9JTQwcnlvX25ha2EmdHh0LWNvbG9yPSUyMzIxMjEyMSZ0eHQtZm9udD1IaXJhZ2lubyUyMFNhbnMlMjBXNiZ0eHQtc2l6ZT0zNiZ0eHQtYWxpZ249bGVmdCUyQ3RvcCZzPTllM2UyYzdhYzQxYjdkZjcyMjFmMzMxNjZkNjk3NjE0%26blend-x%3D142%26blend-y%3D491%26blend-mode%3Dnormal%26s%3D5ec36993ec5df9067aac4a403178de43)
scikit-learnのLOFでテストデータの判定をする - Qiita
scikit-learnでは外れ値検知の手法の1つであるLOF（Local Outlier Factor）が提供されていますが、versionが0.19以前ではテストデータに対する正常データ・異常データの判定ができませんでした。version0.20からテストデータに対する正常データ・異常データの判定機能が実装されましたので、そちらを紹介します。 使い方 One Class SVMのようなscikit-learnに実装されている外れ値検知の手法では、正常データが大多数であるような訓練データを与え、fitメソッドで学習をおこないます。学習済みのモデルのpredictメソッドを使うことで、テストデータが正常か異常かが判定されます。LOFを使う場合にも同様の流れになりますが、fitメソッドを使うときにちょっとだけ違いがあり、novelty=Trueという引数が必要になります。例えば、次のように訓
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
教師あり機械学習アルゴリズムの長所、欠点をまとめようとした - Qiita
株価をscikit-learnで機械学習してみる 回帰編 - Qiita
[kaggle]タイタニックの乗客情報から生存者を予測しよう - Qiita
株価をscikit-learnで機械学習してみる 分類編 - Qiita
