タイタニック号乗客の生存予測モデルを立ててみる - Qiita
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? はじめに この記事はGizumoエンジニア Advent Calendar 2015の24日目の記事です。 株式会社Gizumoというまだ出来て半年という若い会社でWebアプリエンジニアやってる@suzumiです。 アドベントカレンダー２回目の記事になります。 一回目の記事は「IoT - node.jsを使ってWebからエアコンを遠隔操作できるようにしてみた」です。 よければ合わせてご覧下さい。 お題 まずはじめにKaggleを知っておきましょう。 Kaggleとは Kaggleは企業や研究者がデータを投稿し、世界中の統計家やデータ分析
Udemy「Pythonで機械学習：scikit-learnで学ぶ識別入門」を受講後の感想・まとめ その1 - Qiita
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 機械学習を仕事で使うため、Udemyで色々と受講しています。 その中で、「Pythonで機械学習：scikit-learnで学ぶ識別入門」を受講したので、そのメモです。 感想 非常に充実しています。 オープニングで、扱っているのは予測ではなく識別のみと宣言しているため、内容が統一されていると感じます。 ボリュームはかなりあります。単に講座を聞くだけなら2~3日で終わりますが、講座を聞いて、手元のJupyter notebookで理解しながらコードを確認・修正して..とやっていると、社会人だと6~7日は必要かと思います。 データ分割～学習
Scikit-learnの回帰/分類/クラスタ/次元圧縮を考えてみる - Qiita
1.書こうと思た動機 機械学習の勉強のため、Scikit-learnを実行してみました。 でも回帰と分類、よくわからず行っていました。 よってSVMで株価の推定を行おうというアホなことをやっていました。 勉強不足は棚に上げて でもよくよく見るとどの参考書等でもいきなりやりたいことが〇〇だからSVM使おうぜみたいな記載、またはもっと概念的な記載が多いかと思います。 そこで具体例を含めた記載にチャレンジしたいと思います。 1.1お断り 全４つを纏めたうえで書くのではなく進捗具合に合わせて途中の状態であってもアップしていきます。 その後、勉強していく中で自分の中で整理がついたら順次更新いたします。 2.機械学習のアルゴリズム 本家の説明文書は以下の通り。 http://scikit-learn.org/stable/tutorial/machine_learning_map/ 2.1分類（cla
sklearn.svm.SVCのpredict_probaって - Qiita
はじめに SVMで二クラス(0/1)の分類器を学習して、各データのクラス1への所属確率を出したい用ができたので sklearn.svm.SVC を見ていたら、predict_probaとかいうまさになやつを見つけたので、使って見たら ん?ってなった話。 ん?ってなったこと predict(X)で予測した結果とpredict_probaで算出した確率の整合が取れてない（時がたまにあった）のです。 準備 いったんpredictとpredict_probaの仕様を確認。 predict(X) [データ数]行 × [次元数]列の特徴量行列 X を引数にして、データ数分の予測ラベルを返すそうです。読む必要なかった。 predict_proba(X) [データ数]行 × [次元数]列の特徴量行列 X を引数にして、各データがそれぞれのクラスに所属する確率を返す、って書いてあります。で、最後に「列はクラ
dockerで機械学習(38) with anaconda(38)「Mastering Machine Learning with scikit-learn」2nd Edition By Gavin Hackeling - Qiita
1.すぐに利用したい方へ(as soon as) 「Mastering Machine Learning with scikit-learn」2nd Edition By Gavin Hackeling http://shop.oreilly.com/product/9781788299879.do docker dockerを導入し、Windows, Macではdockerを起動しておいてください。 Windowsでは、BiosでIntel Virtualizationをenableにしないとdockerが起動しない場合があります。 また、セキュリティの警告などが出ることがあります。 docker run 以下のshell sessionでは (base) root@f19e2f06eabb:/#は入力促進記号(comman prompt)です。実際には数字の部分が違うかもしれません。こ
dockerで機械学習(35) with anaconda(35)「scikit-learn Cookbook」 2nd Edition By Trent Hauck, Julian Avila - Qiita
(base) root@a221771835f7:/scikit-learn/sklearn# python setup.py non-existing path in '__check_build': '_check_build.c' Appending sklearn.__check_build configuration to sklearn Ignoring attempt to set 'name' (from 'sklearn' to 'sklearn.__check_build') Appending sklearn._build_utils configuration to sklearn Ignoring attempt to set 'name' (from 'sklearn' to 'sklearn._build_utils') Appending sklearn.s
[SIGNATE]画像で遊んでみる(土砂崩れを探せ) - Qiita
なんか新しいコンペのメールが来てたのでSIGNATEのコンペのデータで遊んでみた。 コンペの目的 Tellus Satellite Challengeは、衛星データの利活用事例の可視化、優秀な分析人材の発掘、衛星データ種やフォーマットの周知・啓蒙等、Tellusの利活用の促進を目的としたデータ分析コンテストです。 第1回目のテーマは「SARデータを用いた土砂崩れ検出」です。 近年、自然災害のリスクが高まる中、災害時の土砂崩れの迅速把握が人命救助の観点などから極めて重要であり、観測衛星からのモニタリングが緊急時対応で実施されております。取得されたデータから土砂崩れを判定する業務は、専門家の高度なスキルにより解析される一方で、その判定は容易ではないのが実際です。そこで今回のチャレンジでは衛星画像データから土砂崩れ領域をより高い精度で検出するアルゴリズムの開発を目指します。 とのこと。 ここに書
![[SIGNATE]画像で遊んでみる(土砂崩れを探せ) - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/02247049926150610479f225ac3fa354a013353a/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fqiita-user-contents.imgix.net%252Fhttps%25253A%25252F%25252Fcdn.qiita.com%25252Fassets%25252Fpublic%25252Farticle-ogp-background-afbab5eb44e0b055cce1258705637a91.png%253Fixlib%253Drb-4.0.0%2526w%253D1200%2526blend64%253DaHR0cHM6Ly9xaWl0YS11c2VyLXByb2ZpbGUtaW1hZ2VzLmltZ2l4Lm5ldC9odHRwcyUzQSUyRiUyRnFpaXRhLWltYWdlLXN0b3JlLnMzLmFtYXpvbmF3cy5jb20lMkYwJTJGMTA2NjM5JTJGcHJvZmlsZS1pbWFnZXMlMkYxNDczNzA5OTkwP2l4bGliPXJiLTQuMC4wJmFyPTElM0ExJmZpdD1jcm9wJm1hc2s9ZWxsaXBzZSZmbT1wbmczMiZzPTRkMmJjMGQ4NjhlM2EwOGMzOGRjMGQ0YTZkYWJhZDJm%2526blend-x%253D120%2526blend-y%253D467%2526blend-w%253D82%2526blend-h%253D82%2526blend-mode%253Dnormal%2526s%253D152507a649e5c36c22e557892c4cccba%3Fixlib%3Drb-4.0.0%26w%3D1200%26fm%3Djpg%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTk2MCZoPTMyNCZ0eHQ9JTVCU0lHTkFURSU1RCVFNyU5NCVCQiVFNSU4MyU4RiVFMyU4MSVBNyVFOSU4MSU4QSVFMyU4MiU5MyVFMyU4MSVBNyVFMyU4MSVCRiVFMyU4MiU4QiUyOCVFNSU5QyU5RiVFNyVBMCU4MiVFNSVCNCVBOSVFMyU4MiU4QyVFMyU4MiU5MiVFNiU4RSVBMiVFMyU4MSU5QiUyOSZ0eHQtYWxpZ249bGVmdCUyQ3RvcCZ0eHQtY29sb3I9JTIzMUUyMTIxJnR4dC1mb250PUhpcmFnaW5vJTIwU2FucyUyMFc2JnR4dC1zaXplPTU2JnR4dC1wYWQ9MCZzPWJlNjhjZTU0N2JlMDRiODcxZjRjYTRhOThhZTUxNjFh%26mark-x%3D120%26mark-y%3D112%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTgzOCZoPTU4JnR4dD0lNDByeW9fbmFrYSZ0eHQtY29sb3I9JTIzMUUyMTIxJnR4dC1mb250PUhpcmFnaW5vJTIwU2FucyUyMFc2JnR4dC1zaXplPTM2JnR4dC1wYWQ9MCZzPWI4ZWVmM2M1NzA2ODU3ZTgyY2RkZmFlMDE5NTBjNjk2%26blend-x%3D242%26blend-y%3D480%26blend-w%3D838%26blend-h%3D46%26blend-fit%3Dcrop%26blend-crop%3Dleft%252Cbottom%26blend-mode%3Dnormal%26s%3De526df1d8ef96e20dc766c7f041f1bb9)
サポートベクターマシーンのパラメータをいろいろといじってみる(画像データの分類問題) - Qiita
初めに 機械学習の教科書では(紙面の都合上やらなさそうな)様々なパラメータを変えた際にどのように変化するのかについて、SVCを用いてやってみました。 ちなみに使用したのは0~9までの数字が書かれたDigitsの画像データ。 Digitsのデータについてこちらで可視化等は行ってみています。 LinearSVC まずはsvm.LinearSVCで正則化定数Cのチューニングを行ってみたいと思います。カーネル法を試す前に線形のSVMから始めた方が良いらしいです。結果はロジスティクス回帰分析とだいたい同じような感じになります。 svm.LinearSVCはLinearに特化したアルゴリズムのため、svm.SVCよりも高速で動くとのこと(未検証) 交差検証は10分割で行い、正答率の平均値を今回はscoreとして、プロットしてみました。(本来はテストデータを訓練データを分けてから交差検証した方が、よいで
キーワードベースのログ監視からの脱却を目指して、ログクラスタリングによるパターン毎の出力頻度ヒートマップ化を試してみる - Qiita
ログの監視といえば、特定のキーワード(例えばErrorという文字列とか、Warningという文字列とか)をベースに監視ツールで検知させるといったことを実施するのが一般的かと思います。 ただ、この対処をするには、どういったログが出力されるのかを予め知っておく必要があり、その条件を決めるのもなかなか大変なのではないでしょうか。 そのようなケースに対し、もう少し分析技術の要素を取り入れて異常な状態に気づけるようにするアプローチを考えてみます。 試したこと 今回試したのは、ログをgensimのdoc2vecでベクトル化し、k-meansでクラスタリング。 さらにそれを時間毎に区分けして各ログパターンの発生件数をヒートマップ化してみます。 サンプルプログラム Python3で、gensim、matplotlib、sklearnのKMeansを利用しています。 # !/bin/env python f
Python3(scikit-learn)を使ってロジスティック回帰 - Qiita
機械学習 機械学習には様々な種類のものがあります．大きく分けると以下のように なります． 教師あり学習 教師なし学習 その他(強化学習など) 今回はロジスティック回帰を使うために簡単に教師あり学習について紹介したいと思います． 教師あり学習(回帰) 教師あり学習ではデータと正解ラベルの2つの情報が渡されます． 大量のデータから「このデータの正解はこのラベルであった」というパターンを見つけ出して，正解ラベルのないデータに対してもそれを予測するものになります． 教師あり学習はさらに正解ラベルの種類によって回帰と分類に分けられます． 回帰は，正解となる値が連続した数値となるものです． よく見られる例として： ビールの売り上げは気温に影響すると言われています. この情報を元に実際の売り上げと気温のデータを利用して機械学習を行うことで、天気予報から得た翌日の気温から売り上げを予測することが可能になり
【初心者向け】初めての機械学習入門 - Qiita
初めての機械学習 初めて機械学習を行う方向け、初めての機械学習特集です。 今回は機械学習とはの概要と開発環境について紹介していきます。 機械学習とは データから知識を引きだし活用すること。 大きく教師あり学習と教師なし学習の２種類ある。 教師あり学習 ユーザーが入力データと望ましい出力のペア群をアルコリズムに与える。このペアのデータを「教師」としてアルコリズムは出力を生成するからである。詳しくは次回紹介。 教師なし学習 ユーザーが入力データのみをアルコリズムに与える。よって出力結果はどういったものになるか、わからない。詳しくは第３回で。 開発環境 Visual Studio Code マイクロソフトが開発しているソースコードエディタ。 Windows、Mac OS、Linux上でも使え、マークダウン エディタとしても使える優れもの。 多言語対応、拡張機能もあり、Pythonのデバックを可能
digitsでランダムフォレストと主成分分析の寄与率を比較してみる - Qiita
初めに またdigitsネタ、一回目はこちら。同じデータをいろいろな方法を使用して、ごちゃごちゃ分析するのはデータ分析の基本中の基本(?)なので…。 Random Forestは、パラメータの寄与率まで出せるという利点があります。今回はdigitsをRandom Forestで学習させてみて、一回目で分析したPCAと比較していきたいと思います。 Random Forestを使ってみる # -*- coding: utf-8 -*- from sklearn import datasets from sklearn import ensemble from sklearn import metrics from sklearn import decomposition from sklearn.model_selection import train_test_split import ma
機械学習のモデルのライフサイクルを管理するOSS「MLflow」が便利そう - Qiita
MLflow MLflowはオープンソースで、機械学習処理のライフサイクル管理を行うソフトウェアです。Kubernetesで管理している環境だとKubeflow、AWSならSageMakerとか、この分野の用途で利用できるものはいろいろあるかと思いますが、OSSでいろんなシーンで適用できそうです。 MLflow 現時点(2018/10/03)でバージョン0.7というのがリリースされており、絶賛開発中のようです。 MLflowは、要素として3つで構成されています。 MLflow Tracking : 学習の実行履歴管理 MLflow Projects : 学習処理の実行定義 MLflow Models : 学習モデルを用いたAPIサーバの実行定義 MLflow Tracking 学習モデル生成時に、生成されたモデルの実体や学習モデルの評価結果のスコア情報等を記録し、履歴管理する機能です。 学
[Kaggle]画像で遊んでみる(dogs vs cats) - Qiita
前回までは属性に対しての解析だったので今度は画像を分類わけしてみることにした。 といっても、右も左もわからない状態がどうやって進んだのか？という参考になればという程度のメモである。 犬猫 試してみたのはこっちのコンペのデータ https://www.kaggle.com/c/dogs-vs-cats 犬か猫かを分類しようぜというやつだ。 データ確認 DLしながらデータセットの中身を確認 The training archive contains 25,000 images of dogs and cats. Train your algorithm on these files and predict the labels for test1.zip (1 = dog, 0 = cat). といっても、データを確認するも何もない。 画像を犬(1)か猫(0)に分類しろってだけな模様。 どこか
![[Kaggle]画像で遊んでみる(dogs vs cats) - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/7a5dd527d19bf3fcc90e4021dd322627281b5c19/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fqiita-user-contents.imgix.net%252Fhttps%25253A%25252F%25252Fcdn.qiita.com%25252Fassets%25252Fpublic%25252Farticle-ogp-background-afbab5eb44e0b055cce1258705637a91.png%253Fixlib%253Drb-4.0.0%2526w%253D1200%2526blend64%253DaHR0cHM6Ly9xaWl0YS11c2VyLXByb2ZpbGUtaW1hZ2VzLmltZ2l4Lm5ldC9odHRwcyUzQSUyRiUyRnFpaXRhLWltYWdlLXN0b3JlLnMzLmFtYXpvbmF3cy5jb20lMkYwJTJGMTA2NjM5JTJGcHJvZmlsZS1pbWFnZXMlMkYxNDczNzA5OTkwP2l4bGliPXJiLTQuMC4wJmFyPTElM0ExJmZpdD1jcm9wJm1hc2s9ZWxsaXBzZSZmbT1wbmczMiZzPTRkMmJjMGQ4NjhlM2EwOGMzOGRjMGQ0YTZkYWJhZDJm%2526blend-x%253D120%2526blend-y%253D467%2526blend-w%253D82%2526blend-h%253D82%2526blend-mode%253Dnormal%2526s%253D152507a649e5c36c22e557892c4cccba%3Fixlib%3Drb-4.0.0%26w%3D1200%26fm%3Djpg%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTk2MCZoPTMyNCZ0eHQ9JTVCS2FnZ2xlJTVEJUU3JTk0JUJCJUU1JTgzJThGJUUzJTgxJUE3JUU5JTgxJThBJUUzJTgyJTkzJUUzJTgxJUE3JUUzJTgxJUJGJUUzJTgyJThCJTI4ZG9ncyUyMHZzJTIwY2F0cyUyOSZ0eHQtYWxpZ249bGVmdCUyQ3RvcCZ0eHQtY29sb3I9JTIzMUUyMTIxJnR4dC1mb250PUhpcmFnaW5vJTIwU2FucyUyMFc2JnR4dC1zaXplPTU2JnR4dC1wYWQ9MCZzPTllYWEyZjg0OGI0MjA3M2Y3Mjc5MTk1ZmZjYWFiMTc2%26mark-x%3D120%26mark-y%3D112%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTgzOCZoPTU4JnR4dD0lNDByeW9fbmFrYSZ0eHQtY29sb3I9JTIzMUUyMTIxJnR4dC1mb250PUhpcmFnaW5vJTIwU2FucyUyMFc2JnR4dC1zaXplPTM2JnR4dC1wYWQ9MCZzPWI4ZWVmM2M1NzA2ODU3ZTgyY2RkZmFlMDE5NTBjNjk2%26blend-x%3D242%26blend-y%3D480%26blend-w%3D838%26blend-h%3D46%26blend-fit%3Dcrop%26blend-crop%3Dleft%252Cbottom%26blend-mode%3Dnormal%26s%3Dc6b8fb69b820f3ad241a908d2bc03f3f)
scikit-learnのLOFでテストデータの判定をする - Qiita
scikit-learnでは外れ値検知の手法の1つであるLOF（Local Outlier Factor）が提供されていますが、versionが0.19以前ではテストデータに対する正常データ・異常データの判定ができませんでした。version0.20からテストデータに対する正常データ・異常データの判定機能が実装されましたので、そちらを紹介します。 使い方 One Class SVMのようなscikit-learnに実装されている外れ値検知の手法では、正常データが大多数であるような訓練データを与え、fitメソッドで学習をおこないます。学習済みのモデルのpredictメソッドを使うことで、テストデータが正常か異常かが判定されます。LOFを使う場合にも同様の流れになりますが、fitメソッドを使うときにちょっとだけ違いがあり、novelty=Trueという引数が必要になります。例えば、次のように訓
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
教師あり機械学習アルゴリズムの長所、欠点をまとめようとした - Qiita
[SIGNATE]画像で遊んでみる(土砂崩れを探せ) その２ - Qiita![[SIGNATE]画像で遊んでみる(土砂崩れを探せ) その２ - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/c0b7cdd17177c46b7040ede29411bbd7fb06e69c/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fqiita-user-contents.imgix.net%252Fhttps%25253A%25252F%25252Fcdn.qiita.com%25252Fassets%25252Fpublic%25252Farticle-ogp-background-afbab5eb44e0b055cce1258705637a91.png%253Fixlib%253Drb-4.0.0%2526w%253D1200%2526blend64%253DaHR0cHM6Ly9xaWl0YS11c2VyLXByb2ZpbGUtaW1hZ2VzLmltZ2l4Lm5ldC9odHRwcyUzQSUyRiUyRnFpaXRhLWltYWdlLXN0b3JlLnMzLmFtYXpvbmF3cy5jb20lMkYwJTJGMTA2NjM5JTJGcHJvZmlsZS1pbWFnZXMlMkYxNDczNzA5OTkwP2l4bGliPXJiLTQuMC4wJmFyPTElM0ExJmZpdD1jcm9wJm1hc2s9ZWxsaXBzZSZmbT1wbmczMiZzPTRkMmJjMGQ4NjhlM2EwOGMzOGRjMGQ0YTZkYWJhZDJm%2526blend-x%253D120%2526blend-y%253D467%2526blend-w%253D82%2526blend-h%253D82%2526blend-mode%253Dnormal%2526s%253D152507a649e5c36c22e557892c4cccba%3Fixlib%3Drb-4.0.0%26w%3D1200%26fm%3Djpg%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTk2MCZoPTMyNCZ0eHQ9JTVCU0lHTkFURSU1RCVFNyU5NCVCQiVFNSU4MyU4RiVFMyU4MSVBNyVFOSU4MSU4QSVFMyU4MiU5MyVFMyU4MSVBNyVFMyU4MSVCRiVFMyU4MiU4QiUyOCVFNSU5QyU5RiVFNyVBMCU4MiVFNSVCNCVBOSVFMyU4MiU4QyVFMyU4MiU5MiVFNiU4RSVBMiVFMyU4MSU5QiUyOSVFMyU4MCU4MCVFMyU4MSU5RCVFMyU4MSVBRSVFRiVCQyU5MiZ0eHQtYWxpZ249bGVmdCUyQ3RvcCZ0eHQtY29sb3I9JTIzMUUyMTIxJnR4dC1mb250PUhpcmFnaW5vJTIwU2FucyUyMFc2JnR4dC1zaXplPTU2JnR4dC1wYWQ9MCZzPTYwZTVkNjQ0ZDAzN2ZhNjA2MmRhN2I1ODBhMWEwZmRk%26mark-x%3D120%26mark-y%3D112%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTgzOCZoPTU4JnR4dD0lNDByeW9fbmFrYSZ0eHQtY29sb3I9JTIzMUUyMTIxJnR4dC1mb250PUhpcmFnaW5vJTIwU2FucyUyMFc2JnR4dC1zaXplPTM2JnR4dC1wYWQ9MCZzPWI4ZWVmM2M1NzA2ODU3ZTgyY2RkZmFlMDE5NTBjNjk2%26blend-x%3D242%26blend-y%3D480%26blend-w%3D838%26blend-h%3D46%26blend-fit%3Dcrop%26blend-crop%3Dleft%252Cbottom%26blend-mode%3Dnormal%26s%3Da4abb0a6da65c2a8906abb7b1bb2b692)
株価をscikit-learnで機械学習してみる 回帰編 - Qiita
[kaggle]タイタニックの乗客情報から生存者を予測しよう - Qiita
株価をscikit-learnで機械学習してみる 分類編 - Qiita
