【KNIME 】scikit-learnをKNIMEで動かすよ 〜t-SNEを題材に〜 - 非プログラマーのためのインフォマティクス入門。（仮）
みなさん、年度末が近づいてきました。色々と忙しい日々ですが体調には気をつけないといけません（私は、先日発熱しました…）。 さてさて、今回はKNIME上でpython書いて、scikit-learnを動かしてみます。 で紹介した可視化を、t-SNEを使ってやってみます。 その前に！ KNIME上でpython、どうやって使うの？に軽くふれます。 まず、python3を使いたければ、KNIME3.5以上が良い気がします(3.4でもいけそうですが)。 File >> preferencesと進んで、検索窓にpythonと入れれば、下のような設定画面にたどり着きます。ここに使いたいpythonの実行ファイルを指定すればOKです。私の場合はanacondaを使ってpython環境を用意しているので、所望のenvのbinの中のpythonを指定しています。 ここで、私のようなど素人＋化合物情報を扱いた
Pythonで書かれたOSSのコードを最適化してPull Requestがマージされるまで - Sansan株式会社 | 公式メディア「mimi」
はじめまして。2018年1月に入社した奥田（@yag_ays）です。 先日、scikit-learn-contribの1つであるCategory Encodersの最適化を実装したPull Requestがマージされたので、そこに至るまでのプロファイルや最適化の過程を紹介したいと思います。 普段、私の仕事は機械学習やデータ分析がメインで、あまりPythonの処理レベルで早いコードを書いたりすることはありません。もちろん最適化なんてことについては、あまり経験を持っていない素人なのですが、この記事が皆さんのプロジェクトを最適化する際の参考になれば幸いです。 tl;dr scikit-learn-contribの中のcategory_encodersの実行速度を最適化した Pythonのプロファイリングにはline_profiler、デバッグにはpdbが便利 Pandasのカラムをfor文で書き
Python: scikit-learn のハイパーパラメータを GridSearchCV で最適化する - CUBE SUGAR CONTAINER
機械学習のアルゴリズムにおいて、人が調整する必要のあるパラメータのことをハイパーパラメータと呼ぶ。 これは自動では決められないので、色々な値を試したりして汎化性能が高くなるものを選ばなきゃいけない。 今回はハイパーパラメータを決めるのに scikit-learn に実装されている GridSearchCV という機能を使ってみる。 これを使うと、あらかじめいくつか候補を与えることで、その中から汎化性能が高くなるものを選んでくれる。 使った環境は次の通り。 $ sw_vers ProductName: Mac OS X ProductVersion: 10.12.6 BuildVersion: 16G29 $ python --version Python 3.6.2 下準備 まずは必要なパッケージをインストールしておく。 $ pip install scikit-learn numpy s
Python: scikit-learn で決定木 (Decision Tree) を試してみる - CUBE SUGAR CONTAINER
今回は機械学習アルゴリズムの一つである決定木を scikit-learn で試してみることにする。 決定木は、その名の通り木構造のモデルとなっていて、分類問題ないし回帰問題を解くのに使える。 また、決定木自体はランダムフォレストのような、より高度なアルゴリズムのベースとなっている。 使うときの API は scikit-learn が抽象化しているので、まずは軽く触ってみるところから始めよう。 決定木がどんな構造を持ったモデルなのかは最後にグラフで示す。 また、決定木自体は回帰問題にも使えるけど、今回は分類問題だけにフォーカスしている。 使った環境は次の通り。 $ sw_vers ProductName: Mac OS X ProductVersion: 10.12.4 BuildVersion: 16E195 $ python --version Python 3.5.3 下準備 まずは
高次元データの次元削減および2次元プロット手法 - Qiita
はじめに 本記事はPython2.7, numpy 1.11, scipy 0.17, scikit-learn 0.18, matplotlib 1.5, seaborn 0.7, pandas 0.17を使用しています． jupyter notebook上で動作確認済みです．(%matplotlib inlineは適当に修正してください) SklearnのManifold learningの記事を参考にしています． 多様体学習と言われる手法について，sklearnのdigitsサンプルを用いて説明します． 特にt-SNEはKaggleなどでもたまに使用されている，多次元データの可視化に適した手法です． また可視化だけでなく，元のデータと圧縮されたデータを結合することで，単純な分類問題の精度を向上することができます． 目次 データの生成 線形要素に注目した次元削減 Random Proj
scikit-learn準拠で Label propagation とか実装した - でかいチーズをベーグルする
scikit-learn準拠で Label propagation 的なアルゴリズム達を実装した。なんで実装したかというと、 グラフそのもの（隣接行列）を入力したい。 scikit-learnには既にsklearn.semi_supervised.LabelPropagationが実装されてるけど、これはグラフを入力するんじゃなくて、普通にサンプル数×特徴数のデータ行列を与えて、そこから類似度グラフを作るようになってる。これだと例えば手元にソーシャルグラフがあって、そのユーザ（ノード）の属性（興味とか）を Label propagation で推定するということができない。 ハイパーパラメータを楽に決めたい。 自分でグリッドサーチとかやるのはめんどくさいので、sklearn.grid_search.GridSearchCVとかを使いたい。そのためにsklearn準拠にした。 自分の研究成果
学習アルゴリズム以外のscikit-learn便利機能と連携ライブラリ - yubessy.hatenablog.com
Pythonで機械学習を使う場合、scikit-learnには何かとお世話になる。 豊富な学習アルゴリズムの実装を利用できるのが長所だが、実はアルゴリズムそのもの以外にも、前処理や評価のための様々な便利機能を有している。 これらを知らずに使っていると，車輪の再発明をしてしまうことになる。 また、機械学習関連のPythonライブラリはscikit-learnと連携できるAPIをもつものも多い。 scikit-learnを中心とするエコシステムが成立しているとも言える。 中にはコードをほとんど書かずに簡単なモデリングができるようなツールまである。 この記事では個々の学習アルゴリズムではなく、scikit-learnに予め用意されている便利機能やscikit-learnと連携できるライブラリなどを紹介する。 便利モジュール・パッケージ 前処理や評価で使われる一般的なテクニックの多くは既に実装され
%25E3%2581%25AE%25E7%2594%25A8%25E8%25AA%259E%25E3%2581%25A8Pytho)
scikit-learn (sklean)の用語とPython - つれづれ日記
scikit-learn (sklean)の用語とPython。 datasets: 学習に使う入力データ。標準でiris とdigitsが用意されているclf: 分類器(classifier) Python配列の添え字[-1]は、配列の最後の要素のこと[:-1]は、配列の最後の要素を除く、配列全体のこと[:100]は、配列の最初の100個の要素の配列のこと 最後の要素は予測(predict)させるためのデータ、それ以前の要素は学習(learning, classification)に使う。ただし、学習用の値と検証用の値は必ずしも分けない。配列についてはpythonはとても強い。他のプログラム言語では脆弱性になるところが、簡潔な指定方法の一つになっている。交差検定 (k-fold cross validation)では、学習用の値の配列の中から、複数の値をkセットとりだしてk回検証のための
Pythonでデータ分析するのに必要なツールのまとめ - Qiita
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? この記事について Pythonでデータ分析を行う際に役立つセットアップを紹介します。 データ分析に興味がある方はこちらも合わせてどうぞ データサイエンティストに興味があるならまずこの辺りを見ておきな、って文献・動画のまとめ（随時追加） - Qiita 実行環境 Jupyter(旧iPython Notebook) http://jupyter.org/ インタラクティブ（対話的）なコード実行のための環境 データ分析に非常に適していて、慣れると他のIDEなどでは分析ができなくなる。 任意に分けたコードブロックごとに実行し、結果を都度表示出
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
deep learning にも使える scikit-learn の概要と便利な機能 - Qiita