scikit-learn準拠で Label propagation とか実装した - でかいチーズをベーグルする
scikit-learn準拠で Label propagation 的なアルゴリズム達を実装した。なんで実装したかというと、 グラフそのもの（隣接行列）を入力したい。 scikit-learnには既にsklearn.semi_supervised.LabelPropagationが実装されてるけど、これはグラフを入力するんじゃなくて、普通にサンプル数×特徴数のデータ行列を与えて、そこから類似度グラフを作るようになってる。これだと例えば手元にソーシャルグラフがあって、そのユーザ（ノード）の属性（興味とか）を Label propagation で推定するということができない。 ハイパーパラメータを楽に決めたい。 自分でグリッドサーチとかやるのはめんどくさいので、sklearn.grid_search.GridSearchCVとかを使いたい。そのためにsklearn準拠にした。 自分の研究成果
Pythonのscikit-learnでRandomForest vs SVMを比較してみた - Y's note
Random Forest メディア: ペーパーバック クリック: 27回この商品を含むブログ (1件) を見る Random Forest Random Forestとは Random forest - Wikipedia Random forests - classification description 機械学習の方法論の一つで決定木ベースの集団学習アルゴリズムを取り入れたものです。説明変数の依存が少ないことや学習が高速であることが特徴として挙げられています。英語サイトの方で特徴として紹介されているRFの内容について記述します。 Features 大きなデータに対して効率よく処理される。 変数の削除をすることなく入力した数千の変数を扱う事ができる。 どの変数が分類に対して重要なのかを計算して与えてくれる。 木の構築処理中に一般的なエラーの偏りの無い計算を生成する。 高い割合でデータ
PySparkで学習済みのscikit-learnのモデルを使う - Qiita
やりたいこと Sparkで機械学習といえばMLlibだけど、まだまだscikit-learnには機能面で劣っているように思えます。例えば、scikit-learnでは学習時に正例と負例の数が不均等な場合の補正とかできますが、mllibの1.5ではまだそのような機能はありません1。こんな時にメモリに乗る程度のデータで事前にscikit-learnで学習器を作成しておき、それをpysparkで大規模データの予測に使用できるとsklearnとsparkの両者のメリットが活かせるのではと思っています。 Let's Try 方針 データをndarrayのRDDに変換し、RDDのmapで学習済みのモデルのpredictに渡せばいいのですが、そのままやると関数呼び出しのオーバーヘッドが大きそうなのである程度の大きさのバッチ単位で処理したいと思います。 事前準備 Anaconda等のscikit-lear
scikit-learnの決定木/ランダムフォレストのルールからPythonコードを生成 - Qiita
はじめに Pythonで機械学習といえばscikit-learnですが、scikit-learnを使うにはnumpyやscipyといった大きめのライブラリを入れる必要があります。でも、プログラムでほんのちょこっとだけ機械学習のモデルを使って分類したいって場合だと、わざわざそういう重いもの入れたくないなーと思うときがあります。scikit-learnで学習したものをnumpy, scipy, scikit-learnなしに使って分類処理ができたらなーって。 そこで今回はscikit-learnの決定木 (DecisionTreeClassifier) やRandom forest (RandomForestClassifier) からif-then形式のコードを生成するものを紹介します。 https://github.com/ikegami-yukino/misc/blob/master/m
機械学習クソ素人の俺がプロダクトをリリースするまでの2ヶ月で覚えたこと - Qiita
scikit-learnでちょっとした機械学習をするのは、LAMPでちょっとしたWebアプリをつくるよりも簡単です。 下記に自分が入門してから2ヶ月間で覚えたことをまとめました。 ハイライト 重要だと思ったこと3つ 機械学習の概要 scikit learnについて Google Prediction API,Mahout,Spark,Cythonについてそれぞれ一言所感 重要だと思ったこと3つ 1.機械学習に明るい友人をもつこと どんな技術でもそうだけど、友人に聞いて概要を先に掴んでおくと自信を持って進めることができます。この自信を持っていると心が折れにくくなります。 @fukkyyに「入門サイトは難しい用語つかってビビらせてくるけど、ライブラリを使えば機械学習はこわくない」と教わり、巷にある入門サイトを無視してライブラリをたたき始めたので入りやすかったです。 @ysks3nに次元削除や各
scikit-learnで構築したモデルをシリアライズする - WEB SALAD
はじめに 11月となり、僕の修士研究*1も大詰めになってきました。 研究ではPythonの機械学習ライブラリであるscikit-learnを使っているのですが、先日、「（1時間かけて）訓練したモデルをシリアライズしておけば、評価用のプログラムと分割できて、色々と捗るのでは？」と思って調べたところ、かなり簡単にできたのでやり方をまとめました。 シリアライズとは シリアライズ - Wikipediaでは、2つの意味が紹介されていて、今回は後者の方が該当します。以下引用です。 ある環境に存在しているオブジェクトをバイト列やXMLフォーマットに変換すること。この意味では直列化という訳語が用いられる。同義語にMarshallingがある。対義語は直列化復元ないしデシリアライズである。 今回の文脈で言えば、Pythonプログラムの実行中にメモリ上に存在する変数を、バイト列に変換する（したがって、ローカ
機械学習はじめの一歩に役立つ記事のまとめ - Qiita
「機械学習」というワードになんとなく惹かれつつも、具体的にやりたいことがあるわけでもないので、手を動かすことなくただひたすら「いつかやる」ために解説記事やチュートリアル記事を集める日々を過ごしていたのですが、このままじゃイカン！と Machine Learning Advent Calendar に参加登録してみました。 が、やはり何もしないまま当日を迎えてしまったので、お茶濁しではありますが、せめて「機械学習ってどんな手法やライブラリがあって、どんな応用先があるのか？」というあたりをざっくり把握して最初に何をやるのか方向付けをするためにも、たまりにたまった機械学習系の記事をいったん整理してみようと思います。 機械学習の概要 特定のライブラリや手法の話ではなく、機械学習全般に関する解説。 機械学習チュートリアル@Jubatus Casual Talks 冒頭に、 初めて機械学習を聞いた⼈人
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
scikit learn のアルゴリズムチートシート - Qiita
Loading...
https://qiita.com/gash717/items/6a1ab3c4328118c4c22c