PythonでBag of WordsとSVMを使ったタイトルのカテゴリ分類 - stMind
cc licensed ( BY ) flickr photo shared by Loco Steve 週末に試そうのコーナー。 ちょうど良いチュートリアルがあったので、データセットを用意してやってみました。 問題 How can I get a computer to tell me what an article is about (provided methods such as bribery and asking politely do not work)? ある記事が何について書かれているのか、コンピュータに理解させるにはどうすれば良いか? チュートリアルでは手動で作ったデータを使って犬もしくはサンドイッチの2クラス分類をしています。 ここでは、Google NewsでiPadのニュース、ソチ五輪のニュースとカテゴリ分けされている記事のタイトルを使って、 あるタイトルがiPa
scikit-learnとgensimでニュース記事を分類する - Qiita
こんにちは、初心者です。 適当なニュース記事があったとして、ニュースのカテゴリを推測するみたいな、よくあるやつをやってみました。Python3.3を使いました。 何をやるの？ データセットはlivedoorニュースコーパスを使いました。 http://www.rondhuit.com/download.html#ldcc クリエイティブ・コモンズライセンスが適用されるニュース記事だけを集めてるそうです。 トピックニュース、Sports Watch、ITライフハック、家電チャンネル 、MOVIE ENTER、独女通信、エスマックス、livedoor HOMME、Peachy というクラスがあります。 データは、1記事1テキストファイルの形式で、クラス別のディレクトリにいっぱい入っています。 これを学習して、未知の文章に対して、お前は独女通信っぽい、お前は家電チャンネルっぽい、みたいに、分類が
scikit-learn で最低限の自作推定器(Estimator)を実装する - Qiita
やりたいこと scikit-learn はPythonのほぼデファクトの機械学習ライブラリです．scikit-learnの利点としては多くのアルゴリズムが実装されていることもそうですが，一貫した形で設計されており様々なアルゴリズムを共通したかたちで扱えることです．scikit-learnにないアルゴリズムを新たに実装したり，他のライブラリを使用するときにsciki-learnの他の推定器と同様に扱えるよう実装すれば，もともと実装されている推定器同様にクロスバリデーションで性能を評価したりグリッドサーチでパラメータを最適化したりできます．ここでは最低限の推定器の実装を示します．ここでは識別器または回帰器をターゲットとして考えます(クラスタリングとか教師なし学習とかは考えない)． べたな実装 from sklearn.base import BaseEstimator class MyEsti
API design for machine learning software: experiences from the scikit-learn project
Scikit-learn is an increasingly popular machine learning li- brary. Written in Python, it is designed to be simple and efficient, accessible to non-experts, and reusable in various contexts. In this paper, we present and discuss our design choices for the application programming interface (API) of the project. In particular, we describe the simple and elegant interface shared by all learning and p
Pythonで決定木を描いてみる - 技術情報棚卸し(平日限定)
はじめに データ分析が必要な局面がぼちぼち出てきましたので、まずは簡単な決定木を用いて 分析結果の可視化をしようじゃないか、というのが今回の目論見です。 決定木とは 決定木とは、scikit-learnの1.8. Decision Treesによると、 分類や回帰を行うために使われる、ノンパラメトリックな教師あり学習のひとつ、とあります。 また、目的は、学習データ中の特徴(説明変数)を用いて、目的変数の推測を行えるモデルを作ること、だそうです。 ナンノコッチャ？ですので例を挙げますと、例えばある有料サービスに申し込んでくれる人を増やすために、 今までの履歴からどういったお客様が有料サービスに申し込んでくれたか、を調査するとします。 無料サービスA, B, Cがあったとして、どれとどれをどのくらい使っている人が 有料サービスを申し込んでくれるか、こういうことを考えたいわけですね。 ここで言う
iPython-Notebooks / Comparing machine learning classifiers based on their hyperplanes or decision boundaries.ipynb / Jupyter Notebook Viewer
from pykalman.classifier import GenerativeBayes import pandas as pd import numpy as np rnorm = np.random.normal from sklearn.svm import SVC from sklearn.tree import DecisionTreeClassifier from sklearn.ensemble import RandomForestClassifier, AdaBoostClassifier from sklearn.qda import QDA from sklearn.linear_model import LogisticRegression from sklearn.neighbors import KNeighborsClassifier from skle
Hyperoptを使った、関数の最適化 - のんびりしているエンジニアの日記
皆さんこんにちは お元気ですか。私は元気です。 本日はhyperoptと呼ばれるライブラリを紹介したいと思います。 KaggleのForamで時々あがっていたので、気になっていました。 Hyperoptについて What is Hyperopt? hyperoptはTree-structured Parzen Estimator Approach(TPE)やRandomSearchを使って、最適化を行うライブラリです。 しかし、掲載論文を読む時間がないので、最適化の方法はともかく、 このライブラリは最小化するパラメータの推定を行ってくれます。 （他のもできるかもしれませんが、今回は調べていません。） Hyperoptについて、Scipy2013で発表をしているようです。興味が有る人は以下のビデオもどうぞ。 www.youtube.com Install sudo pip install h
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GitHub - amueller/scipy_2015_sklearn_tutorial: Scikit-Learn tutorial material for Scipy 2015