はてなブックマーク

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

実数、離散、および条件付きの次元で、厄介な検索空間を最適化するためのPythonライブラリ hyperopt の チュートリアル(wiki:FMin rev:a663e) を google 翻訳した。 ライセンス このページは、 hyperopt.fmin() の基本的な使い方に関するチュートリアルです。 fminが最適化できる目的関数を書く方法と、fminが検索できる検索スペースを記述する方法について説明します。 Hyperoptの仕事は、スカラー値の可能性のある確率関数の最良の値を、その関数の可能な引数の集合よりも見つけ出すことです。 多くの最適化パッケージはこれらの入力がベクトル空間から引き出されると想定していますが、Hyperoptは検索スペースをより詳細に記述することを奨励しています。 あなたの関数が定義されている場所と最適な値がどこにあるかについてより多くの情報を提供することで

http://scikit-learn.org/0.18/modules/ensemble.html を google翻訳した scikit-learn 0.18 ユーザーガイド 1. 教師付き学習 より 1.11. アンサンブルメソッド アンサンブル学習 の目標は、単一の推定器に対する汎用性/頑健性を向上させるために、与えられた学習アルゴリズムで構築されたいくつかの基本推定器の予測を組み合わせることです。 通常、アンサンブル学習は2つのファミリに区別されます。 平均化手法 は、いくつかの推定器を独立して作成し、それらの予測値を平均化することを原則としています。 平均して、結合された推定器は、その分散が減少するので、通常、単一の推定器よりも優れている。 例：バギング法、無作為化された木の森、... 対照的に、 ブースティング法 では、ベース推定器が順次構築され、結合推定器のバイアスを低減し

4.2.1. dictsからの特徴量のロード クラスDictVectorizerは、標準のPython dictオブジェクトのリストとして表される特徴量配列を、scikit-learn推定器で使用されるNumPy / SciPy表現に変換するために使用できます。 特に処理が速いわけではありませんが、Pythonのdictには、使いやすく、疎である（存在しない特徴を格納する必要はありません）、値に加えて特徴名を格納できるという利点があります。 DictVectorizerは、カテゴリ（または、名目、離散値）に対して、1対1のコーディングまたは「ワンホット」コーディングを実装ます。カテゴリ属性は、値に順番のない離散性のリスト（トピック識別子、オブジェクトのタイプ、タグ、名前など）に制限される「属性 - 値」のペアです。 以下では、「city」はカテゴリ属性であり、「temperature」は従

この文章は、主にgitbucketやgithubが大好き、俺専用githubを作りたい、という人たちに向けて書いた。 向いてない人はきちんと詳細・原理まで説明しないと使えない人、向いている人はなんか分からないけれどコピペしたら動いたからがんがん機能かくで！という人。 java は知っているけれど scalaは知らない人に向けて書いていますがscalaの説明は最低限しかしないので、別途リファレンスや入門書などを参考にすること。javaもscalaも知らなくてもrubyやphpやjavascriptを知っていれば何とかなるはず。 webアプリケーション開発経験が無いとつらい。 gitbucket とは gitbucket とは github 上で開発されているオープンソースの github っぽいgitリポジトリサーバです。 star が 6000 もついてる！ 開発者は日本人が中心で、日本語

scikit-learn モデルを訓練した後、再学習することなく将来の使用のためにモデルを持続させる方法が望ましい。次のセクションでは、pickleでモデルを永続化する方法の例を示します。また、pickleシリアル化の作業時に、セキュリティと保守性に関するいくつかの問題を確認します。 3.4.1. 永続性の例 Pythonの組み込み永続化モジュール、つまり pickle を使って、scikitモデルを保存することは可能です： >>> from sklearn import svm >>> from sklearn import datasets >>> clf = svm.SVC() >>> iris = datasets.load_iris() >>> X, y = iris.data, iris.target >>> clf.fit(X, y) SVC(C=1.0, cache_siz

書かれたチュートリアルについては、ドキュメントのチュートリアルのセクションを参照してください。 初めて科学的なPythonをお使いですか？ 科学的なPythonエコシステムを新しく始めるときは、 Python Scientific Lecture Notes（訳注：日本語訳版がここに ） を強くお勧めします。これは、あなたの基礎を少し見つけるのを助け、間違いなくあなたの scikit-learn を学ぶ経験を向上させます。 scikit-learnを最大限に活用するには、NumPy配列の基本的な理解が推奨されます。 外部チュートリアル 特定の科目分野に合わせたオンラインチュートリアルがいくつか用意されています。 PythonでNeuroImagingのための機械学習 天文学データ解析のための機械学習 Scipy 2013での ガイ・バロックウ、ジェイク・バンダープラス、オリビエ・グリゼル

http://scikit-learn.org/0.18/tutorial/machine_learning_map/index.html をgoogle翻訳した チュートリアル 目次 / 前のチュートリアル 適切な推定器の選択 多くの場合、機械学習の問題を解決する最も難しい部分は、その仕事のための正しい推定器を見つけることです。 データの種類や問題ごとに、適した推定器は異なります。 以下のフローチャートは、どの推定器でデータを試してみるかという大まかなガイドをユーザーに提供することを目的としています。 下の図の見積もりをクリックすると、そのドキュメントが表示されます。(訳注：クリックできません) scikit-learnアルゴリズムチートシート 開始 サンプルが50以上あるか？ NO → もっとデータを集めましょう yes ↓ カテゴリを推定したい？ Yes → ラベル付けされた教師デー

http://scikit-learn.org/0.18/tutorial/index.html を google翻訳した User Guide はこちら scikit-learnチュートリアル scikit-learnによる機械学習の紹介 機械学習：問題の設定 サンプルデータセットの読み込み 学習と予測 モデルの永続性 規約 科学的データ処理のための統計学習のチュートリアル 統計学習：scikit-learnにおける設定と推定器オブジェクト 教師あり学習：高次元の観測からの出力変数を予測する モデル選択：推定量とそのパラメータの選択 教師なし学習：データの表現を求める すべてを一緒に入れて ヘルプの検索 テキストデータの操作 チュートリアルセットアップ 20のニュースグループデータセットを読み込む テキストファイルからの特徴の抽出 分類器のトレーニング パイプラインの構築 テストセットの

このガイドの目的は、1つの実用的なタスクに関する主要な scikit-learn ツールのいくつかを探究することです：20の異なるトピックに関するテキストドキュメント（ニュースグループの投稿）の分析。 このセクションでは、以下の方法を説明します。 ファイルの内容とカテゴリをロードする 機械学習に適した特徴ベクトルを抽出する カテゴリ化を行う線形モデルを訓練する グリッド探索戦略を使用して、特徴抽出コンポーネントと分類器の両方の良好な構成を見つける チュートリアルセットアップ このチュートリアルを始めるには、最初にscikit-learnと必要なすべての依存関係をインストールする必要があります。 詳細およびシステムごとの指示については、インストール手順のページを参照してください。 このチュートリアルのソースは、scikit-learnフォルダ内にあります： チュートリアルフォルダには、次のフ

実験的な科学のデータセットのサイズが急速に拡大しているため、機械学習は重要性が増している技術です。さまざまな観測をリンクする予測関数を構築することから、観測を分類すること、またはラベル付けされていないデータセットの構造を学習することまで、さまざまな問題に取り組んでいます。 このチュートリアルでは、データを手がかりにした統計的学習の結果、統計的推論を目的とした機械学習技術の使用を紹介します。 scikit-learn は、古典的な機械学習アルゴリズムを科学Pythonパッケージ（ NumPy 、 SciPy 、 matplotlib ）の緊密に編成された世界に統合したPythonモジュールです。 統計学習：scikit-learnにおける設定と推定器オブジェクト データセット 推定器オブジェクト 教師あり学習：高次元の観測からの出力変数を予測する 最近傍と次元の呪い 線形モデル：回帰から希薄

【翻訳】scikit-learn 0.18 チュートリアル 科学的データ処理のための統計学習のチュートリアル すべてを一緒に入れてPython機械学習MachineLearningscikit-learn from sklearn import linear_model, decomposition, datasets from sklearn.pipeline import Pipeline from sklearn.model_selection import GridSearchCV logistic = linear_model.LogisticRegression() pca = decomposition.PCA() pipe = Pipeline(steps=[('pca', pca), ('logistic', logistic)]) digits = datasets.l

クラスタリング：観測値をまとめてグループ化する クラスタリングで解決された問題 虹彩データセットが与えられた場合、3種類の虹彩があるが、タキソノミストにラベルを付けるためのアクセス権がない場合、クラスタリングタスクを試すことができます：観測をクラスタと呼ばれるよく分離されたグループに分割します。 K平均クラスタリング 異なるクラスタリング基準および関連するアルゴリズムが多数存在することに注意してください。最も単純なクラスタリングアルゴリズムは K平均 である。 >>> from sklearn import cluster, datasets >>> iris = datasets.load_iris() >>> X_iris = iris.data >>> y_iris = iris.target >>> k_means = cluster.KMeans(n_clusters=3) >>

【翻訳】scikit-learn 0.18 チュートリアル 科学的データ処理のための統計学習のチュートリアル 統計学習：scikit-learnにおける設定と推定器オブジェクトPython機械学習MachineLearningscikit-learn http://scikit-learn.org/0.18/tutorial/statistical_inference/settings.html を google翻訳した scikit-learn 0.18 チュートリアル 目次 科学的データ処理のための統計学習のチュートリアル 目次 統計学習：scikit-learnにおける設定と推定子オブジェクト データセット scikit-learnは、二次元配列として表現された1つ以上のデータセットの情報を学習することを扱います。それらは、多次元観測のリストとして理解することができます。これらの配列

http://scikit-learn.org/stable/tutorial/basic/tutorial.html を google翻訳した。 scikit-learn 0.18 チュートリアル 目次 セクションの内容 このセクションでは、scikit-learn で使用される機械学習の用語を紹介し、簡単な学習の例を示します。 機械学習：問題の設定 一般に、学習問題は、n個のデータサンプルの集合を考慮し、未知のデータの特性を予測しようとする。各サンプルが単一の数値よりも大きい場合、または多次元項目（多変量とも呼ばれます）の場合は、いくつかの属性または特徴量を持つと言われます。 大きなカテゴリで学習問題をいくつかに分けることができます： 教師あり学習では、学習データには予測したい属性が追加されています（ここをクリックしてscikit-learn教師付き学習ページにアクセスしてください）。

サポートベクトルマシン（SVM）は、「分類」、「回帰」および「異常値検出」に使用される教師あり学習方法のセットです。 サポートベクターマシンの利点は次のとおりです。 高次元空間で効果的です。 次元の数が標本の数よりも多い場合でも効果的です。 意思決定関数（サポートベクトルと呼ばれる）でトレーニングポイントのサブセットを使用するため、メモリ効率も高くなります。 汎用：決定関数には異なるカーネル関数を指定できます。 共通のカーネルが提供されていますが、カスタムカーネルを指定することもできます。 サポートベクターマシンの欠点は次のとおりです。 フィーチャの数がサンプルの数よりもはるかに多い場合、この方法はパフォーマンスが低下する可能性があります。 SVMは確率推定値を直接提供するものではありませんが、高価な5倍交差検定を使用して計算されます（下記の参照： スコアと確率）。 scikit-lear