はてなブックマーク

背景 SphinxはPythonの各種ライブラリを始め様々なところで使用されているオープンソースのドキュメントシステムです。SphinxではreStructuredTextという軽量のマークアップ言語でドキュメントを記述しますが、今ではGitHubやQiitaなどのサービスに普及もあってMarkdownの方に慣れてしまっています1。 そこでSphinxでもMarkdownで書ける環境を構築したいと思います。 recommonmarkというSphinxの拡張を使用します。 手順 virtualenvwrapperが使えるpython環境前提としています。 環境準備

やりたいこと Sparkで機械学習といえばMLlibだけど、まだまだscikit-learnには機能面で劣っているように思えます。例えば、scikit-learnでは学習時に正例と負例の数が不均等な場合の補正とかできますが、mllibの1.5ではまだそのような機能はありません1。こんな時にメモリに乗る程度のデータで事前にscikit-learnで学習器を作成しておき、それをpysparkで大規模データの予測に使用できるとsklearnとsparkの両者のメリットが活かせるのではと思っています。 Let's Try 方針 データをndarrayのRDDに変換し、RDDのmapで学習済みのモデルのpredictに渡せばいいのですが、そのままやると関数呼び出しのオーバーヘッドが大きそうなのである程度の大きさのバッチ単位で処理したいと思います。 事前準備 Anaconda等のscikit-lear

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

モチベーション DeepLearningを簡単に書けることで最近話題のChainerだけど、いまいちAPIがまだ洗練されていない気がしたのでscikit-learn likeに使えるようにしてみた。 成果物 -> https://github.com/lucidfrontier45/scikit-chainer , https://pypi.python.org/pypi/scikit-chainer 方針 scikit-learnと同じようにmodel.fit(X, y)やmodel.predict(X), model.score(X, y)のように使えるようにする。 実装 そんなに長くないので全部貼っつける。 まずは基底クラス。sklearn.base.BaseEstimatorに相当します。 from abc import ABCMeta, abstractmethod from c