Numerical Optimization: Understanding L-BFGS — aria42
Numerical Optimization: Understanding L-BFGS Numerical optimization is at the core of much of machine learning. Once you’ve defined your model and have a dataset ready, estimating the parameters of your model typically boils down to minimizing some multivariate function $f(x)$, where the input $x$ is in some high-dimensional space and corresponds to model parameters. In other words, if you solve:
Scikit-learnで学ぶ機械学習入門 - tkm2261's blog
今回はこの前勉強会で話してきたこの話 『Scikit-learnで学ぶ機械学習入門 』 ついに、このブログでもデータ解析っぽいことを話せて感無量です。 詳細な勉強会の模様は天丼丸さんのページをご参照ください。 機械学習勉強会 #2 | /home/by-natures/* この勉強会では、機械学習が初めての方も多かったので、 機械学習の全体的な流れを重視して話して来ました。 特にp.11の、機械学習の流れは汎用的に使えるかと思います 精度が上がらない時は、このフローに抜け漏れが無いかを確認することが重要です。 scikit-leanの使い方については、ほとんど解説してませんが、 APIが全て統一されているので、以下だけでほぼ全て使えます。 使用したい手法のインスタンスの生成 パラメータのセット fit()関数による学習 predict()関数による予測 githubにサンプルコードも載せて
パーセプトロンからSVMでの画像認識まで、機械学習エントリのまとめ - きしだのHatena
なんかJJUGナイトセミナーで機械学習をやるっぽくて、定員100人が40人キャンセル待ちとかになってますね。 【東京】JJUG ナイト・セミナー「機械学習・自然言語処理特集！」12/17（水）開催 - 日本Javaユーザーグループ | Doorkeeper ということで、予習用だか復習(になるかわかんないけど)用に、2008年になんか機械学習をやってたときのエントリをまとめてみます。 今でこそ機械学習はなんかもりあがってるけど、2008年にぼくがやってたとき「ところで機械学習やってなんになるの？」ってよく言われてました。ぼくも「いや、なんかそこに機械学習ってものがあるから実装してる」みたいな答えをしてた気がします。特に目的はありませんでした。 たまたま サポートベクターマシン入門 という本を見かけて、なんか実装してみたくなっただけです。 変な力がありあまってたっぽい。 機械学習ことはじめ
Go言語によるCLIツール開発とUNIX哲学について - ゆううきブログ
この記事ははてなエンジニアアドベントカレンダー2014の8日目です。 今回は、Go言語でサーバ管理ツール Mackerel のコマンドラインツールmkr を作るときに調べたこと、考えたこと、やったことについて紹介します。（mkr は現時点では開発版での提供になります。） コマンドラインツールについて コマンドラインツールを作るにあたって、@deeeet さんの YAPC Asia 2014 での発表資料が非常に参考になります。 書籍 UNIXという考え方ーその思想と哲学 の内容をベースに、コマンドラインツールはどうあるべきかということが丁寧に説明されています。 上記資料から引用させていただくと、コマンドラインツールにおいて重要なポイントは以下の7つであるとされています。 1つのことに集中している 直感的に使える 他のツールと連携できる 利用を助けてくれる 適切なデフォルト値を持ち設定もでき
リモートワークの地味な知見 - ✘╹◡╹✘
華やかなところはまあググれば出てくるんで、地味なところに触れる。 日報にまとめておく リモートワーク中は、毎朝10:10 - 10:20の間、Google+ ハングアウトのビデオ通話を利用して進捗・問題共有しているんだけど、慣れてないと共有過多で時間が長くなりがち。8人居て、1人5分とかになると重い。いま取り組んでいる実装の話とかを始めてしまったり、あと会議参加者に対して「これどうですかね？」と質問する内容が含まれていたりすると、特に時間が長くなりがち。この辺は、事前にQiita:Teamの日報に前日やったことや翌日やることをまとめておいて、詳しくは日報に書いたんで見てくれという風に改善されたりした。日報、リモートワークで特に役に立つ。では日報を書いておけばミーティングは不要になるのではないかという話になるかもしれないが、この先は君の目で確かめてくれ。 情報の倍率を変えられるようにしておく
intをstringに変換 - Hacking My Way 〜 itogのhack日記
intで渡された10進数の値をstringに変換するにはsprintfを使う方法とstringstreamを使う方法があります。 sprintfを使う方法 C、組み込みC++の場合はsprintfを使って以下のように書けます。呼び出し側でバッファを確保してもらう必要があります。 void IntToString(char *str, int number) { sprintf(str, "%d", number); } 使用例 #include <stdio.h> int main() { int iNum = 100; char sNum[32]; IntToString(sNum, iNum); printf("%s\n", sNum); } stringstreamを使う場合 stringstreamにバッファの管理を任せられます。 #include <sstream> #inclu
C言語/C++ 処理時間計測 入門
概要 プログラム開発当初から過度のパフォーマンス最適化を行うのは良くないと言われている。 プログラムソースの柔軟性が失われる可能性があるし、必要無いかもしれない最適化に時間を費やすのは開発工数管理的に好ましくないからだ。 プログラムがある程度動作するようになり、パフォーマンスが悪い（実行速度が遅すぎる）場合は、 処理時間計測を行い処理時間を要している箇所を探しだし、アルゴリズムやデータ構造の変更などのパフォーマンス・チューニングを行う必要がある。 予備調査として、色々なアルゴリズム・データ構造を採用した場合の処理時間計測を行い、 どれが最適か、どのような性質があるかを知ることも重要である。 本稿では、上記のような目的のためにプログラムの処理時間を計測する方法について説明する。 場合によっては、ストップウォッチを片手にプログラムを実行し、処理時間を計測することもあるかもしれないが、 精度が1
連番のファイルやディレクトリを簡単に作成する方法：while(1) { ;}：So-netブログ
ブログトップ 連番のファイルやディレクトリを簡単に作成する方法 [Linux] [編集] Linux で連番のファイルやディレクトリを簡単に作成してみましょう。 ただし、bash3 を使用していることが前提です。 bashのバージョンは、 $ bash --version で確認してください。 たとえば、hoge_1 から hoge_10 までのディレクトリを連番で作成するには、 次のように入力します。 $ mkdir hoge_{1..10} たったこれだけです。 hoge_1, hoge_2, hoge_3 ... hoge_10 というディレクトリが作成されます。 ただし、この方法だと、hoge_01～hoge_10 のように 先頭を0で埋めて数字の桁数を揃えることはできません。 もし、桁数を揃えたいのならば、seq に -w オプションをつけて $ for i in `seq -w
Pythonで「メモ化（Memoization）」の効いたプロパティがかんたんに作れる「memoize（メモワイズ）」 - モジログ
Python Package Index - memoize https://pypi.python.org/pypi/memoize/ GitHub - sionide21 / memoize https://github.com/sionide21/memoize 「memoize（メモワイズ）」は、Pythonで「メモ化（memoize / memoization）」の効いたプロパティがかんたんに作れるライブラリ。作者はBen Olive。 ウィキペディア - メモ化 http://ja.wikipedia.org/wiki/%E3%83%A1%E3%83%A2%E5%8C%96 ＜メモ化（英: Memoization）とは、プログラムの高速化のための最適化技法の一種であり、サブルーチン呼び出しの結果を後で再利用するために保持し、そのサブルーチン（関数）の呼び出し毎の再計算を防ぐ手法
memoizeでPythonの再帰計算をキャッシュして高速化 - About connecting the dots.
背景 ここ数ヶ月，頭の体操とPythonでの数値処理に慣れるのとで，project eulerの問題を順に解いていってます*1．割と初等整数論を使った計算問題が多いので，単純に公式を調べてなるほどこういう公式があるんだーとか感心しながら計算してます*2． で，その際によくあるのがProblem 3 - Project Eulerのように，3桁とかであれば簡単に手計算できるものについてこれが20桁だったときどうするか，という風に，計算量をちゃんと考えないと実時間で計算が終わらない問題です．そんなときによくやるのが，繰り返し使う値をキャッシュするってやつです．今回はこれについてのお話． 単純なキャッシュ とりあえずPythonで簡単にキャッシュするだけなら，グローバルにリストを定義して，ひたすらそこに追加すればOKです．例えば100万以下の素数をすべて計算する場合，以下のようにprimesリス
ディープラーニングを使ったイメージの切り抜き | カメリオ開発者ブログ
こんにちは、シバタアキラです。この度PyDataの本家であるアメリカのコミュニティーで半年に一度開催されているPyDataカンファレンスに出席するため、NYCに行って来ました。11/22-11/23の二日間の日程で行われ、延べ250人ほどが参加したイベントです。その時の模様は、先日のPyData Tokyo第二回ミートアップでもご説明させていただき、また後日記事化されると思いますので、そちらをぜひご覧いただければと思います。 今回はそのPyData NYCカンファレンスで私が発表してきたミニプロジェクトについてお話します。最近各所で話題に上がるディープラーニングですが、これを使った応用を「カメリオ」のサービス向上のために使えないか、というのがそもそものプロジェクトの着想でした。今回PyData Tokyoオーガナイザーとして、またディープラーニングで色々と面白い実験をしている田中さん（@a
Theano で Deep Learning <3> : 畳み込みニューラルネットワーク - StatsFragments
Python Theano を使って Deep Learning の理論とアルゴリズムを学ぶ会、第三回。今回で教師あり学習の部分はひと段落。 目次 DeepLearning 0.1 について、対応する記事のリンクを記載。 第一回 MNIST データをロジスティック回帰で判別する 英 第二回 多層パーセプトロン 英 第三回 畳み込みニューラルネットワーク (今回) 英 第四回 Denoising オートエンコーダ 英 第五回 多層 Denoising オートエンコーダ 英 第六回の準備1 networkx でマルコフ確率場 / 確率伝搬法を実装する - 第六回の準備2 ホップフィールドネットワーク - 第六回 制約付きボルツマンマシン 英 Deep Belief Networks 英 Hybrid Monte-Carlo Sampling 英 Recurrent Neural Network
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Getting error bounds on classification metrics
http://www.singularpoint.org/blog/c/eigen_1/