【機械学習】OOB (Out-Of-Bag) とその比率 - Qiita
ランダムフォレストに関する解説を読んでいるとよく遭遇するOOB(Out-Of-Bag)、その詳細に迫ります。 ブートストラップサンプリング $N$ 個の訓練標本 $\{\boldsymbol{x}_i, y_i \} _{i=1}^N$ から重複を許してランダムに同じだけの数$N$個を選ぶことで、訓練標本集合を作る方法をブートストラップサンプリングと呼びます。ランダムフォレストではこのブートストラップサンプリングで作った$M$個の訓練標本で多数の決定木を作ることから「フォレスト」という名称がついています。 このとき、$N$個から重複ありで$N$個選ぶので、中には選ばれなかったデータがあります。これをOOB(Out-Of-Bag)と呼びます。ランダムフォレストのエラーの評価に使われたりします(ココなど) $i$番目のデータ$ ( \boldsymbol{x}_i, y_i )$に着目すると、
プログラマのための数学勉強会@福岡#5 で「Goによる勾配降下法 -理論と実践-」を発表してきた
8/6に開催されたプログラマのための数学勉強会@福岡#5で「Goによる勾配降下法 -理論と実践-」を発表してきました。 今回は勾配降下法にフォーカスした内容となっています。機械学習というブラックボックスが実は誤差を最小化するものであり、そのために勾配降下法というアプローチがある、という基本でもあり、数式に抵抗があると最初につまづく箇所でもあります。 今回は数式と図解に加え、Go言語によるサンプル実装も添えることでプログラマへも理解しやすくなるように資料を作ってみました。 また、勾配降下法の手法だけではなく収束速度の改善や学習率の自動調整といった最適化の手法も紹介しているので、基本を理解している人もよければ御覧ください。 サンプル実装 発表で使ったサンプル実装はこちらで公開しています。 正弦関数を元にしたトレーニングセットに対して多項式回帰を行うことができます。 このような感じで各種勾配降下
ld と ld.gold のリンクの速さを比較した話 - Qiita
ベンチマークのスクリプト類は Githubにあります。 ld.gold についてとベンチマークの動機 C++で作業をしているとリンクの遅さがストレスになります。OpenCVみたいな複数の共有ライブラリを作るようなプロジェクトの場合は顕著になります。オブジェクトファイルへのコンパイルは make -j9 のように並列で行えばよいのですが、リンクは並列に行えないためにボトルネックとなります。 2012年ごろに gold(ld.gold) というリンカが出てきました。Google発だそうです。現在は binutils に入っています。既存の ld に比べて5倍ほど速いそうです。それだけ速いなら常用できないかと試しにベンチマークをとりました。 ベンチマークの方法 std::vector<some_type_XXXX> を使用するオブジェクトファイルを2000個作る 上記オブジェクトファイルが提供す
C言語1000行以下のエディタ「Kilo」を理解する(1) シンプルな内部構造
以前、Salvatore Sanfilippo氏によって開発されたエディタ「Kilo」を取り上げたところ、高い関心を集めた。Kiloはclocカウントでソースコードが1000行以下で、しかもcursesなどのライブラリも使っていない。VT100の基本的なエスケープシーケンスとlibcで提供されている機能だけを用いて実装されたエディタで、シンタックスハイライトにも対応している。C言語1000行程度でここまで実用的なエディタが開発できるというのは、教育向けの素材として興味深い。 本連載では、Kiloのソースコードを読み、どのような仕組みでエディタが作られているかについて紹介する。C言語でソフトウェアを開発する際に利用する機能が網羅されており、学習素材としてなかなかのポテンシャルを持っている。エディタがどのように実装されているのかを知るためにも、一度は読んで見てほしいソースコードだ。 頭から読む
C++によるプログラミングの原則と実践 - asciidwango
C++の設計者Bjarne Stroustrupが、プログラマーを目指す学生、C++を本格的に学びたい人を対象に書き下ろしたプログラミングの入門書です。 Bjarne Stroustrup（ビャーネ・ストラウストラップ） 著 江添 亮 監修 株式会社クイープ／遠藤美代子 訳 定価： 7,560円 （本体7,000円） 発売日：2016年9月2日 形態：B5変形（1248ページ） ISBN：978-4-04-893051-2 Amazonで購入する サポート／追加情報 ◆C++の開発者によるプログラミングの解説書 「本書は、プログラミングの経験はないものの、学ぶ意欲は十分にあるという読者を対象としている。ここでは、C++プログラミング言語を使ったプログラミングの原理を理解し、その実践的なスキルを養うための手助けをする。本書の目標は、最善かつ最新の手法を用いて、単純で便利なプログラミングタスク
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Emacs Lisp: サルでも分かるシンタックステーブル入門！対応する括弧もコメントアウトも思いのまま(寄稿)
