最近、Torch7で最近傍探索を繰り返し行いたかったけど、すごく遅いのでは？？という不安があったのでk-NN(k=1)でベンチマークしてみた。 設定 MNISTをk-NN(k=1)で評価する 尺度はコサイン類似度とする テストを全件評価してかかった時間を計測する 環境 Intel(R) Core(TM) i7-3770K CPU @ 3.50GHz 32GB RAM GeForce GTX 760 パッと思いついた実装 初めは難しいことは考えず、パッと思いついた方法を試してみる。 工夫としては、 コサイン類似度を求める際にベクトルのノルムを毎回計算したくないので、最初にノルムが1になるように正規化しておく(内積=コサイン類似度になる) 各テストデータと各学習データの比較は、gemv(torch.mv)で一度に計算すれば速いのではないか require 'optim' require 'xl

Facebookがtorchの拡張を公開したこともあり、torchを使ってみている方も出始めたようなので、自分がtorchで使う上で分かりにくかったことやハマったことなどを上げていきます。 ある程度使っている方を前提としています。 ひどいことをたくさん書きますが、torchが嫌いなわけではありません。torchはサイコーです。 リリースやバージョンについて ezinstallはgitのリポジトリをcloneしてインストールします。torchは今のところリリースの管理などしていなくて、日々更新される開発リポジトリがあるだけなので、インストールした日によって異なるバージョンがインストールされます。 たまに以下のようなコマンドを実行して更新したほうがいいです。 #!/bin/sh sudo luarocks install cwrap sudo luarocks install torch su

以前、Kaggle CIFAR-10 に参加していると書きましたが、これが2週間ほど前に終わりました。コンペはまだ Validating Final Results の状態なのですが、2週間たっても終わらず、いつ終わるのか謎なのと、多分結果は変わらないと思うので先に書きます。 CIFAR-10は、次のような32x32の小さな画像にネコ、犬、鳥など10種類の物体が写っているので、与えられた画像に何が写っているか当てる問題です。 （Kaggle CIFAR-10のデータセットは、通常のCIFAR-10と結果の互換性がありますが、チート防止に画像のハッシュ値が変わるように改変されているのと、テストセットに29万枚のジャンクイメージが含まれています。） 自分の結果は、0.9415 (正解率94.15%)で、Classification datasets results によると、state-of-

DecMeg2014をやっているときにCUDA使いて〜と思うことがあったので、最近、GTX760というGPUを購入して、Kaggle PlaygroundのCIFAR-10(有名な物体認識のデータセット)で試していたのですが、CIFAR-10のstate of the artである0.912を微妙に超える精度(0.9173)が出せるようになったのでソースコードを公開します。 nagadomi/kaggle-cifar10-torch7 · GitHub この結果は、"ベンチマークサイト Kaggle"で現在3位にランキングされています。 内容的には特に面白いことはしていなくて、cropping,scaling,horizontal reflectionで学習データを180万件(36x)まで増殖させたあとでNIN(Network In Network)というConvolutional Neu