はてなブックマーク

毎回忘れるのでメモ。 1つのベクトル集合$X$内のベクトル間距離の場合、距離行列が対称行列なので、triu_indicesで狭義上三角行列のインデックスを取得して、その部分だけargsortする。 import numpy as np from scipy.spatial import distance_matrix sample_num = 100 dim = 8 X = np.random.randn(sample_num, dim) D = distance_matrix(X, X) ti = np.triu_indices(sample_num, 1) sorted_indices = np.argsort(D[ti]) ix, iy = ti[0][sorted_indices], ti[1][sorted_indices] print(D[ix, iy])

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? はじめに 顔認識 (face recognition) 等の個体識別問題において、距離学習は非常に重要です。ここで個体識別問題というのは、顔認識を例に取ると下記のようなものです。 2つの顔画像ペアが与えられた際にその顔画像ペアが同一人物のものであるかを判定する1:1認証 N人の顔画像データが予め与えられた状態で、個人が特定されていない顔画像が入力された際に、その顔画像がN人のうちどれであるか、またはどれでもないかを判定する1:N認証 何故距離学習が重要かというと、クラス分類問題とは異なりクラス数が不定で各クラスに属する画像を事前に得るこ

はじめに 深層学習を用いた画像認識では、学習時に訓練画像に対してランダムな画像処理を行いデータを水増しする、データ拡張が重要です。データ拡張を実現するため、imgaug1, Augmentor2, albumentations3といった高機能なライブラリを利用することができます。これらのライブラリは非常に多機能で素晴らしいのですが、あくまで同じ大きさの画像に対して処理を行うことが想定されているのか、様々な大きさの画像から学習に利用する画像をクロップしながら利用するような用途で下記のような不満がありました。 パイプラインで処理を行うため、本質的には1回の射影変換で実現可能なクロップ、回転、スケーリングといった処理が複数回に分かれて行われる クロップを行いながら幾何変換を行うことができないため、画面外のピクセルが出力画像に混じってしまう Augmentorはランドマークのような点座標の変換に対

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? はじめに MobileNet系の高速なモデルアーキテクチャに利用される構成要素と、それらを利用したモデルについて、何故高速なのか観点と、空間方向の畳み込みとチャネル方向の畳み込みがどのようになされているかという観点で整理を行う。 高速なモデルアーキテクチャに利用される構成要素 まず、高速なモデルに利用される畳み込み構成要素について、計算量と、空間方向の畳み込みとチャネル方向の畳み込みがどのようになっているかを説明する。 まず、一般的な畳み込みの計算量を確認する。 入力特徴マップのサイズを$H \times W$、入力チャネル数を$N$、

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? はじめに Faster R-CNN1 の特許らしいです。 各位　Faster R-CNN特許です。ご査収ください。 Faster R-CNN patent was granted.https://t.co/Bxnjz5s1WU pic.twitter.com/MwAohEN712 — Yosuke Shinya (@shinya7y) 2018年1月8日 わたし、気になります！ということで、どんな感じか翻訳＆解説してみます。 （2018/01/15 追記）弁理士の先生にコメントを頂きましたのでまとめに記載しました！ Disclaimer

（2018/01/05 追記）ちょうどpython-pptxを調べていたので、pptx形式で図を保存できるようにし、タイトルも修正しました。 はじめに 論文やスライドで、畳み込みニューラルネットワークのアーキテクチャを良い感じに表示したいときがありますよね？スライドだとオリジナル論文の図の引用でも良いかなという気がしますが、論文の図としては使いたくありません。 ということでKerasのSequentialモデルのような記法でモデルを定義すると、そのアーキテクチャを良い感じに図示してくれるツールを作りました。言ってしまえばテキストを出力しているだけのツールなので依存ライブラリとかもありません。 https://github.com/yu4u/convnet-drawer ここまで実装するつもりはなかったので綺麗に設計できていませんが、バグ報告や追加機能要望welcomeです！ 経緯 元々は、

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 昨年に引き続きDeep Learningやっていき Advent Calendar 2017の25日目の滑り込み記事で，畳み込みニューラルネットワークの歴史および最新の研究動向についてのサーベイです．2017年12月のPRMU研究会にて発表した，畳み込みニューラルネットワークについてのサーベイをベースに追記を行ったものになります． はじめに 畳み込みニューラルネットワーク (Convolutional Neural Networks; CNN) （以降CNN）は，主に画像認識に利用されるニューラルネットワークの一種である．CNNの原型は

はじめに 最近arXivに論文が公開されたdata augmentation手法であるmixupが非常にシンプルな手法だったので試してみました。 mixup mixup1は、2つの訓練サンプルのペアを混合して新たな訓練サンプルを作成するdata augmentation手法の1つです。 具体的には、データとラベルのペア$(X_1, y_1)$, $(X_2, y_2)$から、下記の式により新たな訓練サンプル$(X, y)$を作成します。ここでラベル$y_1, y_2$はone-hot表現のベクトルになっているものとします。$X_1, X_2$は任意のベクトルやテンソルです。 import numpy as np class MixupGenerator(): def __init__(self, X_train, y_train, batch_size=32, alpha=0.2, shu

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 本記事の前に下記の記事をどうぞ。 府大生が趣味で世界一の認識精度を持つニューラルネットワークを開発してしまった論文を読んだ （2017/10/24追記）ご本人よりShakeDropの論文では、2つを比較した上でCutoutではなく、Random Erasingを利用しているとコメントを頂きましたので修正しました。 はじめに 府大生がニューラルネットワークの「認識精度世界一」を奪還してしまったようです。 一般物体認識分野「認識精度 世界一」を奪還！ 府大生が開発したニューラルネットワーク https://t.co/9HSt7iGl55 —

はじめに ニューラルネットワークにおいて、新たなタスクの学習を逐次的に行うと、以前学習したタスクに対する性能が急激に低下にcatastrophic forgetting（破滅的忘却）が発生してしまうことが課題となっており、それを解決するための手法を提案している。 Overcoming Catastrophic Forgetting by Incremental Moment Matching, NIPS'17. https://arxiv.org/abs/1703.08475 以前にDeepMindのアプローチを読んで、これ系には興味があるので読んだ。背景や既存手法（EWC）の詳細は下記の記事に書いた。 ニューラルネットワークが持つ欠陥「破滅的忘却」を回避するアルゴリズムをDeepMindが開発した論文を読んだ アプローチ 目的は、タスク1に関する学習データ$\mathcal{D}_1 =

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? はじめに CNNベースの高速な物体検出の先駆けであるFast R-CNN1やFaster R-CNN2、最新のMask R-CNN3では、まず物体の候補領域をregion proposalとして検出し、そのregion proposalが実際に認識対象の物体であるか、認識対象であればどのクラスかであるかを推定します。 Fast R-CNN系の手法のベースとなったR-CNN4では、region proposalの領域を入力画像から切り出し、固定サイズの画像にリサイズしてからクラス分類用のCNNにかけるという処理を行っていたため、大量のre

すわなち、AとX、CとYは交換できる機能要素であるが、どちらも提案手法のほうが性能が良いということを示すことができます。 さらに、既存手法（X+B+Y）との比較まで行っていれば、公平性も担保されるので、上記の提案手法の有効性に関しては文句のつけようがなくなります。 提案手法のハイパーパラメータを評価する 提案手法に複数のハイパーパラメータ（以降単にパラメータ）が含まれているケースがあります。 機械学習の分野では、交差検証でパラメータを決定する前提であったり、パラメータに関してはかなりシビアに評価されている一方、コンピュータビジョン分野では、このようなパラメータが、本文中に単に「実験ではα=0.5, β=0.1, γ=0.9とした」とだけ記載されているケースも多いです。 提案手法のロバスト性という観点では、これらのパラメータ設定が性能に対してセンシティブでないことを示すべきであり、少なくとも

はじめに Kerasの作者@fcholletさんのCVPR'17論文XceptionとGoogleのMobileNets論文を読んだにて紹介したdepthwise (separable) convolutionとpointwise convolutionは、畳み込みのカーネルを空間方向とチャネル方向に分離することで、パラメータ数と計算時間を削減していた。 似たようなアプローチとして、Inception V31では空間方向の畳み込みを縦方向と横方向の畳み込みに分離し、畳み込みの受容野を維持しながら、パラメータを削減を行っている。具体的には1x7と7x1の畳み込みを利用して7x7の畳み込みを近似している。Inception V72では1x3と3x1の畳み込みが使われている。 ここでは、いくつかの種類の畳み込みの実際の処理時間を比較する。コードは下記にあります。 https://github.c

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? はじめに 最初は、軽量なConvNetに興味があったのでGoogleから出ているMobileNets 1 を読んでいたのだが、その過程でCholletさんのXception論文 2 を（後者は今更）読んだので合わせてまとめる。Cholletさんの論文はなんとなくカジュアルな雰囲気がして面白い。 どちらの論文もpointwise convolutionとdepthwise (separable) convoutionを用いて精度を保ちながらCNNのパラメータ数を削減している。すなわち、精度とパラメータ数のトレードオフを改善していると言える

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

はじめに ニューラルネットワークが持つ欠陥「破滅的忘却」を回避するアルゴリズムをDeepMindが開発したらしいので、元論文を読んでみた。 Overcoming catastrophic forgetting in neural networks https://arxiv.org/abs/1612.00796 Introの最初から汎用人工知能とかいきなり出てくるのでおおっと思うが、やってることはめちゃくちゃシンプル 端的に言えば学習したニューラルネットのパラメータのそのタスクに対する重要度がフィッシャー情報行列で測れるよ 脳神経科学系の単語が結構出てくるので、専門家がいるのかな？とはいえこの背景は後付で、アルゴリズムが先なんじゃないかな… 元の論文では数式を端折っている箇所があるので、適宜補完しつつ、直感的解釈とかは勝手に入れている。論文の流れにはそこまで沿っていない 不正確・間違ってい

はじめに 機械学習、特にdeep learningではデータが命である。ここでは、顔画像から年齢・性別を推定するタスクの学習に利用できるIMDB-WIKIデータセットを紹介する。 本稿では、学習のためのデータの整形まで。次回はCNNを利用した年齢・性別推定CNNの学習をやりたい。 コードは下記。 https://github.com/yu4u/age-gender-estimation IMDB-WIKIデータセット このデータセットは、Internet Movie Database（IMDb; 映画やテレビ番組の俳優に関するオンラインデータベース）およびWikipediaをクローリングして作られたデータベースで、プロフィール画像、プロフィール画像から顔領域を抽出した画像、人物に関するメタデータから構成される。IMDbには、460,723枚、Wikipediaには62,328枚の顔画像が含

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? Deep Learning Advent Calendar 2016の20日目の記事です。 ConvNetの歴史とResNet亜種、ベストプラクティスに関連スライドがあります（追記） 背景 府大生が趣味で世界一の認識精度を持つニューラルネットワークを開発してしまったようです。 M2の学生が趣味でやっていたCIFAR10とCIFAR100の認識タスクで，現時点での世界最高性能の結果を出したそうだ…趣味でっていうのが…https://t.co/HKFLXTMbzx — ニーシェス (@lachesis1120) 2016年12月7日 府

背景 家紋（かもん）とは、日本固有の紋章である。 https://ja.wikipedia.org/wiki/%E5%AE%B6%E7%B4%8B 真田丸を見ていたら、家紋の自動生成をしたくなったのでやってみた。 【参考】これまで生成されてきた画像たち 顔イラスト http://qiita.com/mattya/items/e5bfe5e04b9d2f0bbd47 イラスト http://qiita.com/rezoolab/items/5cc96b6d31153e0c86bc 間取り画像 http://nextdeveloper.hatenablog.com/entry/2016/02/26/211332 アイドル顔画像 http://memo.sugyan.com/entry/20160516/1463359395 ポケモン http://bohemia.hatenablog.com/

背景 歩行者検出技術は顔検出技術と並んで非常に実用上重要な技術の1つである。特に、自動運転が注目されている現状において、未だにホットな研究分野であり続けている。 歩行者検出技術の評価は、非常に整備された評価フレームワークが存在しデファクトとなっているため、それを動作させてみる。 取り敢えず下記でグラフが出るはず。 git clone https://gist.github.com/32febdc55658f5b98c251c16cd4c53b8.git caltech_pedestrian cd caltech_pedestrian chmod u+x caltech_evaluation.sh ./caltech_evaluation.sh cd code matlab addpath(genpath('../pdollar_toolbox')) dbEval Caltech Pedes