0. 忙しい方へ 完全に畳み込みとさようならしてSoTA達成したよ Vision Transformerの重要なことは次の3つだよ 画像パッチを単語のように扱うよ アーキテクチャはTransformerのエンコーダー部分だよ 巨大なデータセットJFT-300Mで事前学習するよ SoTAを上回る性能を約$\frac{1}{15}$の計算コストで得られたよ 事前学習データセットとモデルをさらに大きくすることでまだまだ性能向上する余地があるよ 1. Vision Transformerの解説 Vision Transformer(=ViT)の重要な部分は次の3つです。 入力画像 アーキテクチャ 事前学習とファインチューニング それぞれについて見ていきましょう。 1.1 入力画像 まず入力画像についてです。ViTはTransformerをベースとしたモデル(というより一部を丸々使っている)ですが、

この文章はDATUM STUDIO Advent Calendar 2017の25日目です。 はじめに 皆さんRのgridパッケージをご存知ですか？ gridExtra::grid.arrange()なら知っているけど…、という人が多いのではないでしょうか。 gridパッケージは何でも (!?) できます、しかし何をやるにも手間がかかります。 はっきり言って万人向けではありません。 ggplot2は、そのようなgridパッケージを扱いやすくラップしてくれているパッケージ、とも言えます。 ただし使いやすい反面、自由度に制限がかかっているのも事実です。 やりたいことができない！、という状況に出くわした際に、 少しgridパッケージについて知っていれば、ggplot2パッケージの限界を突破することが可能です。 今回は、左右に異なるy軸を用いた2データのプロット (以下2軸プロット) を例に、 g

ggplot2のレジェンド位置を変えるには Cookbookの Changing the position of the legend が参考になる． 要は theme() を使って legend.position を長さ2の数値ベクトルないし"none" , "left" , "right" , "bottom" , "top" の文字列で与え， legend.justification を長さ2の数値ベクトルないし"center" の文字列で与えれば いいわけだが，早見表が欲しい． パッケージ tidyverseからはggplot2の他にdplyr, purrrを使う．また，図を並べるためにはpatchworkを使う． patchworkについては私のTokyo R 73での発表スライドを参考にしてほしい． library(tidyverse) library(patchwork) 基

これはとある回顧録 何度も諦めかけましたが、数年の歳月を経て遂に岡田を切る技術が一旦の完成へと至りました。その技術を巡る奮闘の歴史と成果について、ここに記録を残していきたいと思います。 画像時代 まずは「切る」という動作が何を指すかを明確にしておきます。 厳密な定義というよりは、切った感を得るために必要そうなふるまいとして定義します。 平面上のある領域が、任意の直線を境界として分割されること 分割された領域は物理法則に準じてふるまうこと 要するに気持ちよく岡田を切ることができれば目標は無事達成です。 物理エンジン 切った感を高めるためにはやはり「物理法則」に準じたふるまいが欲しくなります。つまりブラウザ上で動く物理エンジンが必要です。 世の中にはフルスクラッチで物理エンジンを作れる人間と作れない人間が居ると思われますが、残念ながら私は後者でした。勝ち目の薄い勝負は避け、素直に巨人の方にすが

Jetson Nano ファーストインプレッション 謎の半導体メーカーのボード型コンピュータ、Jetson Nanoを購入しました。 NVIDIA Jetson Nano 開発キット メディア: 少し出遅れたので、届くのが遅くなりましたがようやくゲットできました。 ジャーン 裏側をみてみる ん…？？ え、えーーー！ どうかしてるぜNVIDIA、じゃなかった謎の半導体メーカーさん。 ちなみに、Jetson Nanoの箱は台としても使えるので、大切にとっておきましょう。私のように何も考えずバキバキに破壊しながら開けたら、無残な状況になりますゆえ。 無残な状況 Jetson Nanoセットアップ 些細なこと？は気にせず、セットアップしていきます。 ハードウェアの準備 電源、HDMIケーブル等、ラズパイの周辺機器がほぼそのまま使えました。あと、カメラモジュールはV2のみ対応らしいので、間違えてV1

ffmpegって慣れてくるととっても便利なんだけど、最初は何がなんだかさっぱりでだと思うので、シンプルな使い方から応用まで解説する。 更新情報 準備 用語解説 注意点 何が出来るの？ 用意するもの ダウンロードとインストール ffmpeg構文 ffmpeg例文集 ビデオをエンコードする libx264 libx265 h264_qsv hevc_qsv h264_nvenc hevc_nvenc オーディオをエンコードする mp4からオーディオだけ取り出す 秒単位、ミリ秒単位で動画をトリミングする ビデオフィルタを使う(リサイズ、インターレース解除、ノイズ除去) 動画のフェードイン・アウト 動画を回転させる オーディオフィルタを使う 音声のフェードイン・アウト 動画からPNG切り出し 複数ファイルを1つに繋げる。 VFR動画をCFRに直す ffplayで動画を再生する 既定のプログラムに設

CVPR2018にて超解像分野において極めて重要そうだなと感じた論文がありました。Yochai Blauらによる下記の論文です。 [1711.06077] The Perception-Distortion Tradeoff この内容を踏まえて最近の超解像研究の流れをまとめたいと思います。 超解像とは？ 超解像について振り返ります。多くの方がwaifu2xというソフトウェアで一度は目にしたことがあるかもしれません。下記イメージのように低解像の画像を高解像の画像に変換する方法を 超解像（Super Resolution）と呼ばれます。 （参照元：二次元画像を拡大したいと思ったことはありませんか？ - デー） このwaifu2xがざっくりどのように超解像を行っているかというと、ベースはSRCNNというConvolutional Neural Netoworkを使った超解像手法であり、下記のよう

Illustratorのパターンの扱いは、Illustrator CS6以降、劇的に改善されています。しかし、従来からある機能の組み合わせによる、デフォルトのパターンスウォッチの応用についてご紹介します。 「ベーシック」パターンを開く ［スウォッチ］パネルメニューの［スウォッチライブラリを開く］→［パターン］→［ベーシック］のサブメニューには「ベーシック_テクスチャ」「ベーシック_ライン」「ベーシック_点」の3つのライブラリが入っています。 ドットやライン、そして、テクスチャのパターンスウォッチが入っています（パネルメニューでスウォッチの大きさを変更）。 図形を変形せずに、パターンのみ（拡大）縮小する 四角形にラインのパターンを適用します。 ［拡大・縮小］ダイアログボックスを開き、［オブジェクトの変形］オプションをオフにして、［拡大・縮小］を「50%」に設定します。 オブジェクトの大きさは

おしっこセンサーできました ウチの小学生の息子が家のトイレでたびたびおしっこをこぼしてしまう。俺がくどくど注意してもあんまり効果ない。そこで、代わりにAIに怒ってもらうことにした。こんな感じである。 おしっこセンサーのデモ（動画）。水を数滴床にたらすとブザーが鳴り、床を拭くと止まる。 ディープラーニングの画像認識を使い、床の上に落ちた水滴をカメラで検出してブザーが鳴る仕組みだ。夏休みの自由工作に過ぎないので精度は期待していなかったけど、意外にきちんと動いてくれて、カメラに映る範囲に水滴を数滴たらすとピッピと鳴り、床を拭くとブザーも止まる。「お父さんだってAIくらい作れるぞ」と息子に自慢したいがための工作なのだ。 でも、これ作るのはそんなに難しくなくて、休み中の3日くらいで完成した。かかったお金は、RasPiやカメラ、周辺デバイスが2万円弱、画像認識のモデル作成に使ったクラウドの料金が数10

フリー素材サイト「いらすとや」に出てくる人間風の画像を自動生成するモデルをDeep Learningで作りました。実装にはGoogle製のライブラリ「TensorFlow」と機械学習アルゴリズムの「DCGAN」「Wasserstein GAN」を用いています。 以下は生成された人間画像のうちそれなりにきれいなものの一例です。頬のところが赤くなっていて何となく本家いらすとやの特徴を捉えられていると思います。 「いらすとや」とは？ 実装した手法の概要 DCGAN、Wasserstein GANについて Generator Discriminator GeneratorとDiscriminatorの学習 学習や実装の詳細 Generator、Discriminatorのネットワーク構成やパラメーター 訓練データ その他 学習経過 モデルを検証する 入力にバイアスを掛けていい画像を出やすくする ま

DeepLearning Advent Calendar,6日目の記事です。 Deep Learningフレームワークも世の中に随分と充実してきた昨今、いかがお過ごしでしょうか。今日はC++プログラマが簡単に導入できるDeep Learningフレームワーク、tiny-dnnを紹介します。 まとめ C++でDeep Learningやるなら、tiny-dnnが便利 Header-only＆外部依存なしで簡単導入 Caffeからのインポートやシリアライズなどの各種機能にも対応 いろんなデバイス上で動かしたい人、既成のModel＋αを素早くアプリケーション化したい人、C++でDeep Learningを理解したい人に最適 背景 Deep Learningフレームワークといえば、 Chainer TensorFlow Caffe あたりが有名ですね。他にも老舗のTheanoにTorch、Tens

はじめに ディジタルフィルタ、 FIRフィルタ、IIR フィルタ、とくに逆フィルタの基礎的事項について考える。 ディジタルフィルタは、難しい理論から、当り前の技術にならなければならない。コンデンサと抵抗と OP アンプしかない時代においては、信号を数値として扱うディジタルフィルタは、高価な夢の技術であった。 ところが今、ディジタルコンピュータの普及と高度化によってその環境はあり得ないほど一変してしまった。 オーディオへの応用で、私は 1999 年に、PC の能力で 44.1 kHz のステレオのサンプルに対してリアル タイムに 400 個の係数の積和処理が可能であることを確認したことがある。そのとき思ったことは、 数100個の FIR が使えるときに私の知識は、まだ数タップのフィルタを扱うことしかできていない。 大量のタップ数を扱う技術は、古典的なフィルタの設計技術から別の領域の別ものに変