画像認識の大革命。AI界で話題爆発中の「Vision Transformer」を解説！ - Qiita
0. 忙しい方へ 完全に畳み込みとさようならしてSoTA達成したよ Vision Transformerの重要なことは次の3つだよ 画像パッチを単語のように扱うよ アーキテクチャはTransformerのエンコーダー部分だよ 巨大なデータセットJFT-300Mで事前学習するよ SoTAを上回る性能を約$\frac{1}{15}$の計算コストで得られたよ 事前学習データセットとモデルをさらに大きくすることでまだまだ性能向上する余地があるよ 1. Vision Transformerの解説 Vision Transformer(=ViT)の重要な部分は次の3つです。 入力画像 アーキテクチャ 事前学習とファインチューニング それぞれについて見ていきましょう。 1.1 入力画像 まず入力画像についてです。ViTはTransformerをベースとしたモデル(というより一部を丸々使っている)ですが、
Self-Attentionを全面的に使った新時代の画像認識モデルを解説！ - Qiita
08/31 (2020): 投稿 08/31 (2020): 「畳み込みを一切使わない」という記述に関して、ご指摘を受けましたので追記いたしました。線形変換においては「チャネル間の加重和である1x1畳み込み」を実装では用いています。 08/31 (2020): 本論文で提案されているモデルの呼称に関して認識が誤っていたためタイトルおよび文章を一部修正しました。 言葉足らずの部分や勘違いをしている部分があるかと思いますが、ご指摘等をいただけますと大変ありがたいです。よろしくお願いします！(ツイッター:@omiita_atiimo) 近年の自然言語処理のブレイクスルーに大きく貢献したものといえば、やはりTransformerだと思います。そこからさらにBERTが生まれ、自然言語の認識能力などを測るGLUE Benchmarkではもはや人間が13位(2020/08現在)にまで落ちてしまっているほ
はじめに - Rustで始める自作組込みOS入門
この本は組込みシステムやOSのような低レイヤーシステムの開発経験がないプログラマーのような人が、自作OSをはじめるため解説本です。 著者自身、本職はウェブプログラマーですが、趣味で組込みOSの自作をしています。この本はそのノウハウ集のようなものです。 このような低レイヤーシステムはC言語で開発されることが多いのですが、今回はRustを使います。 RustはC言語と比較して、様々なモダンな機能やツール郡を取り揃えている上に、C言語の長所である直接のメモリ制御ができ、パフォーマンスも高いとして組込みシステム開発でつかえるとして注目されています。 Rustそのもの解説は控えめですが、低レイヤーシステム開発特有のテクニックは必要に応じて解説します。 想定読者 ある程度はプログラミング経験があることを前提としています。 また、レジスタやメモリなどコンピュータアーキテクチャに関する基礎用語の説明もちゃ
パラメータ数を激減させる新しい畳み込み「MixConv」解説！
３つの要点 その１ パラメータ数を激減させる新しい畳み込みMixConvを提案 その２ MixConv層を含んだモデルをAIに自動生成(=NAS)させることでMixNetを開発 その３ MixNetはMobileNet-V3やMnasNetなどの小型画像認識モデルのみならずResNet-153に対してはパラメータ数1/9程度で性能を凌いだ MixConv: Mixed Depthwise Convolutional Kernels written by Mingxing Tan, Quoc V. Le (Submitted on 22 Jul 2019 (v1), last revised 1 Dec 2019 (this version, v3)) Journal reference: BMVC 2019 Subjects: Computer Vision and Pattern
五味馨 on Twitter: "大変珍しいことに私が専門の地球環境が話題になっていますね。気候変動業界は結構大きいのであちこちに解説があり、所属組織もQ&Aを出しているくらいですが、個人アカウントとしてもこれを機にふんわりと環境・経済・社会について概説しておこう… https://t.co/4eovH6KV3V"
大変珍しいことに私が専門の地球環境が話題になっていますね。気候変動業界は結構大きいのであちこちに解説があり、所属組織もQ&Aを出しているくらいですが、個人アカウントとしてもこれを機にふんわりと環境・経済・社会について概説しておこう… https://t.co/4eovH6KV3V
【全編無料】GoogleによるAI解説・機械学習やゲーム作成・ブロックチェーンなどがわかるUdemy無料講座まとめ
「Udemy」はさまざまな講座をムービー形式で視聴できる学習プラットフォームで、13万件を超える講座があり、その総受講者数は世界で4000万人以上です。講座は有料のものが多いのですが、無料で質の良い講座も存在しており、中には「無料なのに受講しないのはもったいなさすぎる」と思わせる講座も。今回はそうした良質な無料講座の中からぜひとも一度は見ておきたい講座を5つピックアップしてみました。Udemyにはもともとプレビュー機能があり、有料の講座であっても一部を無料で視聴可能ですが、ピックアップした5つの講座は講座の全てのパートを完全に全編無料で受講できます。 オンラインコース -世界最大級のオンライン学習プラットフォーム- Udemy https://www.udemy.com/ ・目次 ◆AIの仕組みや利用法を一発で理解できるGoogleの解説講座 ◆ゲームを実際に作成して「Unity」の利用方
強化学習における好奇心
【2020年アップデート版】 強化学習では，環境で得られる報酬がスパースである場合，うまく学習することができない．この問題を解決するための手法として，強化学習のエージェントに「好奇心」を与える研究が注目されている．本スライドでは，深層強化学習の登場以降に発表された「好奇心」を利用した強化学習の研究をまとめた．特に主要ベンチマークであるMontezuma's Revengeで高いパフォーマンスを発揮したアルゴリズムについて詳しく解説する．また，「好奇心」による探索を報酬がスパースな場合以外の強化学習に適用した場合の最新研究についても紹介する． 現在は，本資料の修正・アップデート版を以下で公開しています． 【強化学習における好奇心】 https://www.slideshare.net/ShotaImai3/curiosity-reinforcement-learning-238344056
「5人でユーザテストすればユーザビリティ上の問題のうち85%が見つかる」の元ネタ論文を解説する｜Mikio Kiura / ANKR DESIGN
Webサービスやアプリなど開発や運用に関わっている方であれば、こんなことを耳にしたことがあるのでは無いでしょうか？ 5人でテストを行えば、ユーザビリティ上の問題のうち85%を発見できるこれらは業界的にはある意味で常識ですが、色々話を聞いてみると、この常識の「出処」あるいは「根拠」ってあんまり知られていないようなのです。 もちろん、ちょっと知識のある人であれば、ユーザビリティ業界の第一人者であるヤコブ・ニールセン博士が提唱したというところまでは知識として知っているでしょう。しかしながら、その元ネタとなった論文を実際に読んだ人、あるいは85%という数字の根拠やその条件について理解されている方はどの程度居るのでしょうか。 ということで本記事では「ユーザテストは5人で85%」の元ネタである下記の論文について、解説、と言うとちょっと大げさかもですが、概要を紹介してみたいと思います。願わくば、この記事
Linuxカーネルのソースコードを機能とレイヤーで分類して表示してくれる「Linux kernel map」
Linuxのカーネルは膨大な数のソースコードから成り立っており、どこに何の処理が書いてあるのかぱっと見当をつけるのにはかなりコードを読み込む必要があります。「Interactive map of Linux kernel」はそのソースコードを機能とレイヤーで分類して表示してくれるサイトということで、使い勝手を試してみました。 Interactive map of Linux kernel http://www.makelinux.net/kernel_map/ サイトにアクセスし、ロードが終わると下の画像のように6列6行の表が表示されます。列が機能の分類を表しており、「インターフェース」「システム」「処理」「メモリー」「ストレージ」「ネットワーク」という分類になっています。行はレイヤーを表しており、上からシステムコールなどの「ユーザースペースインターフェース」、「バーチャル」、「ブリッジ」
通信基本用語 - 伝送路符号 | LINEEYE
単流方式 ０と１を電圧の有り・無しで表現する方式です。電位０が０を、電位Ｅが１を表すとき、０と１を識別する基準となる値(しきい値)は、０とＥの中央になるため、伝送中にノイズ等の影響により受信電位が変動した場合、０と１の識別に誤りが入りこむ可能性が高くなります。ノイズ等の影響を受けやすいため、主に近距離の通信に利用される事が多くなっています。 複流方式 ０と１を電圧の極性（電位Ｅ、電位－Ｅ）で表現する方式です。この場合、しきい値は電位０となります。０と１を単にプラスとマイナスで表すため、ノイズ等により受信電位が変動した場合でも、単流方式に比べて安定したデータ伝送がおこなえます。
TPP反対・中野剛志の解説がわかりやすすぎる！ : 座間宮ガレイの世界
中野剛志（経産官僚・京大准教授）によるTPP解説動画と文字おこしです。（著書「TPP亡国論」）。 アメリカの輸出拡大政策を、関税やドル安という側面から分析しています。 中野剛志先生のよくわかるTPP解説―日本はTPPで輸出を拡大でき... http://www.dailymotion.com/video/xlprdw 中野剛志先生のよくわかるTPP解説―日本はTPPで輸出... 投稿者 soomooAichi 中野剛志氏の経歴をwkipediaより引用 神奈川県出身 東京大学に入学。同大学教養学部教養学科（国際関係論）へ進む。 1996年 同大学を卒業。通商産業省（現経済産業省）に入省。 1999年 資源エネルギー庁長官官房原子力政策課原子力専門職に就任。 2000年 エディンバラ大学留学。 2003年 経済産業省資源エネルギー庁資源・燃料部政策課課長補佐。 2004年 同課燃料政策企画室
【保存版】ScanSnap S1500M: 雑誌・書籍の裁断スキャンの方法をやさしく解説。iPadライフが10倍楽しくなります！ | AppBank
興味はあれど、なかなか手を出せなかった自炊（自分で漫画や書籍を電子化すること）。 やってみましたが、これ、最高ですよ！今まで何で二の足を踏んでたんだろ・・・と。興味がある方は絶対やってみた方がいいと感じました！iPadに対する愛がさらに深まります。 今回ご紹介するのは、ズバリ自炊の方法とコツ、および使ってみた感想！用意したのは、自炊用スキャナー「FUJITSU ScanSnap S1500M (Macモデル)」と、裁断機「大型裁断機 書籍断裁可」です。 ＊私がMacユーザーであるため、Macモデルを購入しましたが、同ScanSnapのWindowsモデルも当然あります。まちがって購入しないようにご注意下さい。また、ScanSnap S1300というWin/Mac両対応のコンパクト版もあります。こちらは値段もお求め安いので、機能を比較した上で合った物をお選びください。 ScanSnapはもは
遅延ロードでJavaScriptのお勉強 - Born Neet
となっています。 わかりにくいのは、checkですね^^ この関数では、外部jsの読み込み完了を判断する必要がありますが、JSにはそんな機能はありません。 （っていうか外部ファイルのロード自体もHTMLを利用して実現してるぐらいです） ただ、多くのjsファイル（ライブラリは特に）読み込まれるとグローバル領域に何かしらのオブジェクトを作ります。 なので、そのオブジェクトの有無をチェックすることで、外部jsのロード完了をしろうというわけです。 jQueryだと、window.jQueryがそのオブジェクトになります。（window.はグローバルを示します） function load(src, check, next) { } と書かないのは、前者の方が汎用性が高いためだと思われます。 if文等ブロック内に書けたりとかするので。 （function文だと関数の中に書けないからこっちの形にしてる
4Gamer.net — [CEDEC 2010]ネットゲームの裏で何が起こっているのか。ネットワークエンジニアから見た，ゲームデザインの大原則
[CEDEC 2010]ネットゲームの裏で何が起こっているのか。ネットワークエンジニアから見た，ゲームデザインの大原則 編集部：touge 先週行われた「CEDEC 2010」の講演から「ネットワークゲームの仕組みとゲームデザイン」と題されたセッションを紹介しよう。 「CEDEC 2010」公式サイト 登壇したのは，セガ第三CS研究開発部のテクニカルディレクター 節政暁生氏。節政氏は「ファンタシースター オンライン」シリーズのプログラマとして，長年ネットワークゲーム（オンラインゲーム）の開発を手がけてきてきた人物だ。この講演では，その経験からネットワークゲームのゲームデザインにおいて，気をつけるべきことについてのレクチャーが行われた。その内容には一部技術的な要素を含むものの，基本的にはプランナーに向けたものであるため，理解にそれほど専門的な知識は必要ない。いわばネットワークの基礎の基礎にあ
![4Gamer.net — [CEDEC 2010]ネットゲームの裏で何が起こっているのか。ネットワークエンジニアから見た，ゲームデザインの大原則](https://cdn-ak-scissors.b.st-hatena.com/image/square/ba2b74f4bf8449048ce5025fbdac545d7519da6a/height=288;version=1;width=512/https%3A%2F%2Fwww.4gamer.net%2Fgames%2F105%2FG010549%2F20100905002%2FTN%2F002.jpg)
超便利なDebugkitを画面キャプチャ付きで解説 - cakephperの日記(CakePHP, Laravel, PHP)
CakePHPの便利すぎるプラグインであるDebugkitが色々と機能追加されてたので、今の最新版でどうなっているか画面キャプチャをベースに解説します。thechaw.comにある最新ソースだとid:yandodさんがリクエストしてた「Viewにセットした変数とかヘルパーとか全て表示できるように」というのが、Variablesパネルに加わりました(2009/5/29のコミットで)。 基本的には、下記からZIPダウンロードしてください http://github.com/cakephp/debug_kit/downloads （現在の最新版はVersion 1.1） http://thechaw.com/debug_kit/versions 追記 上記のzipはリリース版です。最新の機能を使いたい場合は下記からファイル名の日付が最も新しいZipダウンロードしてください。 http://git
ついに「本当に使える」バス路線アプリを見つけた！地図上に停留所が立ち並ぶ！ : akiyan.com
ついに「本当に使える」バス路線アプリを見つけた！地図上に停留所が立ち並ぶ！ 2010-06-06 目次 バス路線は調べにくい ネットで最も調べにくい情報の一つである「バス路線」。普段バスを使わない人がネットで調べようとすると... Googleマップなどの地図サービスで調べられない。 あの停留所に来るバスがどこに行くのかわからない。 バス会社バラバラ。 そもそもどのバス会社が来てるのかさえよくわからない。 路線図にたどり着いても、全ての停留所が記載されていない（本当）。 路線図はただの図なので、停留所の正確な位置がわからない。 全ての停留所が記載されている表を見てみたが、停留所名が並んでいるだけで、結局わからない。 もういい！ となってしまった方、少なくないのではないでしょうか。 今回見つけたiPhoneアプリ「最寄りバス停」こそ、この問題の大部分を解消してくれるものでした。自動で乗り換え
【レポート】副業では、何が"経費"として認められる? 知っておきたい税金対策基礎知識 | ライフ | マイコミジャーナル
前回は、サラリーマンで副業をしており、20万円以上の収入がある人は、確定申告が必要だということ、また副業の収入には、「報酬」「給料」があることなどを解説した。今回は、副業と税金の第2弾、収入と所得の違い、経費について紹介していこう。 副業の収入は基本的には「雑所得」になる まず、前回のおさらいだが、副業で得た副収入は「給与所得」「雑所得」「事業所得」はいずれかの3つにあてはまる。事業として本格的に続けていく場合をのぞき、短期的に「お小遣い稼ぎ」として副業をしているのであれば、基本的に副収入は「雑所得」と考えていいだろう。また、この雑所得の場合、副業先からの支払い明細には「報酬」と記載されているのが一般的だ。この雑所得、「給与所得」と違って、メリットといえるのが、「経費」が計上できる点にある。 「収入」と「所得」の違いを確認しよう では、経費とは何なのだろうか。その本題に入る前に、まずは収入
webmov08 » 第７回：ActionScript3.0：フレームアクションとイベント処理
<< 第６回：インタラクティブ・リアクティブ | top | 第8回：ActionScript 3.0：ムービクリップを操作する >> 第７回：ActionScript3.0：フレームアクションとイベント処理 本日の内容 ActionScript3.0へ移行する 前回やったインタラクションのサンプル ActionScript2で作成されていた 1世代前の書式 現在の最新のバージョンである、ActionScript3.0で、簡単なインタラクティブなムービーを作成してみる ボタンアクションからイベントリスナーへ ActionScript2では、ボタンの中にActionScrpitを記述する方法が一般的だった 先週の授業のサンプル参照 ActionScript3.0では、ボタンにアクション(プログラム)を埋めこむことができない！ ではどうすればいいのか? イベントリスナ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
「ゼロから作るディープラーニング」を動画でまとめている人がいたので紹介します。｜Dai
【画像】可愛い女の子が体を張って拷問を解説:エンタメちゃんねる