Efficient Transformers: A Survey
Transformer model architectures have garnered immense interest lately due to their effectiveness across a range of domains like language, vision and reinforcement learning. In the field of natural language processing for example, Transformers have become an indispensable staple in the modern deep learning stack. Recently, a dizzying number of "X-former" models have been proposed - Reformer, Linfor
深層学習の不確実性 - Uncertainty in Deep Neural Networks -
Twitter: ottamm_190 追記 2022/4/24 speakerdeck版：https://speakerdeck.com/masatoto/shen-ceng-xue-xi-falsebu-que-shi-xing-uncertainty-in-deep-neural-networks コンパクト版：https://speakerdeck.com/masatoto/shen-ceng-xue-xi-niokerubu-que-shi-xing-ru-menRead less
嘘だろ?深層学習が3Dゲームを再現｜shi3z｜note
深層学習の世界では時折・・・と言っても、一ヶ月に一回くらいだが・・・信じられないようなことが起きる。 以前、ゲーム画面を見ただけでパックマンやらマリオやらを再現するAIが出現したと聞いたとき、「嘘だろ」と思ったのだが、まあ言うてパックマン。なんとなくできるのかもしれない。 しかしこの手のものはあまりにも直感に反するので自分の手で確かめないと本当かどうかわからない。 そんな時のために僕の仕事机には7台のGPUマシンがあるわけだが、たまたまRTXが遊んでいたので実行してみたら、「嘘だろ」としか言いようがない結果を目の当たりにすることになった。 GTAVこと「グランセフトオートV」は、自動車泥棒になって架空の街を走り回るゲームだ。 こいつをひたすらAIに学習させると、GTAVをAIが再現するという、全く直感に反することが行われるらしい。3Dゲームというのは、それを作った経験のある人なら誰でも、恐
似ているヘアカット写真を見つける画像認識AI 「Yahoo! BEAUTY」の新機能で活用
ヤフーは2月15日、ヘアスタイル検索サービス「Yahoo! BEAUTY」に独自の画像認識AIを使った新機能を導入したと発表した。ユーザーの好みに合うヘアスタイル画像の表示精度がアップしたという。 入力した名称のヘアスタイル画像を表示するもの。従来は画像に付けられたハッシュタグを基準に類似画像を表示する仕組みだった。 新機能ではAIがヘアスタイルの特徴と髪の毛の色を識別し、類似画像を表示する方式に変更。識別方法には画像認識で精度が高い学習手法とされる「Convolutional Neural Network」（CNN）を採用した。 ヤフーによると、学習対象は「ショート」「セミロング」といった髪の長さ、 「マッシュ」「ひし形」などの髪形のシルエット、「ワンカールパーマ」「外ハネ」のような毛先の動き、「クール」「ガーリー」といったヘアスタイルへの印象に至るものまで多岐にわたるという。 類似画像
DEEP LEARNING · Deep Learning
Description This course concerns the latest techniques in deep learning and representation learning, focusing on supervised and unsupervised deep learning, embedding methods, metric learning, convolutional and recurrent nets, with applications to computer vision, natural language understanding, and speech recognition. The prerequisites include: DS-GA 1001 Intro to Data Science or a graduate-level
メルアイコン変換器を作った話 - Qiita
はじめに 「メルアイコン」と呼ばれる、Melvilleさんの描くアイコンはその独特な作風から大勢から人気を集めています。 上はMelvilleさんのアイコンです。 この方へアイコンの作成を依頼し、それをtwitterアイコンとしている人がとても多いことで知られています。 代表的なメルアイコンの例 （左から順にゆかたゆさん、みなぎさん、しゅんしゅんさんのものです (2020/12/1現在)） 自分もこんな感じのメルアイコンが欲しい！！ということで機械学習でメルアイコン生成器を実装しました！！.......というのが前回の大まかなあらすじです。 今回は別の手法を使って、キャラの画像をメルアイコンに変換するモデルを実装しました。例えばこんな感じで変換できます。 実装したコードはこちら 本記事ではこれに用いた手法を紹介していきます。 GANとは 画像の変換にあたってはUGATITという手法を使って
深層学習入門 ~順伝播編~ - Qiita
対象者 深層学習シリーズの記事です。 前回の記事はこちらです。 ここでは順伝播について、まずはスカラでの理論を説明して、それから行列に拡張します。 前回記事で紹介したコードに追加していったり修正していく形となるので、まずは前回記事からコードを取ってきておいてくださいね〜 次回の記事はこちら 目次 スカラでの順伝播 スカラでの順伝播理論 スカラでの順伝播実装 行列での順伝播 行列での順伝播理論 行列での順伝播実装 __init__メソッドの実装 行列演算について 行列和 行列の要素積 行列積 転置 スカラでの順伝播 ここでは、スカラ(実数)での順伝播の理論と実装を説明します。といっても、だいたい基礎編で既に述べている通りです。 スカラでの順伝播理論 まずは理論ですね。 このニューロンモデルから見ていきます。 これを定式化すると$f(x) = \sigma(wx + b)$となることはここで述
【入門】強化学習 - Qiita
強化学習をざっと勉強した際のまとめです。 入門者の参考となれば幸いです。 強化学習とは 強化学習の位置付けはこのようになります。 【用語】 - 教師あり学習 - 教師データとして入力とその出力がある - 回帰や分類問題 - 教師なし学習 - 教師データがない - データの特徴を抽出したり、表現変換 強化学習では何をしていくかというと、 「将来の価値を最大化するような行動を学習」 していきます。 強化学習のモデル 強化学習の基本的な仕組みは次のようになっています。 以下の$t$は任意のステップを示します エージェント（意思決定者）: 意思決定と学習を行う主体 環境: エージェントが相互作用を行う対象 状態: 環境がエージェントの行動を反映した上で、エージェントに与える状況, $s_t$ 行動: $a_t$ 報酬: $r_t$ 方策: $π_t(s, a)$:確率分布で表される行動戦略。任意の
タミヤMidnight PUMPKINをJetRacerにしてAI自動運転（ハードウェア編） - Qiita
はじめに DeepLearning これまで全く触れる機会が無かったが、新型コロナウィルスによる自宅待機で時間がたっぷりできた。 いい機会なので、ここぞとばかりにJetson Nanoを購入しイチから勉強してみることにした。 JetRacer NVIDIAのサイトでいくつかの適用事例に市販のラジコンをベースにしたJetRacerなるAIカーがあったので、これを最初の目標に設定した。 やったこと 手持ちのラジコンを改造し、JetRacer化した。（公式のJetRacerよりいくらか少ない部品構成で実現） 屋内の自然環境（床にテープとか貼らない環境）での自動運転に成功した。 とりあえずDeepLearningを手を動かしながら習得する、という流れを経験できた。 結構ボリュームがあるので、2回に分けて記載する。 「タミヤMidnight PUMPKINをJetRacerにしてAI自動運転（ハード
深層学習系のトップ会議ICLR2020のNLP系論文についてざっくり紹介 - 株式会社ホクソエムのブログ
ホクソエムサポーターの白井です。今回はICLR2020 の論文を紹介します。 The International Conference on Learning Representations (ICLR) は機械学習の中でも特に深層学習 を専門とした国際会議です。 OpenReview.net によるopen peer reviewを採用しているので、submitされた論文はだれでも閲覧可能です。(ICLR2020 open review) 2020年はエチオピアで開催予定でしたが、COVID-19の影響でvirtual conferenceとなりました。 今回はNLP系の論文について5本紹介します。 すでに日本語ブログ記事で紹介されているような論文もありますが、自分が興味を持った部分を中心としてざっくりと紹介したいと思います。 以降、とくに記載がない場合、図は論文またはブログからの引用で
DeepLearningの歴史、学習方法について (E資格対策) - Qiita
まずディープラーニングがどのように発展していったのかお話しします。 第一次ニューラルネットワークブーム ある時、脳の神経細胞を仕組みを再現した人工ニューロンを作ります。 人工ニューロンとは上図のようなものを指します。 この複数の信号から1つの信号を出力するアルゴリズムをパーセプトロンと呼びます。 この人工ニューロンを2つ重ねるとが学習できるらしくブームが起こります。下図。 ですが世の中の多くを占めている非線形の問題が解けなく、ブームが終わります。 第二次ニューラルネットワークブーム 実は3層以上重ねるとどうやら非線形問題が解けることは知られていましたが、誰も実装まで手が付けられませんでした。 ところがある時、BackPropagationという方法が発見され、3層以上を重ねられました。 何層も重ねたものをニューラルネットワークと呼びます。 （アルゴリズムを多層パーセプトロンといいます。）
リアルタイム声質変換ライブラリ「Realtime Yukarin」を公開しました
はじめにリアルタイム声質変換アプリケーション、Realtime Yukarinを開発し、 OSS（オープンソースソフトウェア）として公開しました。 ここで言う声質変換とは、「誰でも好きな声になれる」技術のことを指します。 好きな声になれる声質変換は夢があって流行りそうなのですが、まだ全然普及していないと思います。 それは現時点で、声質変換を実際にリアルタイムで使えるフリーな仕組みが無いためだと考えました。 そこで、自由に使えるリアルタイム声質変換アプリケーションを作り、ソースコードと合わせて公開しました。 声質変換とは声を変える方法で有名なのは、声の高さや音色を変える手法、いわゆるボイスチェンジャーです。 既存のボイスチェンジャーは、元の声を起点として、変換パラメータを自分で調整する必要があります。 一方ここでの声質変換は、元の声と好きな声を用いて機械学習し、変換パラメータを自動で調整しま
【Deep Learning入門】0から勉強して3ヶ月でポリープ検出AIをつくったった - Qiita
３ヶ月で出来たもの まずは蠢く内臓の成果物から、これが今回作ったポリープ検出AIです！ 上の映像が元の内視鏡の動画で、 下が今回開発した検出AIの動作動画です。 青い枠で「ポリープだよ！」と主張してくれてますね！ ３ヶ月の学習の流れ 基礎的な機械学習手法のスクラッチ まずは数学的な理解から始めました。 手法ごとの数式を読んで、それを実装に落としていきます。 - 線形回帰 - 重回帰 - 主成分分析 - Kmeans - 決定木 - SVM 悶え苦しんだのですが、 この時期に数式に対するアレルギーがほぐれていきました！ 最初は2乗誤差の微分変形を理解するのに苦労した思い出があります。 このときに一番参考になった書籍は 「やさしく学ぶ 機械学習を理解するための数学のきほん」 です これで機械学習の更新の概念が腹落ちしました。オススメ！ kaggleへの挑戦 定番のタイタニックや 良質なコンペの
ディープラーニング用周辺ツールの充実にも注目
前編（Computer Weekly日本語版 1月9日号掲載）では、Google、Microsoft、Facebookが提供しているディープラーニングフレームワークを紹介した。 後編では、その他のツールセットおよびディープラーニング関連ツール一覧を紹介する。 その他注目のツールセット 多数ある他の主要ライブラリとツールセットにも触れておかなければならない。「Caffe」はディープラーニング用オープンソースのフレームワークで、「畳み込みニューラルネットワーク」（CNN）の構築に使える。CNNは画像分類に使うのが一般的だ。Caffeは多種多様なソフトウェアアーキテクチャをサポートするため、一部の開発者に非常に人気がある。 「Deeplearning4j」はJava仮想マシン（JVM）用のオープンソース分散ディープラーニングライブラリだ。Python開発者には機械学習フレームワーク「scikit
言語処理における GAN の展開
Private content!This content has been marked as private by the uploader.
0から始めるkaggle超初心者向け入門
はじめに 「kaggleって何？」という人が、 kaggleがなにかわかる（話が合わせられる） kaggleコンペに参加してみる（ノリ気になる） ためのお手軽説明です(｀・ω・´) Agenda kaggleとは？ データ分析のトレンドの変化 kaggleの仕組み なぜkaggleをやるの？ やってみた(｀・ω・´) 1. kaggleとは？ 世界最大の機械学習・データ分析のコンペを主催するプラットフォーム つまり データサイエンティストの世界最強を決める大会 kaggleの規模 ユーザ数: 50万以上 国: 190カ国以上 らしい(｀・ω・´) 2. データ分析トレンドの変化 理論（theory） ↓ 実践（practice） 昔 理解するのが大事（theory） 今 実践・役立つのが大事（practice） 実践を重視している具体例 kaggle コンペ ノウハウの共有（コード・ディス
GANによる超解像がもたらす新しい方向性と「The Perception-Distortion Tradeoff」の話 - Think more, try less
CVPR2018にて超解像分野において極めて重要そうだなと感じた論文がありました。Yochai Blauらによる下記の論文です。 [1711.06077] The Perception-Distortion Tradeoff この内容を踏まえて最近の超解像研究の流れをまとめたいと思います。 超解像とは？ 超解像について振り返ります。多くの方がwaifu2xというソフトウェアで一度は目にしたことがあるかもしれません。下記イメージのように低解像の画像を高解像の画像に変換する方法を 超解像（Super Resolution）と呼ばれます。 （参照元：二次元画像を拡大したいと思ったことはありませんか？ - デー） このwaifu2xがざっくりどのように超解像を行っているかというと、ベースはSRCNNというConvolutional Neural Netoworkを使った超解像手法であり、下記のよう
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
《日経Robotics》PFNの深層学習ベース外観検査製品、40社超が購入、CPU版ランタイムは無償提供で自社製のMenoh利用
自動微分を実装して理解する（前編） - Qiita