深層距離学習(Deep Metric Learning)の基礎から紹介 - OPTiM TECH BLOG
こんにちは、R&Dチームの河野(@ps3kono)です。深層学習モデルの開発を担当しております。 今回は、画像分類、画像検査、顔認識や異常検知など様々な分野に利用されている深層距離学習(Deep Metric Learning)について紹介したいと思います。 Deep Metric Learningとは 定番のクラス分類と距離学習によるクラス分類の違い 距離学習の進化 1. 対照的(contrastive)アプローチ サンプル選択(sample selection) 代表的な学習手法 Contrastive loss Triplet loss さらなる改善と進化 対照的アプローチの問題点 2. Softmaxをベースにしたアプローチ 代表的な学習手法 Center loss SphereFace CosFace ArcFace さらなる改善と進化(2019年以降) 推論 深層距離学習の利点
2020年のおもしろかったDL/ML論文10選 - Qiita
はじめに 2020年も，機械学習コミュニティでは多くの新しい成果が見られました．2019年に引き続き，1年を振り返ってもっとも面白かった論文を10本紹介したいと思います． * 本記事は，私のブログにて英語で書いた記事を翻訳し，適宜加筆修正したものです． ** 記事中の画像は，ことわりのない限り対象論文からの引用です． 論文10選（公開順） 普段から，読んだ論文を簡単にまとめてツイートしているので，それを使って公開日順に振り返っていきます．対象はおおまかに「2020年に公開された論文」と「2020年に学会・雑誌で発表されたもの」とします．全くの主観で選んでいるので，私の興味範囲である深層学習および応用研究に偏っている点はご容赦ください． 紹介するのはこちらの10本です！ Rigging the Lottery: Making All Tickets Winners PIFuHD: Multi
AI学習の新定番「NVIDIA Jetson Nano 2GB 開発者キット」実機レビュー、話題のJetson AI認定制度も解説 - ロボスタ ロボスタ - ロボット情報WEBマガジン
2020年10月5日、NVIDIAからJetsonシリーズの新製品「Jetson Nano 2GB 開発者キット」(以下Jetson Nano 2GB)が発表され、59ドルの価格（日本国内販売はワイヤレスモジュール非同梱の54ドル版）とともに大きな話題になりました。「Jetson Nano 2GB」は、2019年3月に発表された「NVIDIA Jetson Nano 開発者キット」(4GB)と比べてメモリ容量が少なくなった代わりに価格を抑えた廉価版で、主に学生や教育者向けに位置づけられた製品です。 製品の発表のほかに、もうひとつ重要なトピックとして、NVIDIAが認定する「Jetson AI Certification」というAI認定制度がスタートすることも発表になりました。これからAI学習をはじめる人にとっては、まずは目指す目標のひとつとして、ビジネスでAIに関わっている人は修得するスキ
誰の声でも100人の声に変えられる声変換システム - Dwango Media Village(ドワンゴメディアヴィレッジ,dmv)
著者の声を録画・録音して声を変換し元の映像と組み合わせてみた映像です。 このときの変換元の音声は撮影用のスマートフォンで録音しており、部屋の残響が含まれるなど声が少し不鮮明になる収録環境ですが、それでもしっかり声変換できていることがわかると思います。 概要 Dwango Media Villageの廣芝です。 誰の声でも狙った複数の人の声に変えることができる声変換システムを開発し、実際に声を変えることができるデモページを公開しました。 (2022年5月 SeirenVoiceシリーズの製品化に伴いデモページは終了しました。) この記事では、声変換技術を研究開発する際に取り組んだ課題について紹介します。 声の変換技術には、リアルタイム性と品質のトレードオフがあります。 既存の声変換システムはリアルタイム性を重視する傾向がある一方、品質を重視したものはあまり見かけません。 品質を優先した声変換
ディープラーニングを学び始めた方へ 東京大学／松尾豊教授の動画 - Qiita
1.はじめに ディープラーニングを学び始めた方にとって、東京大学／松尾教授の動画を見ることは、とても刺激的で勉強になり面白いものだと思います。今回、松尾教授の講演に加えて対談やパネルディスカッションも含めた動画のリンクをまとめましたので、よろしかったら見て下さい。 おすすめは、01, 05, 14, 16, 23, 27 です。 2.動画リンク 講演には★の表示がしてあります。 □2012年 ★01.Computer will be more clever than human beings 東京大学版TEDです（もちろん日本語です）。ウェブを利用した情報の利用と人工知能の可能性についてコンパクトにまとめています。ディープラーニングには触れていませんが、若々しい松尾教授の姿が見れて、内容も興味深いです。<おすすめです。>(15分) □2013年 02.ＩＴ融合シンポジウム ～企業・研究者に
Self-Attentionを全面的に使った新時代の画像認識モデルを解説！ - Qiita
08/31 (2020): 投稿 08/31 (2020): 「畳み込みを一切使わない」という記述に関して、ご指摘を受けましたので追記いたしました。線形変換においては「チャネル間の加重和である1x1畳み込み」を実装では用いています。 08/31 (2020): 本論文で提案されているモデルの呼称に関して認識が誤っていたためタイトルおよび文章を一部修正しました。 言葉足らずの部分や勘違いをしている部分があるかと思いますが、ご指摘等をいただけますと大変ありがたいです。よろしくお願いします！(ツイッター:@omiita_atiimo) 近年の自然言語処理のブレイクスルーに大きく貢献したものといえば、やはりTransformerだと思います。そこからさらにBERTが生まれ、自然言語の認識能力などを測るGLUE Benchmarkではもはや人間が13位(2020/08現在)にまで落ちてしまっているほ
Deep Learning ideas that have stood the test of time
Deep Learning is such a fast-moving field and the huge number of research papers and ideas can be overwhelming. The goal of this post is to review ideas that have stood the test of time. These ideas, or improvements of them, have been used over and over again. They’re known to work. If you were to start in Deep Learning today, understanding and implementing each of these techniques would probably
データサイエンティストとして読んで役立った本たち@2020-07｜だみ〜
2016年10月に未経験・新人データサイエンティストで雇ってもらいました。当時はまだ業界が牧歌的だったのと、比較的書類上のスペックが高い若者だったのもあり、運良く拾ってもらえたのでした。今だと100％受かってないです。 そんな私が今までで読んだ本の中で、役に立った本をつらつら書いていきます。 現代の若者がどんどん優秀になっているので、これくらいでいまんとこいっぱしのデータサイエンティスト（@ビジネスサイド）になれるんだなあという基準を述べようかと思いました。何年か後に振り返りたいですね。 もちろん、これが誰かの学習の役に立てばと思っています。 ちなみに、アフィリエイト入れてないので気にせず買っていってください。 数学無難に解析学と線形代数学を勉強しておくといいと思っています。
アスキーアート自動生成とディープラーニングをつなぐ微分可能レンダラーを実装した - Qiita
はじめに 微分可能レンダラーという研究があります。これは画像の描画過程を微分可能に近似することで、レンダラーへの入力（3次元モデルやカメラ姿勢など）とその出力（画像）の関係をディープラーニングで扱うことが出来るようになるというものです。 この考え方をアスキーアートに適用してみたところ、教師なし学習による精密なアスキーアート生成が可能となりました。 *趣味の活動ですので内容の正確さには期待しないでください。 背景 ディープラーニングでアスキーアートの自動生成を扱った研究として、2017年のDeepAA（日本語解説記事）があります。これはテキストとその描画結果である画像のデータを用意したうえで、逆向きの変換を一文字ずつ教師あり学習させるというものです。 この方法はそれなりの精度が出ているのですが、一文字ずつ学習している構成であることから精密な線の位置合わせができないという問題があります。また、
【一問一答】マヅコの知らない「異常検知」の世界 - Qiita
これから異常検知を勉強される初心者、中級者の方のために一問一答集を作ってみました。 実際にあった質問も含まれますが、ほとんどの質問は、私が勉強しながら疑問に思ったことです。 なお、各質問には私の失敗談を添えております。皆さんは私のような失敗をしないよう 祈っております(^^)。異常検知に特化した内容となっておりますので、ご了承ください。 初心者の方向け 勉強の仕方編 Q：異常検知を勉強したいのですが、何から手をつけて良いのか分かりません。 A：書籍を買って読むのがおススメです。 最初、私はネット情報で勉強していました。しかし、それにも限界があります。 ところが、書籍（入門 機械学習による異常検知）を買って読んだところ、かなり知識を 得ることができました。最初から、書籍を買っていれば、一年くらい得することができたのに... と思うこともあります（^^； ただ、こちらの本はディープラーニング系
End-to-End音声認識の計算量を削減した話
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog こんにちは、音声処理黒帯（黒帯はヤフー内のスキル任命制度）の藤田です。今日のブログでは、音声認識技術の研究開発におけるヤフーの最新の取り組みを紹介します。 特に、近年注目されているTransformerという手法に基づく、End-to-End音声認識の計算量を削減した研究を紹介します。この研究は、難関国際会議IEEE ICASSP2020に投稿し、採択されました。また、arXivでプレプリントを公開しています。そして、ESPnetというEnd-to-Endモデルのツールキット上でソースコードも公開しています。興味のある方はぜひ、こちらもご参照ください。 音声認識で用いられるEnd-to-Endモデルとは？ 音声認識技術は音声をテキ
機械学習モデルの判断根拠の説明（Ver.2）
【第40回AIセミナー】 「説明できるAI 〜AIはブラックボックスなのか？〜」 https://www.airc.aist.go.jp/seminar_detail/seminar_040.html 【講演タイトル】 機械学習モデルの判断根拠の説明 【講演概要】 本講演では、機械学習モデルの判断根拠を提示するための説明法について紹介する。高精度な認識・識別が可能な機械学習モデルは一般に非常に複雑な構造をしており、どのような基準で判断が下されているかを人間が窺い知ることは困難である。このようなモデルのブラックボックス性を解消するために、近年様々なモデルの説明法が研究・提案されてきている。本講演ではこれら近年の代表的な説明法について紹介する。Read less
RecSys 2019 ベストペーパーを読んだメモ - Qiita
紹介論文 Are We Really Making Much Progress? A Worrying Analysis of Recent Neural Recommendation Approaches (RecSys 2019) 日本語では「本当にそんなに進捗出てるの？ -或いは最近のNN推薦手法に対する警鐘-」という感じだろうか。 元論文はこちら https://arxiv.org/pdf/1907.06902.pdf 概要 DNNが登場してから推薦分野でもDeepXXな手法が増えている 新手法の登場頻度が高いため、代表的なタスクであるtopN推薦に対してすらSOTAが何か追えなくなっている そこでトップ会議（KDD, SIGIR, WWW, RecSys）のDNN関連研究18本を追試した 18本のうち、現実的な努力を行った上で再現できたのが7本 （RecSysでの発表によると、）
「機械学習・ディープラーニングでPythonを使う嬉しさとツラミを分かちあう会」の感想を語る - bonotakeの日記
もう2週間経つんですけど、こんなイベントを企画・司会をしました。というので今更感想ブログ。 mlxse.connpass.com 経緯というか元々の開催目的は以前の記事にあるとおりで、 プログラミング言語に関する国内学会 PPL2018 前に、現状この分野で覇権取ってるPythonを肴に「機械学習・ディープラーニングのための言語」の問題点や在るべき姿、を探っていこうという会です。 3人の発表＋みんなで議論、というスタイルを取ったのですが、発表お願いした3人が3人とも「やりづらい」とこぼす、企画した者としては大変心苦しい状態ではあったものの、発表・議論はどれも興味深く、大変面白い会になりました。ありがとうございました。 発表1つめ：『行列演算とPythonの言語デザイン』 まずは python.jp 管理人の石本敦夫（@atsuoishimoto）さん。 Pythonがどうしてデータサイエン
【マルチモーダル学習】画像中の音の発生源を可視化するAI | Ledge.ai
2018年、韓国科学技術院から音の発生源を推測するAIが提案された。画像上の音の発生場所と考えられる物体をヒートマップとして可視化できるものだ。 説明だけではあまりピンとこないかもしれないので、次の動画を数秒ほどご覧頂きたい。 動画では、馬車に対して強いヒートマップが出ており、音の発生場所を上手く捉えられていることがわかる。 この研究の強みは、教師なし学習が用いられていることだ。アノテーションされていないただの動画データを学習するだけで、音声発生源を推測できることがわかる。 論文名：Learning to Localize Sound Source in Visual Scenes 学会：CVPR2018 作者：Arda Senocak, Tae-Hyun Oh, Junsik Kim, Ming-Hsuan Yang, In So Kweon 所属：KAIST, MIT CSAIL, U
Machine Learning Production Pitch #2 イベントレポート #MLPP - 子供の落書き帳 Renaissance
2019年5月30日に開催されたこのイベントに参加してきました。 Machine Learning Production Pitch #2 - connpass Machine Learning Production Pitchは、機械学習について業務で培った知見や経験や苦労話を共有できる場を提供することを目的としたMeetupです。機械学習に取り組み、実社会への適用に日々もがき苦しみ楽しんでいる方々を対象としております。 機械学習ワークフロー（Airflow、Luigi）周りの話がやや多くて、個人的には馴染みが無かったので、うまくまとまっているとは言えないと思います（スライドを書き写すだけになってしまったところが多かった気がする）。参考程度にどうぞ。 Detecting opinionated articles in SmartNews／Tianxiang Zhang (張天翔) (スマ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GitHub - machine-perception-robotics-group/MPRGDeepLearningLectureNotebook
GitHub - jonathan-laurent/AlphaZero.jl: A generic, simple and fast implementation of Deepmind's AlphaZero algorithm.
事前学習言語モデルの動向 / Survey of Pretrained Language Models
Google はどうやって Deep Learning でメモリ使用量を 99% 削減したか。
