【後藤弘茂のWeekly海外ニュース】 NVIDIAのAmpereで対応した新技術「プルーニング」
End-to-End音声認識の計算量を削減した話
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog こんにちは、音声処理黒帯（黒帯はヤフー内のスキル任命制度）の藤田です。今日のブログでは、音声認識技術の研究開発におけるヤフーの最新の取り組みを紹介します。 特に、近年注目されているTransformerという手法に基づく、End-to-End音声認識の計算量を削減した研究を紹介します。この研究は、難関国際会議IEEE ICASSP2020に投稿し、採択されました。また、arXivでプレプリントを公開しています。そして、ESPnetというEnd-to-Endモデルのツールキット上でソースコードも公開しています。興味のある方はぜひ、こちらもご参照ください。 音声認識で用いられるEnd-to-Endモデルとは？ 音声認識技術は音声をテキ
化合物でもDeep Learningがしたい！ - kivantium活動日記
この記事は2017年12月15日に https://kivantium.net/deep-for-chem/ に投稿したものです。 情報が古くなっていますが、まだ参照されているようなので再掲します。 この記事はDeep Learningやっていき Advent Calendar 2017の15日目です。 Deep Learningの威力が有名になったのは画像認識コンテストでの圧勝がきっかけでしたが、今ではDeep Learningはあらゆる分野に応用され始めています。NIPS2017でもMachine Learning for Molecules and Materialsが開催されたように、物質化学における機械学習の存在感が高まりつつあります。この記事ではその一例として化学の研究にDeep Learningが使われている例を紹介していきます。 化学物質の研究に機械学習が使われる主なパター
【論文読み】異常検知を支える技術 - Qiita
前回の記事では、ディープラーニングの異常検知に関するベンチマークを 行いました。その結果、「L2-SoftmaxLoss」が一番良い性能を示しました。 本稿では、その元になった「論文の概要」と「異常検知に適用した場合の考察」を 記したいと思います。 ※なお、本稿の図は特に明記がない場合は論文（L2-constrained Softmax Loss for Discriminative Face Verification ）より引用しています。 論文の結論 結論からいうと、論文で言いたかったことは ということです。この意味が分かる方は、既に論文のほとんどを理解できています。 あとは、分類精度を向上させるために、ソフトマックス関数をどう改造するかのお話しです。 ソフトマックス関数のクロスエントロピー 分類問題で良く使われるソフトマックス関数のクロスエントロピーは 以下のとおりです。 L_S=-\
深層学習の数理
2. １９４６： ＥＮＩＡＣ，高い計算能力 フォン・ノイマン「俺の次に頭の良い奴ができた」 １９５２： Ａ．Ｓａｍｕｅｌによるチェッカーズプログラム 機械学習と人工知能の歴史 2 １９５７：Ｐｅｒｃｅｐｔｒｏｎ，ニューラルネットワークの先駆け 第一次ニューラルネットワークブーム １９６３：線形サポートベクトルマシン １９８０年代：多層パーセプトロン，誤差逆伝搬， 畳み込みネット 第二次ニューラルネットワークブーム １９９２： 非線形サポートベクトルマシン （カーネル法） 統計的学習 線形モデルの限界 非凸性の問題 １９９６： スパース学習 （Lasso） ２００３： トピックモデル （LDA） ２０１２： Supervision （Alex-net） 第三次ニューラルネットワークブーム データの増加 ＋計算機の強化 １９６０年代前半： ＥＬＩＺＡ（イライザ）， 擬似心理療法士 １９８０年代
【マルチモーダル学習】画像中の音の発生源を可視化するAI | Ledge.ai
2018年、韓国科学技術院から音の発生源を推測するAIが提案された。画像上の音の発生場所と考えられる物体をヒートマップとして可視化できるものだ。 説明だけではあまりピンとこないかもしれないので、次の動画を数秒ほどご覧頂きたい。 動画では、馬車に対して強いヒートマップが出ており、音の発生場所を上手く捉えられていることがわかる。 この研究の強みは、教師なし学習が用いられていることだ。アノテーションされていないただの動画データを学習するだけで、音声発生源を推測できることがわかる。 論文名：Learning to Localize Sound Source in Visual Scenes 学会：CVPR2018 作者：Arda Senocak, Tae-Hyun Oh, Junsik Kim, Ming-Hsuan Yang, In So Kweon 所属：KAIST, MIT CSAIL, U
三次元点群を取り扱うニューラルネットワークのサーベイ Ver. 2 / Point Cloud Deep Learning Survey Ver. 2
興味を持った点群深層学習の関連の論文についてまとめました．図などは各論文から引用しています．（最近は論文が多く，あまり網羅はできていません） 間違いなどあればご指摘頂けるとありがたいです． 論文リスト: https://docs.google.com/spreadsheets/d/1l4NTSE…
GTC 2019 - MLPerfでディープラーニングのハードウェア選択を合理化する
GTC 2019でDell/EMC、テキサス大オースチン校とテキサス大サンアントニオ校の研究者が「MLPerf」を使ってディープラーニングのハードウェアインフラの選び方を理解するという論文を発表した。 (このレポートの図は、別の出典を挙げていない場合は、GTC 2019におけるDELL/EMCのRamesh Radhakrishnan氏の発表資料のコピーである) MLPerfベンチマークはマシンラーニングの学習の実行性能を測るベンチマークである。現在、V0.5というものが使われている。MLPerf V0.5では「イメージ分類」、「オブジェクト検出」、「翻訳」、「リコメンデーション」、「強化学習」の5つのドメインがあり、それぞれのドメインの問題に対するマシンラーニングのトレーニングの性能を測定する。 発表を行うDELL/EMCのRamesh Radhakrishnan氏 (筆者撮影) なお、
Practical Deep Learning for Coders - Practical Deep Learning
A free course designed for people with some coding experience, who want to learn how to apply deep learning and machine learning to practical problems. This free course is designed for people (and bunnies!) with some coding experience who want to learn how to apply deep learning and machine learning to practical problems. Deep learning can do all kinds of amazing things. For instance, all illustra
大幅に進化するらしいTensorFlow2.0について - HELLO CYBERNETICS
はじめに TensorFlow2.0がもうすぐ来るよ！ APIs High level APIs Eager Exexution Reference Models Contribの扱い プラットフォーム TensorFlow Lite TensorFlow.js TensorFlow with Swift パフォーマンス Distributed TensorFlow CPU、GPU、TPUの最適化関連 その他のパッケージ TensorFlow Probability Tensor2Tensor End to End ML systems TensorFlow Hub TensorFlow Extended はじめに TensorFlow2.0ではこれまでのTensorFlowから大幅に変化するので、その変更点について記しておきます。 基本的には公式のRoadmapの和訳と思って差し支えあり
Stan：隠れマルコフモデル① - 機械学習・自然言語処理の勉強メモ
はじめに 今回は隠れマルコフモデルをStanで実装する。 隠れマルコフモデル自体は以前に書いた。 kento1109.hatenablog.com 今回は教師ありモデルを考える。 教師あり「隠れ状態」が既知のモデル。 前回の例で考えると、「晴れ→雨」などの遷移状態が与えられているモデル。 その状態から、「遷移行列」と「出力行列」を推定する。 モデル コードは以下のようにシンプル。 data { int<lower=1> K; // カテゴリーの数 int<lower=1> V; // 単語(word)の数 int<lower=0> T; // 時点の数 int<lower=1,upper=V> w[T]; // 単語(word) int<lower=1,upper=K> z[T]; // カテゴリー vector<lower=0>[K] alpha; // 推移(transit)確率の事前
機械学習を高速処理するGoogleの「Cloud TPU」サービス、7割引きの利用料で使えるプリエンプティブに対応
機械学習を高速処理するGoogleの「Cloud TPU」サービス、7割引きの利用料で使えるプリエンプティブに対応 Googleは同社が開発した機械学習処理のためのソフトウェア「TensorFlow」を高速に実行するための専用プロセッサ「Tensorflow Purocessing Unit」（TPU）を自社開発し、クラウドサービスとして提供しています。それが「Cloud TPU」です。 Cloud TPUの処理能力は最大180 TFLOPSあると説明されており、これによって機械学習で行われる処理のなかでも、とりわけ処理量が多いトレーニング処理も短時間で扱えるのが特長です。 このCloud TPUがプリエンプティブ（Preemptible）に対応し、標準で提供されている価格よりも7割引きで使えるようになることが発表されました。 プリエンプティブとは、安価に利用できる代わりに、Google
実践 Deep Learning
2000年代にニューラルネットワークの研究が再び活発になりました。現在、ディープラーニングは近代的な機械学習の道を切り開いている非常に活発な研究領域となっています。Google、Microsoft、Facebookなどの企業では、社内のディープラーニングチームが急成長しています。しかし、多くの人にとってディープラーニングはまだまだとても複雑で困難な課題です。本書ではサンプルのPython 3プログラムと簡潔な説明を通してこの複雑な分野の主要な概念を紹介します。微積分、行列演算、Pythonの基礎があれば誰でも本書を始めることができます。 監訳者まえがき まえがき 1章 ニューラルネットワーク 1.1 知的な機械を作るということ 1.2 従来のプログラムの限界 1.3 機械学習のしくみ 1.4 ニューロン 1.5 線形パーセプトロンをニューロンとして表現する 1.6 フィードフォワードニュー
ディープラーニングの限界 | POSTD
(注：2017/04/08、いただいたフィードバックを元に翻訳を修正いたしました。 @liaoyuanw ) この記事は、私の著書 『Deep Learning with Python（Pythonを使ったディープラーニング）』 （Manning Publications刊)の第9章2部を編集したものです。現状のディープラーニングの限界とその将来に関する2つのシリーズ記事の一部です。 既にディープラーニングに深く親しんでいる人を対象にしています（例：著書の1章から8章を読んだ人）。読者に相当の予備知識があるものと想定して書かれたものです。 ディープラーニング： 幾何学的観察 ディープラーニングに関して何より驚かされるのは、そのシンプルさです。10年前は、機械認識の問題において、勾配降下法で訓練したシンプルなパラメトリックモデルを使い、これほど見事な結果に到達するなど誰も想像しませんでした。
ラーメン二郎とブランド品で AutoML Vision の認識性能を試す | Google Cloud 公式ブログ
この投稿は米国時間 3 月 26 日に投稿されたもの（投稿はこちら）の抄訳です。 Posted by Google Cloud デベロッパー アドボケイト 佐藤一憲 この 3 つのラーメンは、41 店舗あるラーメン二郎のうち 3 店舗で作られたものです。それぞれ、どの店舗で出されたものか分かりますか？ データ サイエンティストの土井賢治さんが作成した機械学習（ML）によるラーメン識別器を使えば、それぞれの微妙な盛り付けの違いを見分けることで、95% の精度で店舗を特定できます。 この写真を見ても分かるとおり、ラーメン二郎の相当コアなファンでもなければ、ラーメン画像から 41 店舗のどこで作られたかを見分けることは簡単ではありません。テーブルやどんぶりの色、形にあまり違いのない場合が多いのです。 土井さんは、ディープ ラーニングを使ってこの問題を解けるか興味を持ち、インターネット上から 48
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
マルチバックエンドKerasの終焉、tf.kerasに一本化
TechCrunch
https://chokkan.github.io/deeplearning//deeplearning/
テックウインド、グラフィックカードが搭載できるGPUアクセラレーション対応NAS「QNAP TS-1677X」を販売
ゼロから始める深層強化学習（NLP2018講演資料）/ Introduction of Deep Reinforcement Learning
