OpenAIが発見したScaling Lawの秘密 - ディープラーニングブログ
OpenAIはGPT-3の次の研究を始めています． 世間がGPT-3のデモに湧き上がる中，OpenAIはScaling Lawに関する2本の論文をひっそりと公開しました． Scaling Lawを一言で説明するなら「Transformerの性能はたった3つの変数のべき乗則に支配されている」というものです． Scaling Lawはそれ単体だけなら興味深い話で終わるかもしれません．実際に英語圏でもあまり話題にあがっていません．しかし，この法則の本当の凄さに気づいている研究者もいて，なぜ話題にならないのか困惑しています． I am curious why people are not talking more about the OpenAI scaling law papers. For me, they seem very significant. What I heard so far:
Deep Learning ideas that have stood the test of time
Deep Learning is such a fast-moving field and the huge number of research papers and ideas can be overwhelming. The goal of this post is to review ideas that have stood the test of time. These ideas, or improvements of them, have been used over and over again. They’re known to work. If you were to start in Deep Learning today, understanding and implementing each of these techniques would probably
SGDの汎化性能の解析: バッチサイズと学習率の効率的な設定
3つの要点 ✔️ SGDで予測モデルのパラメータ探索を行なった際の汎化性能を導出 ✔️ バッチサイズと学習率の比率が小さければ汎化性能が向上することを証明 ✔️ このような性質を計1,600個の予測モデルによる実験で検証 Control Batch Size and Learning Rate to Generalize Well: Theoretical and Empirical Evidence written by Fengxiang He, Tongliang Liu, Dacheng Tao Comments: Published by NeurIPS 2019. Subjects: Machine Learning (cs.LG); Machine Learning (stat.ML)) 背景 深層学習モデルはその表現力の高さから様々な分野で応用されており、これらのモデルを訓
データのアライメントも学習するEnd-To-End新音声合成、EATS!
3つの要点 ✔️ 真のEnd-to-Endに近づいたDeepMindの新音声合成方式 ✔️ テキストと音声のアライメントを自動で学習可能に ✔️ GAN識別器を使った巧妙な損失関数設計 End-to-End Adversarial Text-to-Speech written by Jeff Donahue,Sander Dieleman,Mikołaj Bińkowski,Erich Elsen,Karen Simonyan (Submitted on 5 Jun 2020) Comments: Published by arXiv Subjects: Sound (cs.SD); Machine Learning (cs.LG); Audio and Speech Processing (eess.AS) はじめに DeepMindからまた新しい音声合成が出ました! すごいの? もうT
Monte Carlo Dropoutによる医療AIの解釈性の可能性はあるか。ポリープのセグメンテーションで確認
3つの要点 ✔️ 不確実性推定と解釈可能性における最近の進歩を大腸内視鏡検査画像からポリープをセグメンテーションタスクに組み込む ✔️ Montecarlo dropoutを使用して予測に関連する不確実性をモデル化した不確実性マップを出力 ✔️ ガイド付きバックプロパゲーションを使用して重要と見なされるピクセルを視覚化した解釈可能性マップを出力 Uncertainty and Interpretability in Convolutional Neural Networks for Semantic Segmentation of Colorectal Polyps written by Kristoffer Wickstrøm,Michael Kampffmeyer,Robert Jenssen (Submitted on 16 Jul 2018) Comments: Published
子どもの学習方法に着想、データ効率を高める機械学習の新アプローチ
深層学習では、機械学習モデルの正確さを高めるには訓練用データの量を増やすことが一般的だ。カーネギーメロン大学の研究者らは、親が子どもに教える方法にヒントを得て、データ量を増やさなくてもモデルの正確さを高められる学習アルゴリズムを見い出した。 by Karen Hao2020.05.11 48 17 19 7 機械学習アルゴリズムを訓練する標準的な方法は、すべての詳細情報を一度に与えることだ。さまざまな動物の種類を認識する画像分類システムを構築している場合であれば、各種類の例を示し、それに応じてラベルを付ける。たとえば、犬の場合であれば「ジャーマンシェパード」や「プードル」といった具合だ。 だが、人間の親が子どもに何かを教えるときのアプローチはまったく異なる。親ははるかに広範なラベルで始める。どんな犬種であっても最初は単に「犬」である。子どもがこうしたより単純なカテゴリを区別する方法を学習し
訓練していないクラスの画像を生成可能！？メトリックラーニングを導入したOpenGAN
3つの要点 ✔️ 訓練していないクラスの画像を生成可能 ✔️ GANにメトリックラーニングを導入 ✔️ OpenGANが生成した画像はデータ水増しにも有効 OpenGAN: Open Set Generative Adversarial Networks written by Luke Ditria, Benjamin J. Meyer, Tom Drummond (Submitted on 18 Mar 2020) Comments: Published by arXiv Subjects: Computer Vision and Pattern Recognition (cs.CV); Machine Learning (cs.LG) GAN (Generative Adversarial Nets) の1つとして、cGAN (Conditional GAN) が存在します。cGANは
似合う髪型と似ている芸能人をAIが診断するアプリ、高校生が開発 | Ledge.ai
株式会社アースホールディングスは3月19日、写真を撮るだけで、AI（人工知能）が似合う髪型と似ている芸能人を診断するアプリ「AI STYLIST」をリリースした。 AI STYLISTは、スマートフォンのカメラで写真を撮るだけで、顔立ちや顔型をAIが分析し、似合う髪型を提案するサービスだ。男女どちらにも対応している。価格は無料。現在はiOS版のみで、Android版も開発予定だ。 ＞＞プレスリリース 現役高校生がディープラーニングを使った独自のAIを開発AI STYLISTをリリースするアースホールディングスは、美容室「HAIR&MAKE EARTH」などを運営している。 プレスリリースによれば、「春はイメージチェンジをしたいと思う人が増える時期。ヘアスタイルを変えてみよう！という方も多くいます」という。その際に、AI STYLISTを使えば理想の髪型を見つけられるそうだ。美容室を運営する
パラメータ数を激減させる新しい畳み込み「MixConv」解説！
３つの要点 その１ パラメータ数を激減させる新しい畳み込みMixConvを提案 その２ MixConv層を含んだモデルをAIに自動生成(=NAS)させることでMixNetを開発 その３ MixNetはMobileNet-V3やMnasNetなどの小型画像認識モデルのみならずResNet-153に対してはパラメータ数1/9程度で性能を凌いだ MixConv: Mixed Depthwise Convolutional Kernels written by Mingxing Tan, Quoc V. Le (Submitted on 22 Jul 2019 (v1), last revised 1 Dec 2019 (this version, v3)) Journal reference: BMVC 2019 Subjects: Computer Vision and Pattern
実務の専門家として機械学習や統計分析を手掛けたい人にオススメの書籍初級5冊＆中級8冊＋テーマ別11冊（2020年2月版） - 渋谷駅前で働くデータサイエンティストのブログ
(Image by Pixabay) この記事は以下のオススメ書籍リスト記事のアップデートです。 毎回の断り書きで恐縮ですが、この記事では「データサイエンティストや機械学習エンジニアなどデータ分析の実務の専門家として」*1機械学習や統計分析を手掛けていきたいという、主に初級ないし中級ぐらいのスキルレベルの人たちにお薦めしたい書籍を、初級向け5冊・中級向け8冊及び細かいテーマ別に11冊、それぞれ挙げていきます。スタンスとしては相変わらず「当座の最終到達点を『中級』に置いた時に最初に読んで内容をマスターしておくべき書籍」を初級に置いているので、世の中のこの手のお薦め書籍リストに比べると若干ハードな内容のものが初級向けに多いかもしれません。 後はちょっと気が早いかもしれませんが、機械学習パートに関しては「AutoML時代にあっても実務の専門家であれば知っておくべき知識」を収めた書籍を選んでおきま
教師あり学習の精度を超えた！？相互情報量の最大化による教師なし学習手法IICの登場！
3つの要点 ✔️相互情報量を最大化する枠組みでニューラルネットを学習する教師なし学習手法IICの提案 ✔️予測値をそのまま出力するニューラルネットを学習可能であるため、クラスタリングが不要 ✔️従来の教師なし学習手法の「クラスタが一つにまとまってしまう問題」および「ノイズに弱いという問題」を解決 Invariant Information Clustering for Unsupervised Image Classification and Segmentation written by Xu Ji et.al (Submitted on 22 Aug 2019) subjects : Computer Vision and Pattern Recognition (cs.CV); Machine Learning (cs.LG) はじめに 近年、様々な場面において、深層学習手法が使用さ
畳み込みニューラルネットワークの高精度化と高速化
2012年の画像認識コンペティションILSVRCにおけるAlexNetの登場以降，画像認識においては畳み込みニューラルネットワーク (CNN) を用いることがデファクトスタンダードとなった．CNNは画像分類だけではなく，セグメンテーションや物体検出など様々なタスクを解くためのベースネットワークとしても広く利用されてきている．本講演では，AlexNet以降の代表的なCNNの変遷を振り返るとともに，近年提案されている様々なCNNの改良手法についてサーベイを行い，それらを幾つかのアプローチに分類し，解説する．更に，実用上重要な高速化手法について、畳み込みの分解や枝刈り等の分類を行い，それぞれ解説を行う． Recent Advances in Convolutional Neural Networks and Accelerating DNNs 第21回ステアラボ人工知能セミナー講演資料 http
JDLA、ディープラーニング開発における契約書のひな形を公表 | AI専門ニュースメディア AINOW
最終更新日： 2019年9月6日 ディープラーニングを中心とする技術による日本の産業競争力の向上を目指す日本ディープラーニング協会（以下、JDLA）が、「ディープラーニング開発標準契約書」（以下、本契約書）を策定し、2019年9月6日に公表しました。 ディープラーニング開発における契約はなかなか進まない ディープラーニングの技術はビジネスでの活用、社会実装に向けた開発・検討が進みつつあり、その開発を担うスタートアップと業務の委託者である大企業との間で多くの議論がなされています。 多くのユーザやデータを保有する大企業と、ディープラーニングの技術力を持つスタートアップの提携の事例も多く生まれ、ディープラーニングの産業活用を大きく進めるきっかけになっているといえます。
化学反応におけるDeep learningの適用 - Preferred Networks Research & Development
近年様々な分野に対してDeep learningの応用が研究されてきています。 化学の分野でも物性値の予測モデルや、化合物の生成モデルの研究などが盛んになってきています。最近では、有機化合物の合成を行う際に必要な化学反応の予測をDeep learningで行うという試みが行われてきているのでその先行研究サーベイをしました。 サーベイ資料はこちらのSlideshareにアップロードしています。 問題設定：反応予測および逆合成経路探索 化学反応で、反応物 (reactant) AとBを触媒 (reagent) Cの下で反応させたときに 生成物 (product) D ができたようなプロセスは Reaction SMILES を用いると “A.B.C>>D” というように表すことができます。 ここで、 AとBとC から何ができるか？ （答えはD）を予測する問題を順方向の反応予測問題と呼び、Dを作
論文解説 Attention Is All You Need (Transformer) - ディープラーニングブログ
こんにちは Ryobot (りょぼっと) です． 本紙は RNN や CNN を使わず Attention のみ使用したニューラル機械翻訳 Transformer を提案している． わずかな訓練で圧倒的な State-of-the-Art を達成し，華麗にタイトル回収した． また注意を非常にシンプルな数式に一般化したうえで，加法注意・内積注意・ソースターゲット注意・自己注意に分類した．このうち自己注意はかなり汎用的かつ強力な手法であり他のあらゆるニューラルネットに転用できる． WMT'14 の BLEU スコアは英仏: 41.0, 英独: 28.4 で第 1 位 Attention Is All You Need [Łukasz Kaiser et al., arXiv, 2017/06] Transformer: A Novel Neural Network Architecture f
ディープラーニングの学習データ量を削減、「敵対的特徴」の活用で
NECは2019年8月19日、ディープラーニングの学習に必要なデータ量を削減する新たな技術を開発したと発表した。同技術は画像や音声などデータ形式によらず適応でき、学習データセットの拡張を専門家による調整なしに実現するとしている。 製品の外観検査など、製造業においてもディープラーニング活用が進む。ディープラーニングの推論精度は学習用データセットの質と規模に依存するが、高品位なデータセットの用意は手間やコスト面で高いハードルが存在する。外観検査の例においても不良品の画像データを多数そろえる必要があるが、そもそも発生頻度の低い不良でデータ収集が困難な場合が多い。この問題を解決するため、他領域で学習したニューラルネットワークを転用する「転移学習」や、元の学習データを人為的に加工し学習用データセットへ加える「データ拡張」などの手法に注目が集まっている。 一方で、データ拡張は専門家による調整を必要とす
NEC、従来技術の半分の学習データ量でも高精度に識別可能なディープラーニング技術を開発
NECは、従来の半分程度の学習データ量でも高い識別精度を維持できるディープラーニング技術を新たに開発しました。 識別精度の向上には、識別が難しい学習データをより多く学習することが有効ですが、学習に適した質の良いデータを十分に確保することが重要です。本技術は、ニューラルネットワーク(注1)の中間層で得られる特徴量を意図的に変化させることで、識別が難しい学習データを集中的に人工生成します。これにより、少ない学習データ量でも識別精度を大きく向上させ、ディープラーニングを適用したシステムの開発期間短縮に貢献します。 具体的には、ディープラーニング技術の適用に必要な学習データ量を半分程度に削減します。また本技術は、データの種類を問わず汎用的に適用可能であることから、専門家による調整が不要になります。これにより従来、学習データ収集時間やコストの高さが阻害要因となっていた製品の外観検査やインフラ保全など
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
事前学習言語モデルの動向 / Survey of Pretrained Language Models
生成モデルを中心としたAI創薬最前線 / Elix CBI 2019
【論文紹介】医用画像への転移学習の有効性について Transfusion: Understanding Transfer Learning for Medical Imaging
