RAdam: Adam の学習係数の分散を考えたOptimizerの論文紹介 - nykergoto’s blog
表題の通り噂の最適化手法 RAdam の論文 On the Variance of the Adaptive Learning Rate and Beyond を読んだので, そのまとめです!! 概要 一言でいうと「今までヒューリスティックに行っていた Adam 学習開始時の LR 調整を自動化できるような枠組みをつくったよ」ということになると思います. 考える問題 この論文で, 考えていくのは機械学習のように多数のデータから成る目的関数を最小化するような問題です. 特にニューラルネットワークの学習では勾配法, 特に SGD (確率的勾配降下法) と呼ばれる方法を用いることが一般的です. SGD には様々な adaptive バリエーションがあります.この adaptive とは問題の特性を生かして, SGD を早くするような工夫を指しています. 一般的な形式 一般的な adaptive
ディープラーニングの学習データ量を削減、「敵対的特徴」の活用で
NECは2019年8月19日、ディープラーニングの学習に必要なデータ量を削減する新たな技術を開発したと発表した。同技術は画像や音声などデータ形式によらず適応でき、学習データセットの拡張を専門家による調整なしに実現するとしている。 製品の外観検査など、製造業においてもディープラーニング活用が進む。ディープラーニングの推論精度は学習用データセットの質と規模に依存するが、高品位なデータセットの用意は手間やコスト面で高いハードルが存在する。外観検査の例においても不良品の画像データを多数そろえる必要があるが、そもそも発生頻度の低い不良でデータ収集が困難な場合が多い。この問題を解決するため、他領域で学習したニューラルネットワークを転用する「転移学習」や、元の学習データを人為的に加工し学習用データセットへ加える「データ拡張」などの手法に注目が集まっている。 一方で、データ拡張は専門家による調整を必要とす
機械学習のための環境構築とその管理 - nykergoto’s blog
機械学習プロジェクトでは python を始めとした言語 + それに付随したライブラリを使います。 僕も python 触りたての頃はローカルマシン上にひとつ python 環境を作り、必要なライブラリをインストールして使っていました。環境の分離ということはあまり意識しておらず、やったとしてもプロジェクトごとに anaconda や pyenv, venv などで個別環境を作って切り分けるレベルでした。 しかし上記の方法だと困ったことが起ることがあります。例えば… global な環境が壊れてしまってすべて壊れる。 これは各環境が global な環境に依存しているために起こります。 python 以外の変更で環境は突如として壊れます。例えば brew install hoge したら Mecab が使えなくなっちゃったとかはあるあるだと思います >_< linux / Mac / Win
顔写真を「二次元アニメ風」に自動変換してくれるAI - 科学ニュースメディア！ナゾロジー
Point ■韓国のNCSOFT社によって、顔写真を二次元アニメ風に自動変換することのできるAIが開発される ■画像翻訳技術には、顔の中の注目すべき特徴を抽出し、不要な部分は無視するための「CAM技術」が使用されている ■今回は開発されたAIはアニメ像への変換だけでなく、ごく普通の風景写真を絵画の巨匠風にアレンジすることも可能 最近、顔をルネッサンス絵画風に変換してくれるAIアプリが話題となりましたが、今度はアニメです。 韓国のオンラインゲーム会社「NCSOFT」が、人の顔写真を二次元アニメキャラクターに変換してくれるAIを開発しました。 AIには「敵対的生成ネットワーク（GANs）」というディープ・ラーニングが用いられ、膨大な数の顔写真とアニメキャラの顔をAIに学習させることで、全く新しい画像サンプルを作り出すことができます。 この技術によって本人の顔の特徴を捉えたアニメキャラ像を生成す
新たな映像生成システム "DVD-GAN"が登場! ! 2つの識別器と並列化による処理能力!
参考論文 : Efficient Video Generation on Complex Datasets 近年、最もホットな研究分野であるGANは、最新の”BigGAN”や”StyleGAN”などを筆頭に非常にリアルな画像を生成することができており、その画像は高解像で多様性に富んでいます。しかしながら、高解像度の”ビデオ”生成することは依然として挑戦的な分野であり、より複雑なデータ処理と高い計算能力を必要とします。 従来、ビデオ生成の分野における最先端の作業は、タスクの複雑さを軽減するため、比較的単純なデータセット、すなわち強い制約下におけるデータを中心に行われてきました。 今回「Deepmind」により発表された論文”DVD-GAN (Dual Video Discriminator GAN)”では、いくつかのテクニックと画像生成モデルGANを組み合わせることで、最高精度の解像度かつ
顔から遺伝的疾患を見抜くAI「DeepGestalt」 精度は90％以上 | Forbes JAPAN 公式サイト（フォーブス ジャパン）
精密医療および遺伝分野のAIを開発する米企業「FDNA」のCTO、Yaron Gurovich氏ら研究チームが、顔の写真から遺伝的な疾患を高精度で診断できる人工知能を開発したとして話題だ。研究結果は、国際学術誌「Nature Medicine」に掲載された。 研究チームが開発したAIシステムは「DeepGestalt」（ディープ・ゲシュタルト）と名付けられており、顔の写真から遺伝的な疾患を発見できる精度は90％以上に達しているという。 かねてから、顔の特徴や表情にはさまざまな遺伝的疾患の兆候が表れるとされ、医療現場では診断材料として利活用することが期待されてきた。しかしながら、遺伝的な疾患はその種類がとても豊富。人間の判断では、正確に紐づけることに困難があった。 一方で、世界各地では人工知能を活用して遺伝的疾患を発見するというコンセプトを持った研究が進められているものの、ほとんどの場合、学
IBMがオープンな機械学習用データセットを提供するリポジトリを公開
印刷する メールで送る テキスト HTML 電子書籍 PDF ダウンロード テキスト 電子書籍 PDF クリップした記事をMyページから読むことができます IBMは米国時間7月16日、機械学習用のオープンなデータセットを無料で提供するリポジトリ「IBM Data Asset eXchange」（DAX）の公開を始めた。オンライン上で提供されているオープンなデータセットは数多くあるが、DAXの特徴は企業向けにキュレーションされたデータを提供することだという。 DAXでは、明確に定義されたオープンデータライセンスに基づいて、標準化されたフォーマットに成形され、メタデータが付与された高品質なデータセットを提供する。また、企業がデータセットを利用しやすいようにチュートリアルも提供される。 さらに、このリポジトリでは、IBMやIBM Researchが提供するさまざまなデータセットも入手できる。例え
【マルチモーダル学習】画像中の音の発生源を可視化するAI | Ledge.ai
2018年、韓国科学技術院から音の発生源を推測するAIが提案された。画像上の音の発生場所と考えられる物体をヒートマップとして可視化できるものだ。 説明だけではあまりピンとこないかもしれないので、次の動画を数秒ほどご覧頂きたい。 動画では、馬車に対して強いヒートマップが出ており、音の発生場所を上手く捉えられていることがわかる。 この研究の強みは、教師なし学習が用いられていることだ。アノテーションされていないただの動画データを学習するだけで、音声発生源を推測できることがわかる。 論文名：Learning to Localize Sound Source in Visual Scenes 学会：CVPR2018 作者：Arda Senocak, Tae-Hyun Oh, Junsik Kim, Ming-Hsuan Yang, In So Kweon 所属：KAIST, MIT CSAIL, U
マガジン｜ClassCat Deep Learning / Analytics & Quantum Computingのイベント・技術情報 - TECH PLAY［テックプレイ］
ClassCat Deep Learning / Analytics & Quantum Computingに関するマガジン情報をまとめたページです。
画像や音声を生成するAI、「GAN」の特許が急増
人工知能の応用分野として、画像やデザイン（意匠）、音楽などのコンテンツを作り出す「生成AI」が注目されている。なかでも近年最も脚光を浴びている技術の1つが「敵対的生成ネットワーク（Generative Adversarial Network、以下GAN）」だろう。 GANは2014年にIan Goodfellow氏（現在は米アップル（Apple）に在籍）が発表した生成AIの方式である。『日経エレクトロニクス』2019年7月号によると、論文発表は2014年だったが、ある程度の高精細画像が出力可能になったのは2017年末であり、2019年3月にはAppleがGoodfellow氏を米グーグル（Google）から引き抜いた（「打ち出の小槌になる生成AI」）。開発競争が激化している分野であることがうかがえる。本稿では、特許情報の切り口からGAN技術の開発・応用分野などを分析する。 GANに関する特
社内GPU機の構成をItamaeで管理するようにしたことと、その反省点について - BANK tech blog
⚠️⚠️ 注意 ⚠️⚠️ この記事の内容は2019年6月における弊社の状況についてまとめたものになります。内容を参考にする場合は注意してください。 こんにちは。機械学習についてはド素人のうなすけです。何もわかりません。この記事では、機械学習に使用しているGPU搭載社内PCにItamae recipeを用意した話をします。 不調になったGPU機 弊社には、TITAN Vを2枚積んだマシン(以下GPU機)があります。データ解析チームはそのマシンを利用して機械学習を行い、様々なモデルを作成してCASHやTRAVEL Nowのサービス改善に貢献しています。 ところがある日から、GPU機で学習を進めているうちに突然電源が落ちたり、そもそも起動しないということが頻繁に発生するようになってしまいました。 URLはマザーボードの製品ページです 起動すらまともにしなくなった様子 このGPU機はBTOとして購
GANのコピペ貼り付け機能の学習を利用した物体検出
論文：Object Discovery with a Copy-Pasting GAN この論文では、画像内の教師なし物体検出という課題について取り組んでいます 。 新しいアイデアとしては、敵対的生成ネットワーク（GAN）からインスピレーションを得た、物体検出のためのトレーニング手順を設計しているところです。 GANは、コピー・ペーストにも使用されていますが、よくある用途としては、何をコピーすべきかを学ぶことではなく、リアルに見える視覚データを作成することです。本研究では、GANのコピーペースト機能を利用した教師なし物体検出とセグメンテーションに焦点を当ています。 CP-GANの合成手法 図１CP-GAN コピーペーストGAN（CP-GAN）の中核的な考え方を図に表したものです。標準のGANと同様に、生成器の目的は識別器にとって本物に見える偽画像を生成することで、識別器の目的は、与えられた
座標系に基づきマイクロパッチからイメージを結合していくGANが登場
論文：COCO-GAN: Generation by Parts via Conditional Coordinating 現在の最先端の生成モデルでは、大規模な画像データを扱う研究が盛んです。これらのモデルは空間次元が大きいだけでなく、多数のパラメータを持ちます。ここ数年、合成画像の解像度は毎年ほぼ2倍になっており、より大きなバッチサイズがGANにとって非常にいい影響を与えていることが分かっています。しかし、技術的に克服するのが難しい問題としてメモリー予算の限界があります。 一方、人間は、生物学的制限のため周囲の環境の一部としか相互作用できません。そのため環境の一部を観察し見解の一部をまとめ、それらの空間的関係を推論することを学びます。論文では、このような人間の能力に触発され、条件として与えられた空間座標系に基づいて、パーツ（マイクロパッチ）を再構成するGANモデルを提案しています。 画
前モデル買った人のことを思うと切なすぎる：Nvidia RTX 2060／2070 Super レビュー
前モデル買った人のことを思うと切なすぎる：Nvidia RTX 2060／2070 Super レビュー2019.07.08 19:00110,165 Alex Cranz - Gizmodo US ［原文］ （ そうこ ） ほんのちょっとの差なのに…。 今年1月にでた同シリーズのNvidia GPUを買った人が涙目必至という新商品Nvidia RTX 2060 Super GPU、米Gizmodo編集部がさっそくレビューしてきました。 今年の1月、Nvidia RTX 2060 GPUが発売された時、前モデルから価格が2倍近い、パフォーマンスは悪くないけど驚くこともないとレビューしていました。が、それでも買った人はいるでしょう。買っちゃった人には本当悪いけど、Nvidia RTX 2060 Super GPUがでました。 2060に350ドル使っちゃった人はもちろん、もっと高い2070や
AI特許の国内出願、第3次ブームを迎え2017年は3065件--特許庁の調査
経済産業省の特許庁は、人工知能（AI）関連発明の国内出願状況を調査し、その結果を発表した。それによると、2017年におけるAI関連発明の出願件数は3065件で、前年の1858件から大幅に増えている。そして、2509件の出願があった1991年を第2次AIブーム、出願が急増した現在を第3次AIブームとした。 特許庁のAI関連発明とは、AIコア発明とAI適用発明を合わせたもの。AIコア発明は、ニューラルネットワークや深層学習（ディープラーニング）、サポートベクタマシン、強化学習などを含む機械学習技術のほか、知識ベースモデル、ファジィ論理といった、AIの基礎となる数学的または統計的な情報処理技術が特徴となる発明と定義。付与される特許文献分類、File Index（FI）は、主に「G06N」だという。一方、AI適用発明は、AIコア発明を適用した画像処理や音声処理、自然言語処理、機器制御、診断・検知・
ディープラーニングも使える確率的プログラミングツール「Gen」を開発、MIT
ディープラーニングも使える確率的プログラミングツール「Gen」を開発、MIT：AIモデルやアルゴリズム作成の民主化に貢献 マサチューセッツ工科大学（MIT）の研究チームが開発した確率的プログラミングツール「Gen」を使えば、初心者でも簡単にAIに触れることができ、専門家は高度なAIプログラミングが可能になる。ディープラーニングよりも適用範囲の広いことが特徴だ。 【訂正：2019年7月4日10時50分 記事タイトルの一部に誤解を招く表現があり訂正しました。 訂正前：ディープラーニングを超える汎用AIツール→訂正後：ディープラーニングも使える確率的プログラミングツール】 マサチューセッツ工科大学（MIT）の研究チームは、2019年6月下旬に米アリゾナ州フェニックス市で開催されたカンファレンス「Programming Language Design and Implementation」で、新し
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
論文LT会_論文紹介(CU-Net)
ColorNet: Investigating the importance of color spaces for image classification
【西川和久の不定期コラム】 強力なGPUを搭載した「Jetson Nano」でAIを走らせてみた
【後藤弘茂のWeekly海外ニュース】 NVIDIAが36ダイで構成するディープラーニングチップ「RC 18」を学会発表
