ニューラルネットへのベイズ推定 - Bayesian Neural Network - nykergoto’s blog
ニューラルネットワークの過学習防止としてDropout という機構が用いられているのはご案内のとおりです。 この Dropout 、見方を変えるとディープラーニングにおける重みのベイズ推定に相当しているのではないか、という内容が Uncertainty in Deep Learning にて述べられていて、この記事ではその内容について解説していきたいと思います。 また末尾では実際にベイズ推定を実装して、予測がちゃんと不確実性を盛り込んだものになっているかどうか、を確認します。 基本的に記事の内容は元の論文(YARIN GAL さんの博士論文です)と同著者の解説ページを元にしています。それぞれ以下からアクセスできますので、解説じゃなくて自分で読みたい!という方はそちらを参考にしてください。個人的には解説も論文もとても読みやい (なんと数式もとても丁寧に記述されています!!) ので、英語が苦手
NVIDIAが深層学習でX線写真の分析をサポートする医療用AIキット「Clara」を開発
by rawpixel.com 半導体メーカーのNVIDIAは最先端のGPUを開発しているという利点を生かし、AIやディープラーニングの分野にも積極的に進出しています。そんなNVIDIAは医療用AIの開発も行っており、画像診断等を行う放射線科医をサポートする医療用AIを含むツールキット「Clara」を開発しています。 NVIDIA CLARA Platform | NVIDIA Developer https://developer.nvidia.com/clara Clara AI Lets Every Radiologist Teach Their Own AI | NVIDIA Blog https://blogs.nvidia.com/blog/2019/03/18/clara-ai-gtc/?ncid=so-twi-gj-78508 Claraは放射線科医のために開発されたAIお
Deep Learning等の精度評価において、F値（Dice）とIoU（Jaccard）のどちらを選択するべきか？ - OPTiM TECH BLOG
初めまして、R&Dの加藤です。R&Dでは珍しく中途入社です*1 。業務は農業や医療のプロジェクトでDeep Learningを使った画像解析を主に担当しています*2。 また、終業後は不定期（主に月曜日）に職場の人達と一緒に皇居を走っています。先日開催された多摩川のランニングイベントでは、10kmコースを43分で走れました！ 今回の記事では、Deep Learningによらず機械学習や統計の場面でも良く出現するF1 score（F値）とIntersection over Union（IoU）の意味を理解して使い分けることを目標とします*3。 そもそもなぜ精度評価が必要？ 用語のおさらい 混同行列について（TP/TN/FP/FN） 評価指標について Precision/Recall/F値(Dice係数)/IoU(Jaccard係数) Precision（適合率） Recall（再現率） F値（
《日経Robo》なぜディープニューラルネットは汎化するのか
機械学習の目標は、有限の訓練データからルールや知識を獲得し、（同じ分布からサンプリングされる）訓練データには含まれないが、訓練データと同様の性質をもつ未知のデータに対してもうまく推論できるようなモデルを獲得することである。この能力を汎化能力と呼ぶ。 一般に学習は訓練データZ={zi}Ni=1が与えられた時、訓練データに対する損失関数l（z,f）の和を最小にするような関数fを求めることで実現する。 データがどのような分布から生成されているかは未知のため、汎化誤差も未知である。訓練データとは別に用意した正解の分かっている開発用データセットを使って汎化誤差を推定することは行われる。関数fは訓練誤差を最小にするように最適化されているため、一般に訓練誤差は汎化誤差よりも小さくなる。 訓練誤差が小さく汎化誤差が大きい場合が過学習 一般に関数の表現力を大きくすると訓練誤差を小さくできるが、汎化誤差が大き
Netron - 機械学習のネットワークを可視化
MOONGIFTはオープンソース・ソフトウェアを紹介するブログです。2021年07月16日で更新停止しました 機械学習ではフォーマットの標準化が進んでいます。これまでTensorflowやCaffe、Chainerなど様々なソフトウェアがありましたが、生成されるモデルがONNXというフォーマットに統一されつつあります（他にもあるようですが）。 そんなONNXフォーマットのモデルをビジュアル化できるソフトウェアがNetronです。 Netronの使い方 ドロップしたところです。これは4か9を判別するモデルです。 拡大もできます。 パラメータも閲覧できます。 Netronを使うことでPythonのコードではなく、ビジュアル化されたモデルを通じて機械学習のネットワークを学ぶことができます。各ノードにおける出力の数も出ており、ネットワークの詳細が分かりやすくなるでしょう。 NetronはJavaS
Papers with Code - Browse the State-of-the-Art in Machine Learning
Browse State-of-the-Art 10,955 benchmarks 4,908 tasks 131,075 papers with code
機械学習モデルの判断根拠の説明
第20回ステアラボ人工知能セミナー https://stair.connpass.com/event/109983/ 【講演動画】 https://youtu.be/Fgza_C6KphU 【講演タイトル】 機械学習モデルの判断根拠の説明 【講演概要】 本講演では、機械学習モデルの判断根拠を提示するための説明法について紹介する。高精度な認識・識別が可能な機械学習モデルは一般に非常に複雑な構造をしており、どのような基準で判断が下されているかを人間が窺い知ることは困難である。このようなモデルのブラックボックス性を解消するために、近年様々なモデルの説明法が研究・提案されてきている。本講演の前半ではまず近年の代表的な研究について紹介する。後半では、発表者の最近の研究として「ランダムフォレストの簡略化」と「モデル列挙」について紹介する。Read less
メモリとアルゴリズムだけでニューラルネットワークを実現――プロセッサを使わず消費電力を1000分1に - fabcross for エンジニア
カリフォルニア大学サンディエゴ校（UCSD）の研究チームは、高効率、高速なニューラルネットワークによる学習を実現するため、消費電力を最大で1000分1に減らせる新たなハードウェアとアルゴリズムを開発した。将来的には、スマートフォンや組み込み機器など低消費電力デバイスでのニューラルネットワーキングの実現を狙う。研究成果は、2018年12月14日発行の『Nature Communications』誌に掲載されている。 一般的に、ニューラルネットワークが物体の認識や自動運転などの高度なタスクを処理できるように学習させるには多くの電力と時間が必要だ。そのトレーニングには数百から数千のプロセッサというコンピューターネットワークを使っても数週間から数カ月かかり、その大半はメモリとプロセッサの間でデータのやり取りに消費されている。この問題を解決するため、UCSDのDuygu Kuzum教授率いる研究チー
AlphaGoの衝撃再び — タンパク質構造予測でAlphaFoldが今までのモデルに圧勝｜Zhubo.JP
原文記事: [阿尔法狗再下一城 | 蛋白结构预测AlphaFold大胜传统人类模型] (2018/12/03公開) 「研究したいタンパク質があるのだが、その構造と機能がわからない」 — これは分子細胞生物学の研究者が日々直面する最大の難題の一つである*a。アミノ酸配列測定技術が発展する中で、多くのタンパク質の配列がハイスループット*1に解析されているが、この配列決定の段階から実際に3次元構造を決定するまでの間には、未だに大きな距離がある。 生物の基本単位が細胞だとして、細胞の基本的な機能単位こそが、複雑多岐なタンパク質の1つ1つである。そしてまさにタンパク質の機能の本質を決定しているのが、タンパク質の構造である。タンパク質の機能を研究したり、それをターゲットとする薬剤を開発したいというとき、タンパク質の構造はとても重要な要素の一つになる。だからこそ、生物学には、構造生物学という学問領域まで
福井大学、ADHDの脳構造の特徴を人工知能により解明することに成功
福井大学子どものこころの発達研究センターの友田明美教授とジョンミンヨン特命教授らは、ADHD（注意欠如・多動症）児の脳構造の解析に人工知能（AI）を導入し、ADHD児には特定の脳部位に特徴があることを高い精度で明らかにした。 検討の結果、脳の148領域のうち眼窩前頭皮質外側など16領域の皮質の厚み、11領域の皮質の面積にADHDの特徴が現れることが判明し、74～79％の精度でADHDの識別が可能であることを見出した。 さらに、これらの脳部位のうち眼窩前頭皮質では、ADHDの要因の１つで、実行機能（作業記憶の苦手さ）に影響しているCOMT遺伝子の多型と脳構造との関連も確認できた。また、国際的なデータベースで検証したところ、米国・中国のADHD児でも73％の精度で農部位の特徴が確認され、国際的にも応用できる可能性が示唆された。 この検査手法は、測定時間が５分以内と短く、検査中に特定の課題遂行が
[1806.07366] Neural Ordinary Differential Equations
We introduce a new family of deep neural network models. Instead of specifying a discrete sequence of hidden layers, we parameterize the derivative of the hidden state using a neural network. The output of the network is computed using a black-box differential equation solver. These continuous-depth models have constant memory cost, adapt their evaluation strategy to each input, and can explicitly
DeepなFactorization Machinesの最新動向 (2018) - Gunosyデータ分析ブログ
はじめに こんにちは。研究開発チームの関です。 最近毎週日曜日の恋するワンピースの更新を楽しみに生きています。好きなツッコミは「この船の航海士は誰？」です。 あと虹のコンキスタドールのベストアルバム「THE BEST OF RAINBOW」は皆さん買いましたか？ 健康にいいので毎日聞きましょう。 この記事はGunosy Advent Calendar 2018の22日目の記事です。 昨日はcou_zさんの「【年末年始に読みたい】Gunosyエンジニアが2018年に購入した書籍まとめ」でした。 皆さんFactorization Machinesは好きですよね。 予測モデル構築においてはXGBoostと並んでとりあえずやっておくべき手法として知られています。 今回のエントリではKDD2018で発表されたxDeepFMを読み解きながら、 DeepなFactorization Machineの現状
深層学習AIをエッジで動かす、東芝と理研がスパース化現象でパラメータ8割削減 - MONOist（モノイスト）
（左）手書き数字画像10クラスの「MNIST」という画像データセットにおいて、4層の全結合ネットワークを用いた実験の結果。コンパクト化なしのネットワークから認識精度0.02％の低下で、パラメータ数を83.7％削減可能であることを確認した。（右）一般物体認識のベンチマークとしてよく使われている「CIFAR-10」という画像データセットにおいて、16層の畳み込みニューラルネットワークを用いた実験の結果。認識精度の低下が約1％以内の範囲では、正則化強度を変更することでネットワークのパラメータ数を30～70％程度削減でき、DNNのサイズを柔軟に変更できることを確認した（クリックで拡大） 出典：東芝 スパース化現象が起こる学習条件は3つある。1つ目は、DNNの表現力を高めるために一般的に導入される非線形関数ReLU（Rectified linear unit）を活性化関数として用いる場合だ。2つ目は
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Variational Auto Encoder入門
IEICE Trans - 物体認識のための畳み込みニューラルネットワークの研究動向
[DL輪読会]Deep Learning for Anomaly Detection: A Survey![[DL輪読会]Deep Learning for Anomaly Detection: A Survey](https://cdn-ak-scissors.b.st-hatena.com/image/square/478b3710d8160afd739fc0999bb33a800773d20c/height=288;version=1;width=512/https%3A%2F%2Fcdn.slidesharecdn.com%2Fss_thumbnails%2Fdeeplearningforanomalydetectionasurvey-190212051246-thumbnail-4.jpg%3Fcb%3D1549948416)
Deep Learning推論を高速化するソフトウェア技術
https://www.slideshare.net/DeepLearningJP2016/dlneural-ordinary-differential-equations
Flow-based Deep Generative Models
AI×医用画像の現状と可能性 - Speaker Deck
