タグ検索の該当結果が少ないため、タイトル検索結果を表示しています。
RNNからTransformerまでの歴史を辿る ～DNNを使ったNLPを浅く広く勉強～ - arutema47's blog
Amazon Prime 一ヶ月無料 Seq2seqからBERTまでのNLPモデルの歴史をざっとまとめる。 DNNは知ってるけどTransformerってなんだかわからない、って人におすすめです。 Abst. 画像認識にもTransformerが使われることが多く、DeepRLやGPT-3といったNLPモデルも身近になってきています。"Attention is 何?"と言えなくなってきたので勉強しました。 Feedforward NetworksからSeq2Seq, Attention機構からTransformer登場、そしてBERT GPTといった最新モデルまでの流れを広く浅く記述する予定。 またKaggle NLPコンペの上位解法から利用例を探る。 Tl;DR TransformerはSelf-Attentionという機構でデータ内の時系列的特徴を抽出でき、従来のRNNを始めとするNN
不均衡データ分類問題をDNNで解くときの under sampling + bagging 的なアプローチ - BASEプロダクトチームブログ
はじめに こんにちは、Data Strategy所属の岡です。グループ会社BASE BANKで分析/モデリングなども兼務しています。 テキストデータを特徴量にもつ不均衡データ分類問題をDNNで解きたくなった際、下記の論文を参考にしたのでその内容を紹介します。 https://users.cs.fiu.edu/~chens/PDF/ISM15.pdf 不均衡データ分類問題ってなに？ 何かしらのカテゴリを機械学習などで分類予測しようとする際、カテゴリごとのデータ件数に偏りがある、特に正例のデータが極端に少ないケースで予測精度が上がりにくい、という問題をこのように呼んでいます。 例: 不正決済と正常な注文、不正商品と健全な商品、がん患者と正常な患者 普通はどうやって対処するの？ ベースとなるアプローチは下記3つにまとめられます。 アプローチ 内容 デメリット アンダーサンプリング 多数派データを
BigQuery MLにAutoML Tables、XGBoost、DNN、ARIMAが来たのでおさらい - Qiita
BigQuery MLにAutoML Tables、XGBoost、DNN、ARIMAが来たのでおさらいBigQueryDNNxgboostAutoMLBigqueryML はじめに 日本時間2020-06-17のリリースで、BigQuery MLにAutoML Tables、XGBoost、DNNが来ました。release-notes#June_16_2020 おさらいに、BigQuery MLで何ができるか再整理します。 追記: 日本時間2020-07-02のリリースで、BigQuery MLにARIMAも来ましたね。日本時間2020-06-28のリリースノートでエラーになってたのですが、リリース日がしれっと修正されてました。release-notes#July_01_2020 BigQuery MLでできること概要 BigQueryでStandard SQLを使って、機械学習モデルを
連載目次 本連載では、第1回～第3回で、ニューラルネットワークの仕組みと、TensorFlow 2.x（2.0以降）による基本的な実装コードを説明した。また、第4回～第6回で、TensorFlow 2の書き方をまとめた。さらに前回（第7回）では「回帰問題」についてあらためて取り上げ、これまでの連載記事で学んできた知識だけでも「基本的なディープ ニューラル ネットワーク」（以下、DNN）の実装が十分かつ自由に行えることを体験していただいた。 これをもっと続けよう。あとは、ディープラーニングの実装パターンを繰り替えしながら、慣れていくだけである。数をこなせばこなすほど、最初は「難しい」「分からない」と思っていた部分はなくなっていく（最初は覚えることが多いが、覚えることが減っていけば、それだけディープラーニングが楽になり、より好きになるはずだ）。さっそく始めよう。 今回の内容と方針について 分類
SparseなDNNモデルの分散学習
大規模言語モデル (LLM) をはじめとする巨大なDNNモデルでは、計算量の削減のためsparseなアーキテクチャが使われることがあります。本講演では、このようなsparseなDNNモデルに対する分散学習の手法について解説します。12/20のW&Bミートアップで発表しました。
連載目次 本連載では、第1回～第3回で、ニューラルネットワークの仕組みと、TensorFlow 2.x（2.0以降）による基本的な実装コードを説明した。また、第4回～第6回で、TensorFlow 2の書き方をまとめた。 これだけの知識を理解しただけでも、さまざまなニューラルネットワークを書けるようになっているはずなのだ。そこで今後の本連載では、より実践的な内容に入り、問題種別（回帰／分類）やニューラルネットワークモデル種別（CNN／RNN／GAN／BERT）といったさまざまな活用パターン（TensorFlow 2ベース）を紹介していく。 今回は、これまでに学んだ基礎知識を総合的に活用し、最も基本的な「回帰問題」をあらためて解いてみることにしよう。 なお、回帰問題と分類問題は、機械学習／ディープラーニングの基本的な問題種別である。今回第7回では「回帰問題」を、次回第8回では「分類問題」を取
日本科学未来館 on Twitter: "【速報】 本日13時過ぎ、#未来館 常設展示5階「フロンティアラボ」に展示されているユノハナガニ、田吾作（だごさく・男性・年齢不明）が水槽の中で脱皮しているところが、担当職員によって発見されました。 詳細については、職員の興奮が… https://t.co/LC90u4dnn7"
【速報】 本日13時過ぎ、#未来館 常設展示5階「フロンティアラボ」に展示されているユノハナガニ、田吾作（だごさく・男性・年齢不明）が水槽の中で脱皮しているところが、担当職員によって発見されました。 詳細については、職員の興奮が… https://t.co/LC90u4dnn7
点群DNN、3D DNN入門 -3DYOLO, VoxelNet, PointNet, FrustrumPointNet, Pointpillars - Qiita
Register as a new user and use Qiita more conveniently You get articles that match your needsYou can efficiently read back useful informationYou can use dark themeWhat you can do with signing up
東京における音声・音響・信号処理に関するエンジニア・研究者のためのミートアップ「Tokyo BISH Bash」。第3回は、世界中で音響に関する普及・啓蒙を目的として国際音響学会が提唱するイベント「International Year of Sound 2020（IYS2020）」と協力し、日本音響学会電気音響研究会との共催で開催されました。 そこでLINEのSpeech Teamにいる木田祐介氏が、近年話題となっているEnd-to-End音声認識のしくみとプロダクト化への課題について紹介しました。前半は「End-to-End音声認識の概要」について。関連資料はこちら。 「DNN-HMM」と「End-to-End」 木田祐介氏（以下、木田）：「End-to-End音声認識の概要とプロダクト化への課題」と題してLINEの木田が発表いたします。 最初に簡単に自己紹介します。僕の略歴はここに書い
オンライン開催となったCOOL Chips 23 2020年4月15日から17日までの3日間、IEEEが主催するコンピュータの国際学会「COOL Chips 23」が開催された。 元々は、国分寺の日立中央研究所で開催の予定であったが、新型コロナウイルスの感染リスクを減らすため、Web上によるオンライン開催となった。使ったシステムはCISCOのWebEXで、慶應義塾大学のシステムを使わせてもらっていた。 リアルの学会で、友人、知人と会って、近況などを会話するという楽しみは無いが、9時からの講演に、家でゆっくり朝食を食べて8時50分にパソコンの前に座れば参加できるというのは非常に楽ちんである。 主催者側の発表によると、COOL Chips 23の参加者は92名とのことで、例年の150名程度の参加者に比べると2/3程度の人数であった。バーチャル開催であるが、3万円(IEEE、IEICE、あるいは
FPGAでのDNN(Deep Neural Network)の整理(LUT-Netまとめ) - Ryuzのブログ
はじめに 現在DNN(Deep Neural Network)の実装において、FPGAの活用はしばし議論の対象になっています。もちろんDNN分野全体からするとニッチな部類に入るとは考えますが、FPGAベンダーはここに非常に力を入れており、作成したネットワークのデプロイ先としてFPGAが選択しやすくなるような各種のソリューションが用意され始めており、日々進化しています。 ここでのFPGAのメリットは、低消費電力であったり、コストであったりします。DNNの実行にはクラウドであっても電力というランニングコストは馬鹿になりませんし、エッジコンピューティング、特にバッテリー駆動のモバイル分野においては電力は極めて重要です。またイニシャルコストの重要性はどちらも同じでしょう。 ここでFPGAベンダーはこぞって、「GPUと同じように開発できます」をキャッチフレーズに、GPUを使って研究開発をしている多く
これぞ「脳」の実力の片鱗？、DNNからSNNへ
人工知能（AI）の研究は、生体の脳の機能をいかにモデル化（単純化）するかの研究でもある。この2年ほどで、これまでの深層ニューラルネットワーク（DNN）に比べて、より脳に近い「スパイキングNN（SNN）」が、省エネルギーでDNNを凌駕する結果を出すようになってきている。米国のIntel、IBMなどが研究開発に本腰を入れ始めている。 AI技術の代表格だった深層ニューラルネットワーク（DNN）に強力なライバルが登場してきた。生体の脳神経細胞（ニューロン）の仕組みを、より忠実に取り入れた「スパイキングニューラルネットワーク（SNN）」である。 SNNのスパイキングとは、“ニューロン"間でやり取りする信号の波形が、スパイク、つまり針状の突起のようであることによる。信号の強弱は、信号の大きさや振幅ではなく、頻度の多寡やタイミングなどで表現する。生体のニューロンが実際そうしたスパイク信号を用いていること
あーつ on Twitter: "ジョージアの10代の3人の女の子達が田舎道を自撮りで歌いながら歩く動画が大バズり 方言が強くジョージア国民からさえもセルビア人かと思われたりしてたが言葉が分からなくても心に響くとして歌や楽器のトレーニングを一切受けてない彼女達ト… https://t.co/DNn8GlzYzm"
ジョージアの10代の3人の女の子達が田舎道を自撮りで歌いながら歩く動画が大バズり 方言が強くジョージア国民からさえもセルビア人かと思われたりしてたが言葉が分からなくても心に響くとして歌や楽器のトレーニングを一切受けてない彼女達ト… https://t.co/DNn8GlzYzm
ロボットや監視カメラなどの組み込み機器で、ディープニューラルネットワーク（DNN）を用いた推論を高速に実行するための新たな武器が登場した。 コニカミノルタと東京大学は、学習済みDNNを高速実行するアクセラレータ回路を、FPGAに効率良く実装できる高位合成コンパイラ技術「NNgen」を開発。2019年11月にオープンソースソフトウエアとして公開した1-2）。 深層学習フレームワークなどを用いてDNNモデルを構築しさえすれば、誰でも手軽にFPGAに実装して使えるようになる。 NNgenは既に実用段階にある。コニカミノルタは、2020年に発売予定の画像認識機能を備えるカメラなどの製品開発でNNgenを用いた。
画像など空間方向に広がったデータの認識はCNN。言語といった系列データの処理にはLSTM。この常識は既に過去のものになった。状況を大きく変えたのが、2017年に登場したTransformerである。言語処理で高い成果を上げてLSTMを代替した上に、2020年には画像認識に利用できるVision Transformer（ViT）が登場。CNNが主流だった領域でも地歩を固めつつある。 ところが、この構図が再び揺らいでいる。ViTの中核的な要素である自己注意機構を別の方式で置き換えても、同等以上の画像認識性能を発揮できることがわかってきたのである。 TransformerやViTを開発したGoogle自身が、自己注意機構を多層パーセプトロン（MLP）に切り替えた「MLP-Mixer」を2021年に発表。これを皮切りに、MLPの使い方を工夫した各種の方式や、近くにあるデータを平均するプーリングで十
VRChat上での実用的なDNNの実装｜ろじっく
この記事は VRChat Advent Calendar 2021 の21日目の記事として書かれました。 はじめに 今年の9月ごろにVirtualLens2に顔・瞳検出オートフォーカス機能を実装しました。 VirtualLens2 v2.8.0 をリリースしました。 大変お待たせしました、顔AF/瞳AFなどフォーカス関連の機能強化がメインのアップデートとなります。 詳細は動画やツリーをご参照ください。https://t.co/lDPVyPn9rK pic.twitter.com/bQaksDROzq — ろじ（っく） (@logi9_) September 20, 2021 この顔検出はいわゆる深層学習 (ディープラーニング) を用いたもので、私の知る限りでは現在VRChat上で動作するものの中ではトップクラスの実用性・精度・速度を備えた機械学習アプリケーションではないかと思います。 本稿
ソシオネクストは2020年3月17日、ディープラーニング（深層学習）推論処理向けの「量子化DNN（ディープニューラルネットワーク）エンジン」を搭載したAI（人工知能）チップを試作し、動作と性能を確認したと発表した。 今回開発した量子化DNNエンジンには、低消費電力で高性能の深層学習に必要な低ビット化技術と、パラメーター圧縮技術を組み合わせた「量子化DNN技術」を使ったアーキテクチャが組み込まれている。また、効率的にデータを供給するオンチップメモリ回路技術により、メモリの使用量を大幅に削減できる。 作製したテストチップは、「YOLO v3」による物体検出において、検出速度が30fps、消費電力が5W以下と、汎用GPUと比べて10倍以上の電力効率を達成した。チップには「Arm Cortex-A53」クアッドコアCPUを搭載しているので、AI処理が1チップで済む。 また、TensorFlowをベ
require "dnn" require "dnn/datasets/mnist" # require "numo/linalg/autoloader" # numo-linalgを入れると高速化できます。 # 名前空間のインクルード include DNN::Models include DNN::Layers include DNN::Optimizers include DNN::Losses # MNISTデータの読み込み x_train, y_train = DNN::MNIST.load_train x_test, y_test = DNN::MNIST.load_test # MNISTデータを[画像枚数, 28 * 28]の形状に変形する x_train = x_train.reshape(x_train.shape[0], 784) x_test = x_test.re
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
第8回 分類問題をディープラーニング（基本のDNN）で解こう
第7回 回帰問題をディープラーニング（基本のDNN）で解こう
「DNN-HMM」から「End-to-End」へ LINEが取り組む音声認識のしくみ
LeapMindのエッジ向けDNNアクセラレータを読み解く - COOL Chips 23
《日経Robotics》コニカミノルタと東大が深層学習向けコンパイラ、DNNモデルをFPGAに素早く実装
《日経Robotics》注意機構をLSTMで置き換え最高精度、立教大らが意表を突く画像認識DNN
電力効率が汎用GPUの10倍以上、量子化DNNエンジン搭載のAIチップを開発
ruby-dnnでディープラーニング - Qiita
日立ソリューションズ・テクノロジー、説明可能なAIを実現する「XAIツール」の対象DNNモデルを拡充
www.sakaikay.blog
japan-anime-song.com
japan-anime-song.com
gigazine.net
japan-anime-song.com
46taishokusita.hatenablog.com