論文解説 Attention Is All You Need (Transformer) - ディープラーニングブログ
こんにちは Ryobot (りょぼっと) です． 本紙は RNN や CNN を使わず Attention のみ使用したニューラル機械翻訳 Transformer を提案している． わずかな訓練で圧倒的な State-of-the-Art を達成し，華麗にタイトル回収した． また注意を非常にシンプルな数式に一般化したうえで，加法注意・内積注意・ソースターゲット注意・自己注意に分類した．このうち自己注意はかなり汎用的かつ強力な手法であり他のあらゆるニューラルネットに転用できる． WMT'14 の BLEU スコアは英仏: 41.0, 英独: 28.4 で第 1 位 Attention Is All You Need [Łukasz Kaiser et al., arXiv, 2017/06] Transformer: A Novel Neural Network Architecture f
(数式を使わない) Transformer の直感的な説明 / 真面目なプログラマのためのディープラーニング入門
(数式を使わない) Transformer の直感的な説明 RNN の欠点 Transformer はこれをどう解決したか Transformer の動作原理 複数の要素間の関係を考慮する (Self-Attention、自己注意) 要素の順序を考慮する (Positional Encoding、位置エンコーディング) まとめ 概要: ChatGPT などで使われている Transformer モデルは、 ニューラルネットワークの世界にいくつかの革新的なアイデアをもたらした。 本記事では、プログラマに理解しやすい形でそれらのアイデアを解説する。 実際に使われている数学の詳細には触れない。 (技術的解説については元論文 Attention is All You Need か、 その注釈版である The Annotated Transformer を参照のこと。 日本語では この解説 がわかり
人工知能を次のステージに導く5つのディープラーニングのトレンド | AI専門ニュースメディア AINOW
著者のAlberto Romero氏はスペイン在住のAIエンジニアであり、最近は神経科学に強い関心を寄せています（同氏の経歴はLinkedInを参照）。同氏がMediumに投稿した記事『人工知能を次のステージに導く5つのディープラーニングのトレンド』では、現在の人工知能の限界を克服するかも知れない5つの技術的トレンドが解説されています。 以上のような技術的トレンドとして同氏が挙げているものは、以下の通りです。 CNNの弱点の克服：画像認識モデルの基礎的技術であるCNNは、視野角や背景が変わると認識精度が低下したり、人間には識別できないノイズを画像に混入すると誤認したりする。こうした弱点は、ヒントンらが発表したカプセルネットワークで克服できるかも知れない。 自己教師ありディープラーニング：現在のディープラーニングモデルには、大量のラベル付けされた学習データが不可欠である。自己教師あり学習はラ
ディープラーニングモデルの新たな軽量化技術を開発｜プレスリリース｜OKI
国立研究開発法人新エネルギー・産業技術総合開発機構（NEDO）と沖電気工業株式会社（OKI）は、多様な分岐・合流のあるネットワーク構造を含むディープラーニング（深層学習）モデルにおいて、認識性能を維持しつつ、メモリー使用量や消費電力を低減する新たなモデル軽量化技術を開発しました。既存のベンチマークとされる高精度モデルに対し、認識精度の劣化を約1%に抑えつつ、演算量を約80%削減することができました。 この技術により、エッジデバイスなど演算性能や電力消費に制限のある環境への高度な人工知能（AI）の搭載や、サーバー・クラウド環境における高度なAIの小規模・省電力運用などが期待できます。これによって、今後増加が見込まれるIoTアプリケーションへの応用が可能なAI技術の開発が加速され、多様で高度なデータ利活用社会の実現への貢献が見込まれます。 1. 概要 ディープラーニングは、画像や音声などの認識
Tokyo Deep Learning Workshop 2018 (TDLW2018)
No more seats available. We will record the talks and make the videos public after the workshop. The workshop aims at bringing together leading scientists in deep learning and related areas within machine learning, artificial intelligence, mathematics, statistics, and neuroscience. No formal submission is required. Speakers are invited to present their recently published work as well as work in pr
機は熟した！グラフ構造に対するDeep Learning、Graph Convolutionのご紹介 - ABEJA Tech Blog
はじめまして。ABEJAでResearcherをやらせていただいている白川です。 先日、化合物の物性推定をDeep Learningをつかって従来手法より300,000倍高速に処理するという論文がでました（[1], [2]）。この論文の手法は、Graph Convolutionというグラフ上に定義されたConvolution演算がベースとなっています。物性推定に限らず、グラフ解析全般を Deep Learning で上手にこなせるようになれば、Deep Learningのアプリケーションの幅がぐっと拡がり、さらなるイノベーションが起きそうな予感がします。 ICMLやNIPSなどの機械学習系の主要国際会議でも数年前からGraph Convolutionについての論文がちらほら出現しはじめており、とくに最近その勢いが増してきている印象があります。個人的にも最近（前から？）にわかにグラフづいてい
ディープラーニングセミナー
21 Apr 2015 解説&サーベイ ディープラーニングセミナー ディープラーニングについて，基礎となるニューラルネットワークから最近の手法．ツールの使い方についてまとめています． ディープラーニングについて ニューラルネットワーク 畳み込みニューラルネットワーク リカレントニューラルネットワーク 生成モデル（オートエンコーダ） ディープラーニングのツール
ディープラーニングとは | 開発者向けフレームワークまとめ【保存版】 | Ledge.ai
googleが写真から猫を判別できるようになったというニュースから約7年。3度目の正直とばかりにディープラーニングがAI研究の大きなブレイクスルーになりました。 そして今やその技術はOSS化され、たくさんのライブラリやフレームワークが登場したので、いったんこの辺でまとめてみようと思います。 と、そのまえに… ディープラーニングとは？いままでの機械学習と呼ばれるものは、人間が特徴を定義しそれをもとに学習し精度を上げていたので必ず最初に人間が特徴を定義する必要がありました。 しかしディープラーニングは学習データから自動で特徴を抽出し精度を上げることもできます。その場合、人間が用意するのは学習データのみ。学習データが豊富にあれば精度は高くなります。 例えば、猫と犬とライオンの特徴を定義させるにはたいへんな労力が必要でしたが、写真をある程度の枚数用意ができれば、ディープラーニングで特徴を抽出し判断
DeepLearning研究 2016年のまとめ - Qiita
DeepLearning Advent Calendar 2016の17日目の記事です。 はじめに はじめまして。 Liaroという会社でエンジニアをしている@eve_ykと申します。 今年もあと僅かとなりました。 ここらで、今年のDeepLearningの主要な成果を振り返ってみましょう。 この記事は、2016年に発表されたDeepLearning関係の研究を広く浅くまとめたものです。今年のDeepLearningの研究の進歩を俯瞰するのに役立てば幸いです。 それぞれの内容について、その要点や感想なんかを簡単にまとめられたらと思います。 特に重要だと思った研究には★マークをつけておきます。 非常に長くなってしまったため、興味のある分野だけ読んでいただければと思います。 言い訳とお願い 見つけたものはコードへのリンクも示すので、プログラミングに関係ある記事ということで… 分野的にかなり偏っ
初心者がchainerで線画着色してみた。わりとできた。
ﾃﾞｰﾌﾟﾗｰﾆﾝｸﾞはコモディティ化していてハンダ付けの方が付加価値高いといわれるﾋﾟ-FNで主に工作担当のtai2anです。 NHKで全国放送されたAmazon Picking Challengeでガムテべったべたのハンドやロボコン感満載の滑り台とかを工作してました。 とはいえ、やっぱりちょっとディープラーニングしてみたいので1,2か月前からchainerを勉強し始めました。 せっかくなので線画の着色をしたいなーと思って色々試してみました。 線画の着色は教師あり学習なので線画と着色済みの画像のデータセットが(できれば大量に)必要です。 今回はOpenCVでカラーの画像から線画を適当に抽出しています。 抽出例 → カラーの画像を集めて線画を作ればデータセットの完成です。（今回は６０万枚くらい使っています） ネットワークの形ですが、U-netという最初の方でコンボリューションする時の層の出
飯塚里志 — ディープネットワークを用いた大域特徴と局所特徴の学習による白黒写真の自動色付け
概要： 本研究では，ディープネットワークを用いて白黒画像をカラー画像に自動変換する手法を提案する．提案手法では，画像の大域特徴と局所特徴を考慮した新たな畳込みネットワークモデルを用いることで，画像全体の構造を考慮した自然な色付けを行うことができる．提案モデルにおいて，大域特徴は画像全体から抽出され，局所特徴はより小さな画像領域から計算される．これらの特徴は“結合レイヤ”によって一つに統合され，色付けネットワークに入力される．このモデル構造は入力画像のサイズが固定されず，どんなサイズの画像でも入力として用いることができる．また，モデルの学習のために既存の大規模な画像分類のデータセットを利用し，それぞれの画像の色とラベルを同時に学習に用いることで，効果的に大域特徴を学習できるようにしている．提案手法により，100年前の白黒写真など，様々な画像において自然な色付けを実現できる．色付けの結果はユー
Amazonがディープラーニングのライブラリ「DSSTNE」をオープンソースで公開。TensorFlowよりも約2倍高速と主張
Amazon.comはディープラーニングを実現するライブラリ「Amazon DSSTNE」（Deep Scalable Sparse Tensor Network Engineの頭文字、読みはデスティニー）をオープンソースで公開しました。 GitHub - amznlabs/amazon-dsstne: Deep Scalable Sparse Tensor Network Engine (DSSTNE) is an Amazon developed library for building Deep Learning (DL) machine learning (ML) models DSSTNEは本番環境のワークロードに対応したライブラリで、以下の特長があります。 マルチGPUスケール 学習と予測のどちらも、複数のGPUにスケールアウトし、レイヤごとにモデル並列化の方法で（model-
「知識」のDeep Learning
1. The document discusses knowledge representation and deep learning techniques for knowledge graphs, including embedding models like TransE, TransH, and neural network models. 2. It provides an overview of methods for tasks like link prediction, question answering, and language modeling using recurrent neural networks and memory networks. 3. The document references several papers on knowledge gra
深層学習を取り入れたAIが重要技術の普及と実用化のカギ--NRI
印刷する メールで送る テキスト HTML 電子書籍 PDF ダウンロード テキスト 電子書籍 PDF クリップした記事をMyページから読むことができます 「人工知能（AI）」「IoT（Internet of Things）」「ウェアラブルコンピューティング」「カスタマーエクスペリエンス」「APIエコノミー」「FinTech」「リテールTech」「デジタルマーケティング」は、ビジネスや社会に広く普及し、さまざまな影響を及ぼすと考えられる重要技術と考えられている。 野村総合研究所（NRI）は3月17日、これらの8つの重要技術が2020年までにどのように進展し、実用化されるかを予測した「ITロードマップ」をとりまとめた。 この中でもAIは、新たなサービスを生み出す技術として注目されているFinTechやサービスロボットの普及の鍵となる重要な要素技術としても位置付けられている。ディープラーニング
深層学習時代の自然言語処理
2. ⾃自⼰己紹介 海野 裕也 l （株）プリファードインフラストラクチャー l ⾃自然⾔言語処理理、情報検索索、機械学習、テキストマイ ニングなどの研究開発 l 画像解析とかもやります l Jubatusの開発など NLP若若⼿手の会共同委員⻑⾧長（2014-） 2 3. 宣伝：NLP若若⼿手の会（YANS） l YANSシンポジウム（9⽉月） l 若若⼿手研究者（40歳未満くらい）の若若⼿手研究者が、⾃自 ⾝身の研究を進めるための集まり l 学⽣生やエンジニアの参加も歓迎 l 今年年も合宿をやる予定です l スポンサーも募集する予定です l YANS懇（3⽉月） l ⾔言語処理理学会全国⼤大会期間中に懇親会をします l 単なる飲み会です J 3
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
[Lecture collection] Deep Learning: Theory, Algorithms, and Applications 2018 | Center for Advanced Intelligence Project
Deep Learning
GitHub - yohokuno/dl4nlp: Deep learning for natural language processing
言語と知識の深層学習@認知科学会サマースクール
Deep Learningの基礎と応用
