事前学習言語モデルの動向 / Survey of Pretrained Language ModelsPAKDD2023 Tutorial 2: A Gentle Introduction to Technologies Behind Language Models and Recent Achievement in ChatGPT (Parts 3 and 4)
逆翻訳は機械翻訳の錬金術師か？ - ディープラーニングブログ
逆翻訳 (Back-Translation) を用いた手法が驚くべき快挙を成し遂げました*1． 逆翻訳がヤバいスコアを叩き出しててびっくりした．おそらくAttention以降では最大の性能uphttps://t.co/ssaQw2s22f 深層学習はえげつない手法が突然ポッとでてくるからおもろい pic.twitter.com/RwyrjCn8Rx— Ryobot | りょぼっと (@_Ryobot) 2018年11月15日 毎年開催される機械翻訳の国際会議 WMT18 のシェアードタスク*2にて人手評価の1位を獲得し，機械翻訳のベンチマークでは以前の最高スコアが 29.8 なのに対しこの手法は 35.0 を達成しています． 下図は機械翻訳のベンチマークにおける手法の比較です*3． 昨年登場した翻訳モデル Transformer *4も大きく評価スコアを上げましたが，逆翻訳はそれ以上の上が
AllenNLP — Allen Institute for AI
About AllenNLPThe AllenNLP team envisions language-centered AI that equitably serves humanity. We work to improve NLP systems' performance and accountability, and advance scientific methodologies for evaluating and understanding those systems. We deliver high-impact research of our own and masterfully-engineered open-source tools to accelerate NLP research around the world. AI2 TangoA Python libra
ディープラーニングを用いた自然言語処理の今と、ビジネス面でのネガティブな事実
2018年4月20日、Deep Learning Labが主催するイベント「音声・言語ナイト」が開催されました。Chainerを提供するPreferred Networksと、Azureクラウドを提供するMicrosoftによる、エンジニアコミュニティDeep Learning Lab。今回は、自然言語処理や合成音声など、音声・言語×深層学習（ディープラーニング）の最新事例や知見を発表しました。プレゼンテーション「深層学習時代の自然言語処理ビジネス」に登場したのは、株式会社Preferred Networksの海野裕也氏。ディープラーニングによる自然言語処理技術の最前線と、ビジネスへの転用可能性について語りました。 自然言語処理の活かし方 海野裕也氏（以下、海野）：では、お話を始めさせていただきたいと思います。Preferred Networksの海野と申します。 今日は「自然言語処理の話
教師なし学習は機械翻訳に魔法をかけるか？ - ディープラーニングブログ
つい先週，機械翻訳で驚くべき進展がありました． 教師なし機械翻訳がヤバい進化を遂げててびっくりした．たった半年でBLEUスコアを15から25に改善したのブレイクスルーでは？https://t.co/SVQlYYu2Pt 教師なし学習でこのクオリティの機械翻訳できるのまじで感動するし，ちょっと語っていい？ pic.twitter.com/fBllGtTkgb— Ryobot | りょぼっと (@_Ryobot) 2018年4月23日 要約すると教師なし学習でもひと昔前の教師あり学習の機械翻訳に匹敵する性能を獲得できたというのです．この記事では機械翻訳を知らない初心者にもわかるように魔法のような教師なし機械翻訳の仕組みを説明したいと思います． 教師あり学習の限界 機械翻訳はディープラーニングを適用することで急激に進歩した分野の１つだと思います．Google 翻訳はニューラル機械翻訳を導入するこ
IEICE PRMU
電子情報通信学会総合大会 2017 企画セッション 「もっと知りたい！ Deep Learning ～基礎から活用まで～」 （パターン認識・メディア理解研究専門委員会） 概要 Deep Learningは自然言語処理や音声認識，画像認識等，パターン認識・理解分野を中心に，急速にその利活用が進み，益々注目を集めている．本セッションでは，多分野においてDeep Learningの応用をされている著名な研究者にご登壇頂き，Deep Learningとその多彩な応用事例を，実践の上で重要なノウハウや成功，失敗談などを交えて紹介して頂く予定である．また，応用先によっての適用方法の違いや共通点，今後のDeep Learningの発展可能性などについて議論する．以上により，Deep Learningのより深い理解を促し，Deepに研究に活用できるような情報を提供したい． Information 日時 2
自然言語処理における、Attentionの耐えられない短さ - Qiita
「あなたって、私の言葉の最後の方しか聞いてないのね」 実は人間だけでなくニューラルネットワークもそうだった、という結果を示しているのがこちらの論文です。 Frustratingly Short Attention Spans in Neural Language Modeling 言い訳としては「だって君の次の言葉を予測するだけならそれで十分だから」ということになるんですが、そう言うと角が立つのは人間関係においても研究においても同様のようです。 本編は、上記の論文の紹介と共に他の関連論文も交えながら、実際の所本当に最後の方しか必要ないのか、そうであればなぜそんなことになるのか、という所について見て行ければと思います。 なお、参照した論文は以下のGitHubで管理しています。日々更新されているため、研究動向が気になる方は是非Star&Watchをして頂ければと！。 arXivTimes At
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
