論文解説 Attention Is All You Need (Transformer) - ディープラーニングブログ
こんにちは Ryobot (りょぼっと) です． 本紙は RNN や CNN を使わず Attention のみ使用したニューラル機械翻訳 Transformer を提案している． わずかな訓練で圧倒的な State-of-the-Art を達成し，華麗にタイトル回収した． また注意を非常にシンプルな数式に一般化したうえで，加法注意・内積注意・ソースターゲット注意・自己注意に分類した．このうち自己注意はかなり汎用的かつ強力な手法であり他のあらゆるニューラルネットに転用できる． WMT'14 の BLEU スコアは英仏: 41.0, 英独: 28.4 で第 1 位 Attention Is All You Need [Łukasz Kaiser et al., arXiv, 2017/06] Transformer: A Novel Neural Network Architecture f
会話という錯覚について｜shi3z
あちらの記事は万人向けに書いているので、行間読まないとわからないようなことは省略してあるのだが、本欄の読者には補足として蛇足になるかもしれないが会話について研究していて思ったことを記しておく。 人工無能と僕記事中にあるように僕がチャットボット・・・当時は人工無能と呼ばれていたが・・・を開発し始めたのは中学生の頃だ。1990年頃だと思う。 きっかけは、中学校にNECのパソコンが導入されて、友達に自分のプログラムを見せる機会を得たからだ。 家で一人でプログラミングしているときはどうも気分が乗らなかったのだが、友達を面白がらせるという動機は子供の頃の僕にとっては非常に強く働いた。 一度、家で人工無能のプログラミングをしたときは、相手が自分しかいないのでわりとすぐ飽きてしまったが、中学になってその熱が再燃した。 きっかけは月刊ASCIIに、AWKの特集が載ったことで、AWKというのは要はUNIX用
「Googleスプレッドシート」、AIでグラフ作成が簡単に--自然言語を理解
スプレッドシートに詳しい人なら、「=AVERAGE(Sheet1!C2:C933)」のようなコマンドもごく簡単に書けるだろう。そうでない人にとって、表計算アプリ「Googleスプレッドシート」に人工知能（AI）が組み込まれるということは、「What are the average sales for Sunday?（日曜日の平均売上高は？）」と聞くだけで済むようになる、ということだ。 Googleが米国時間6月1日に発表したAIに関するアップデートは、平易な言い回しによるコマンドを理解できるようにしようとする取り組みにおいて、Googleスプレッドシートが出した最高の成果だ。さらに例を挙げれば、「What is the distribution of products sold?（販売された製品の分布は？）」「Histogram of 2017 customer ratings（2017年
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
