AIは人を笑わせられるのか？ ボケの自動生成を競う、お笑いAIバトルの舞台裏
AIはボケで人を笑わせられるのか？ 針原佳貴氏（以下、針原）：みなさま、お待たせいたしました。アマゾン ウェブ サービス ジャパン、ソリューションアーキテクトの針原です。「電笑戦 ～AIは人を笑わせられるのか？ 挑戦を支える技術とAWS～」というセッションを始めてまいりたいと思います。 本技術セッションでは、「電笑戦」の概要説明のあと、電笑戦のサンプルモデルを構築していただいた電通デジタル・石川さんより技術解説をしていただき、その後、電笑戦参加企業の3社から、これまでのモデル開発と本戦に向けた意気込みを語っていただきます。 まず初めに、みなさんご存知でしょうか。『ボケて』は、株式会社オモロキが運営している国内最大級のお笑いメディアです。1枚の画像に対して一言ボケを投稿して、笑いをとります。 例えば、この画像を見てボケられるでしょうか。 「いなり寿司」。こちらが実際に『ボケて』に投稿されてい
How I Taught A Machine To Take My Job
A simple landscape created entirely by an ML algorithm, taught by me.In my last medium post, I discussed how we could use convolutional neural networks for gesture recognition in VR. I concluded that while it was really cool, drawing objects was sometimes more tedious that having a simple menu. So that got me thinking… What if I used neural networks to anticipate what objects I wanted to place? Th
RNNで「てにをは」を校正する - にほんごのれんしゅう
RNNで「てにをは」を校正する 余談 2017/3/19に、どの深層学習フレームワークがこれから深層学習を始める人におすすめなのかというアンケートをtwitterで取らせていただきました。 五位 Theano(個別カウント) はじめに RNNによる文章校正がリクルートによって提案されて以来、調査タスクとして私のものとに来たりして、「できるんでしょう？」とか軽く言われるけど、実際には簡単にはできません。 RNNによる文章生成ができるから、校正もできるというのが人間の自然な発想なのかもしれませんが、英語と日本語の違いに着目した場合、英語がアルファベットのみで構築されるのに比べて日本語は、漢字・ひらがな・カタカナと非常に多く、同じように問題を適応すると、すごい高次元の問題を解くこととなり、理想的なパフォーマンスになかなかなりません。 まぁ、あんまり完成してるわけでない技術を完成したようにプレスリ
教師なしRNNによる連続した不完全情報（主にテキスト）の補完 - にほんごのれんしゅう
教師なしRNNによる連続した不完全情報（主にテキスト）の補完 背景 Google（や、過去の私のブログの投稿）などで低解像度の映像を高解像度化する方法は、GANを使うことでわりとうまくいきました。 テキストにも同じような問題が適応できるのかって思うことがあります。RNNはすでに記述されている文字をヒントとして次の文字を予想することができます。 その特性を利用して、情報が失われたテキストから復元を試みる例を示します。 (また、戦時中の戦艦に乗っていた搭乗員の劣化した手記から情報を復元したいという思いがあります。手記の海水に沈み腐敗が進んでいたり、筆記が乱れていて解析が困難であったりという点を補完できれば良いと思います。彼らの思い、可能な限り現代に蘇らせたいと思います。) 先行研究 今回は見当たらない（ほんとに存在しないんだったら、論文出したい） 手法 RNNで欠落した連続する情報を周辺の単語
CNNを利用した自然言語処理技術まとめ（2017年1月） - 終末 A.I.
年末に Language Modeling with Gated Convolutional Networks が一部界隈でバズったこともあり、CNNを用いた自然言語処理が注目を集め始めています。今年の後半あたりには、派生手法や関連手法が多く登場していくのではないかと思われます。 CNNはRNNに比べて並列処理に優れているため、処理速度が圧倒的に速いという利点がありますが、時系列データの処理に特化したRNNと比べると、特に言語モデルにおいては最終性能がやや劣っているという理解が一般的でした（テキストクラシフィケーションではタスクによってはCNNのほうが性能がいいものもありました）。 Gated Convolutional Networks では、Gated Linear Unit および Residual 層を利用し学習を効率化することにより、WikiText-103 のタスクで stat
深層リカレントニューラルネットワークを用いた日本語述語項構造解析
既存の日本語述語項構造解析では，形態素解析や構文解析を行い，それらの情報に基づいて各述語の項を予測していた．しかし，パイプライン処理に起因する誤り伝搬や，人手による素性設計コストの上昇などが問題点となっている．本研究では，深層リカレントニューラルネットワークを利用し，単語などの表層情報のみを用いて述語項構造解析を行う手法を提案する. また，複数の述語を同時に考慮して述語構造解析の精度を向上させるために，述語ごとのモデルをグリッド上に連結した深層リカレントグリッドモデルを提案する．NAIST テキストコーパスを用いた実験の結果，これまでに報告されている最先端の日本語述語項構造解析器の精度を上回ることを確認した．Read less
大トロ ・ Machine Learning
This post is not meant to be a comprehensive overview of recurrent neural networks. It is intended for readers without any machine learning background. The goal is to show artists and designers how to use a pre-trained neural network to produce interactive digital works using simple Javascript and p5.js library. Introduction Handwriting Generation with Javascript Machine learning has become a popu
TensorFlow の RNN チュートリアルやってみた - Qiita
自分用のメモ／学習を兼ねて、TensorFlow の RNN のチュートリアルを一行ずつみながらやってみる。 LSTM とはなんぞや、とか、そもそもの TensorFlow の使い方とかは、チュートリアル中にあるので割愛。 チュートリアルで用いているコードの内容の解説だけをおこなう。 コードのインデントが2で気持ち悪いとか、この関数 deprecated なんだけど💢といった苦情は Google 社へお願い致します。 対象としているチュートリアルは、 Language and Sequemce Processing の下にある、Recurrent Neural Networks というページ。 データ準備 まずはチュートリアル中で使用するデータ／コードのDLから。 コード TensorFlow 本体にはチュートリアルのコードが一部しか含まれていないため、別途DLが必要。 TensorFl
ちょっと変わったニューラルネットワーク Reservoir Computing - Qiita
あまり有名ではありませんが変わった性質のニューラルネットワークとして Reservoir Computing があります。 Recurrent Neural Network のひとつですが、中間層の重みを固定してしまって、出力層の部分だけ学習するというアルゴリズムです。 Recurrent Neural Network とは まずは Recurrent Neural Network (RNN) について簡単に触れておきましょう。 時系列学習 時系列データを扱う方法は多種多様ですが、ニューラルネットワークにおいてはRNNを使います。 時系列情報をネットワーク内で表現するために途中にループがある構造のネットワークを指し、少し前だと Elaman Network とか Jordan Network とかが有名でした。 最近はディープラーニングの文脈で度々登場する Long-Short Term
医薬品設計とニューラルネットワーク - Qiita
Nextremer Advent Calendar 2016の14日目の記事です。 医薬品設計含めケモインフォマティクスの分野でニューラルネットワークがどのように活用されているのか興味があり調べてみました。 簡単に医薬品設計について説明してから、これとニューラルネットワークの最近の動向について記述します。また最後に今回興味を持つきっかけとなった、Variational Auto Encoderを元にして新しい化学構造を生成する生成モデルベースのアプローチについても紹介したいと思います。 自分は有機化学を少しかじった程度なので、誤り等あったらご指摘お願いします。 医薬品設計とは 新しい薬を発見することが目標な創薬とは異なり、医薬品設計では特定の化学反応を理解してそのタスクに特化した分子を作り上げることを目標とします1 2。 例えばある蛋白質がある病気において重要な役割を果たすとわかった時、こ
LSTMを超える期待の新星、QRNN - Qiita
RNN「これってもしかして」 CNN「わたしたちのモデルが・・・」 「「入れ替わってる～～～！？」」 というわけでQRNN、QUASI-RECURRENT NEURAL NETWORKSとは、RNNの機構をCNNで「疑似的(QUASI)に」実装するというモデルです。これにより、既存のRNN(というかLSTM)が抱えていたいくつかの問題の解決を試みています。 元論文は以下となります。 QUASI-RECURRENT NEURAL NETWORKS 作者によるブログ 作者の方のブログにChainerのサンプルコードがあったので、それを元にTensorFlowで実装してみました。早く動かしたい！という方はこちらを見てみてください。 icoxfog417/tensorflow_qrnn (Starを頂ければ励みになります m(_ _)m) 本記事では、この研究のモチベーションとそのアプローチについ
メモリを操作するRNNでソートアルゴリズム（可変長＆順序フラグあり）を機械学習できたよっ！ - Qiita
微分可能な神経機械？ Google DeepMindがNatureに投稿した論文「Hybrid computing using a neural network with dynamic external memory」が、なんだかヤバそうな香りがします。 公式の紹介記事「Differentiable neural computers」では、プラトンの記憶論から話が始まりますし、論文では脳の記憶を司る海馬に喩えていたりして、なかなか格調高いです。単なるニューラルネットワークの性能改善に留まらず、哲学や神経科学の観点からも理想の人工知能に一歩近づくことができたよ、これは新しいコンピュータの在り方の発明なのではないか、という気概が感じられます。 仕組みとしては流行りのAttentionという概念が入っていて、メモリを表す行列と、それを選択的に操作しながらベクトルを入出力するコントローラがありま
RNNLMベースの形態素解析器 JUMAN++ をhomebrewでインストールできるようにした - once upon a time,
京大の黒橋・河原研から最近出たJUMAN++をmacOSのhomebrewでinstallできるようにしました。 JUMAN++はRNNLMというディープラーニングベースの言語モデルを使っています。 こちらの記事を読んで知ったという方も多いのではないでしょうか。 qiita.com インストール方法は、現段階では後述する理由のためhomebrew-coreにはまだ入っていないので、tapを使ってください。 [2016/10/23追記] やっと本家homebrewに入ったので、tapは要らなくなりました。 [/追記] $ brew install jumanpp github github.com JUMAN++のサイト凄い JUMAN++のサイトには解析を試せるWebアプリケーションがあるのですが、それがなかなか面白いです。 このリンクに対して、 http://tulip.kuee.kyo
A Neural Network for Machine Translation, at Production Scale
Posted by Quoc V. Le & Mike Schuster, Research Scientists, Google Brain Team Ten years ago, we announced the launch of Google Translate, together with the use of Phrase-Based Machine Translation as the key algorithm behind this service. Since then, rapid advances in machine intelligence have improved our speech recognition and image recognition capabilities, but improving machine translation remai
リカレントニューラルネットワークの理不尽な効力（翻訳） - Qiita
Andrej Karpathy 氏のブログ記事 http://karpathy.github.io/2015/05/21/rnn-effectiveness/ の翻訳です。 翻訳の誤りなどあればご指摘お待ちしております。 リカレントニューラルネットワークには何か魔法のようなところがあります。画像説明（Image Captioning）のために初めてリカレントニューラルネットワークの訓練をした時のことを、私はまだ覚えています。わずか数十分間の訓練で、最初のベイビーモデル（適当に選んだハイパーパラメータを持つ）は、意味を成すのかどうかという画像について、すばらしい説明を生み出し始めました。モデルの単純さの割に結果の品質は、時に、それまでの予想を打ち砕きますが、これがその時でした。当時この結果がとても衝撃的だったのは、一般的に RNN は訓練することが難しいと思われていたためでした（より多くの経
新たなRNNと自然言語処理 - こんな夢を見た
先月のとある勉強会で使ったスライドを今更ながら貼ります。 そこそこの「seq2seqやAttentionほどは脚光を浴びていない、RNNの基礎部分の改良や知見」を載せることを趣旨にしています。 口頭のみでの説明も多かったり、読み込みが浅かったり、量重視だったりして、スライドの各説明は特に詳しくないです。まだまだ十分に検証されていないことや納得しきれない（論文著者の）言明も多々ありますので、読む際は、ふわふわと話半分に小耳に挟むくらいがちょうどいっか〜と思って読んでください。 新たなRNNと自然言語処理 from hytae 需要と質はさておき英語版もあります。 Recent Progress in RNN and NLP from hytae
DeepIntent: Learning Attentions for Online Advertising with Recurrent Neural Networks (KDD 2016) 読んだ - 糞糞糞ネット弁慶
DeepIntent: Learning Attentions for Online Advertising with Recurrent Neural Networks 入力された検索クエリに対して最も適切な文言の広告を出すタスク． 検索クエリおよび広告を単語の系列データとして， RNN などにもとづく neural network に通して適当な空間に写像し，その空間上でのクエリ/広告の内積を計算し，その値がクリックされたペアであれば大きくなるようにする． モデル 個の単語 から検索クエリ が構成されており，総単語数は であるとする．この時各単語を one-hot-encoding するとクエリは の行列になる． 各単語 を 次元に word embedding し， とする．これにより，行列は となる． 続いて，各単語の埋め込み について bidirectional RNN (BRN
Deep API Learning
Developers often wonder how to implement a certain functionality (e.g., how to parse XML files) using APIs. Obtaining an API usage sequence based on an API-related natural language query is very helpful in this regard. Given a query, existing approaches utilize information retrieval models to search for matching API sequences. These approaches treat queries and APIs as bag-of-words (i.e., keyword
あなたは3秒後に車線変更します。ほーらね！
｢ほら、言った通り車線変更したー！ やっぱりねー、やると思ってた！ ｣ 自動運転、それを実現するために車のシステムは周辺環境を確認します。道路の状態はどうか、人や障害物はないか、常にチェックしています。さて、自動運転は自動運転でも、自律運転となれば、チェックするのは周辺環境ではなく、ドライバーの動き。そこから、どう運転すべきかを学ぶのです。 コーネル大学の研究チームが開発しているのは、ドライバーの動きを追うカメラシステム。カメラがドライバーをとらえることで、次に何をしようとしているのかを、そのアクションを起こす数秒前に予測するトレーニングを行なっています。このシステム、まずはドライバーの手助け、補助をするところからのスタートですが、将来的には数々のデータを元に自律運転するシステムになればと期待されています。 開発しされたシステムRecurrent Neural Networkはいくつもの情
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
