作って理解する Transformer / Attention - Qiita
こんにちは。ミクシィ AI ロボット事業部でしゃべるロボットを作っているインコです。 この記事は ミクシィグループ Advent Calendar 2018 の5日目の記事です。 この記事の目的 この記事では2018年現在 DeepLearning における自然言語処理のデファクトスタンダードとなりつつある Transformer を作ることで、 Attention ベースのネットワークを理解することを目的とします。 機械翻訳などの Transformer, 自然言語理解の BERT やその他多くの現在 SoTA となっている自然言語処理のモデルは Attention ベースのモデルです。 Attention を理解することが今後の自然言語処理 x Deep Learning の必須になってくるのではないでしょうか。 この記事にかかれているコード (Github) 歴史 - RNN から
裏庭にムカゴを植えたら八年後に山芋が掘れた
趣味は食材採取とそれを使った冒険スペクタクル料理。週に一度はなにかを捕まえて食べるようにしている。最近は製麺機を使った麺作りが趣味。（動画インタビュー） 前の記事：バレンタインの手作りチョコ気分でハート形の海苔を作りたい ＞ 個人サイト 私的標本 趣味の製麺 だいぶ前にムカゴを植えた 2012年11月のある日。自宅の近所を散策中、道端で雑草に混ざって金網に絡みついた蔓が目に留まった。ハート形の葉っぱだし、ムカゴがついているし、上に向かって反時計回りの蔓だし、山芋に間違いないだろう。 この蔓をたどって地面を掘れば憧れの山芋とご対面できるのだが、明らかに掘ったら不審者扱いされそうな場所なので断念せざるを得ない。人生で何度目の断念だろうか。 芋が無理ならムカゴだけでもといくつかいただき、上着のポケットに入れて持ち帰った。 ムカゴはわき芽が養分を貯え肥大化したもので、これが種のように芽を伸ばして増
「たべっ子どうぶつ」ビスケット通りの形に動物を描いてみた
みんな大好き「たべっ子どうぶつ」。 動物型のビスケットに英語名が書かれているため、おいしく食べながら動物の姿と英語を覚えられるという一石三鳥なお菓子！ ただ、このビスケットが結構大ざっぱな形をしているため、パッケージに描かれている動物イラストとも、実際の動物とも似ていないような……。 ということで、ビスケットの形からその動物をバッチリ想像できるように、ビスケット通りの形をした動物イラストを描いてみました。 1975年群馬生まれ。ライター＆イラストレーター。 犯罪者からアイドルちゃんまで興味の幅は広範囲。仕事のジャンルも幅が広過ぎて、他人に何の仕事をしている人なのか説明するのが非常に苦痛です。変なスポット、変なおっちゃんなど、どーしてこんなことに……というようなものに関する記事をよく書きます。（動画インタビュー） 前の記事：ボクはこんな機材を使ってデイリーポータルＺの記事を書いています ＞
RSAに対するフェルマー攻撃 - Qiita
はじめに（Introduction） RSAの鍵ペアの生成方法にミスがあり脆弱性となってしまった実装例があったようです。 元の文献を機械翻訳（ちょっと修正）してみます。 原文のデモをやってみたところ、案外動いたので先にデモを記します。 デモ（Demo） まずは、素数$p$と$q$を生成して$N$を求めるところです。 ※：鍵長が2048bitなので多少時間がかかります。 問題となったライブラリがこのようなロジックであったかは不明ですが、翻訳した資料を参考に作成しています。 import random as rnd import sympy key_length = 2048 distance = 10000 p = 0 q = 0 # 乱数Xを生成する。 X = rnd.randrange(2, pow(2, key_length)) for i in range(distance): #
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
