※ このエントリは Maya Python Advent Calendar 2017 - Qiita の 3 日目です。 ※ エントリ中に挙がってるコードの改善版は こちら Maya-Python といえば reload ですね。 reload といえば from import ですね。 つらいのでなんとかします。 前置き そもそもなんで reload するのか? なんで from import したいのか? from import すると何が困るのか? 状況の把握 状況のまとめ 解決策 とりえあず __init__.py を exec してみる。 from import されているモジュールとシンボルを特定する テキスト解析 抽象構文木 逆アセンブル 名前空間内にあるシンボルを書き換える 解決策のまとめ 全体のまとめ 前置き Maya-Python あるいは Python をよく知らない
全体図 画像中の「K」と「V」が逆になっております。申し訳ございません。 AttentionのMaskingの実装について Attentionのマスクの実装について悩んだので、Harvard NLPでのMaskの実装についてまとめておきます。 Transformerでは下の図のように3箇所のMulti-Head Attention(の中のScaled Dot-Product Attention)の中でMaskingが登場します。 EncoderでのSelf-Attention DecoderでのSelf-Attention DecoderでのSourceTarget-Attention Harvard NLPの実装では、1と3で使用するsrc_maskと2で使用するtgt_maskの2種類のマスクが用意されています。以下それぞれの説明です。 src_mask src_maskはEncode
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く