あの論文を検証してみた！ - シリーズ第６回 - Structual Probe 論文 - ブレインズコンサルティング・テックブログ
こんにちは！ブレインズコンサルティングの大下です。 今回は、「あの論文を検証してみた！」のシリーズ第６回、A Structural Probe for Finding Syntax in Word Representationsを検証していきます。 BERT、ELMo で埋め込んだ空間表現の中に、パースツリー情報が埋め込まれているらしいことを示した論文です。 本当に埋め込まれていると言ってよいのか、具体的にどのようにして構造を復元しているのかが疑問になるところです。 検証環境 まずは、動作確認に使った検証環境を明記しておきます。 Ubuntu 18.04.1 LTS (Bionic Beaver) CPU: Intel(R) Core(TM) i7-6700K CPU @ 4.00GHz / 4 cores / 8 processors Memory: 48GiB HDD: 約190GiB
あの論文を検証してみた！ - シリーズ第１回 - BERT 論文（解説編） - ブレインズコンサルティング・テックブログ
はじめまして、ブレインズコンサルティングの大下です。 ブレインズコンサルティングでは、過去Blogger で、技術的な情報を公開していましたが、長らく更新が途絶えていたこともあり、 そちらを廃止し、こちらで、新たなテックブログとして開始することになりました。 記念すべき初回記事は、「あの論文を検証してみた！」のシリーズ第１回、今（2018年11月）、話題沸騰中（？）の 論文 [1810.04805] BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding の解説です！ なにやら、複数の自然言語処理タスクでSOTAをたたき出して、すごいらしいということは、各種記事により、すぐわかったのですが、具体的にどういう仕組みですごいことができているのか、よくわからなかったので、「論文とGitHub
あの論文を検証してみた！ - シリーズ第２回 - BERT 論文（実験編） - ブレインズコンサルティング・テックブログ
こんにちは！ブレインズコンサルティングの大下です。 今回は、「あの論文を検証してみた！」のシリーズ第２回、BERTの可視化実験を紹介します。 BERTの枠組みで学習したTransformer (Self-Attention) が、入力系列のどこを注目しているのか、を可視化し、解釈を試みます。 先月ぐらいに、政府が考えるAIの7原則が記事になっていました。 その中に、「企業に決定過程の説明責任」というものがあり、一部で話題になっていたと記憶しています（批判が多かった印象）。 日本の戦略を考えると、量で質をカバーする方法では、もはや米国、中国には叶わないということもありそうなので、 仮に少量でも、日本らしい？質（==説明責任による安心・安全）を担保して差異化を図りたい、という流れになるのかもしれません。 ということで、説明責任に繋がるといいなぁという願いを込めて、BERTのアテンションの可視化
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
