Weekly Machine Learning #131

News: XLNetのコストは、なかなかに考えさせられる話です。多くの学習時間を要するモデルは一部の企業にしか作れず、他はそれを事前学習済みモデルとして使うしかない、という状態になるのではと感じます。この場合、ResourceのWhere We See Shapes~にもありますが、事前学習済みモデル内にバイアスがあった場合にあっという間に広まってしまう気がします。今週の日本語固有表現は、GSDのライセンス交渉、NC条項のないPUDでのモデル構築、双方に進展がありました。 Articles: 失われた言語の解読を試みたNeural Decipherment~は、動機だけでなく手法面も興味深いです。根は同じだけれども分化した言語体系(高校生語など?)の推定にも使えるのではないかという気がします。Benchmarking Model-Based~は、近年注目を集めているモデルベースの手法を統

[misshiki]

“BERTを超えたと話題になったXLNetのコストについての話。...128TPUを2.5days=$61,440ほどになるとの試算(660万ほど)。”

[Nyoho]

“XLNetのコスト” “128TPUを2.5days=$61,440ほどになるとの試算(660万ほど)。一発で上手くいったはずはないと思うので実態はさらに上と思われる”