Facebookから100言語対応の機械翻訳モデル、GoogleからBERTをしのぐT5の多言語モデルが公開されました。教師なしの表現学習手法が洗練される=>高い精度で意図に沿ったデータを集められる=>表現学習による精度が上がる=>より意図に沿った・・・というループが回り始めて、世はまさに教師なし時代という印象です。これに構造探索(NAS)が加わると、もはや研究者というよりMLOpsのようなエンジニアのテリトリーになってくると思います。Bitter Lessonではないですが、結局のところ計算機と相性のよい手法が複雑な手法を駆逐するのかもしれません。単調に見えることでも試行錯誤・継続の物量が最終的にものをいうというのは人間の成長にも通じるところがあるかもです。 枝刈りがバイアスを強めているという研究は衝撃です。まだCeleb-Aでしか実験していないので、他のデータセットでの検証が気になりま