Weekly Machine Learning #199
Facebookから100言語対応の機械翻訳モデル、GoogleからBERTをしのぐT5の多言語モデルが公開されました。教師なしの表現学習手法が洗練される=>高い精度で意図に沿ったデータを集められる=>表現学習による精度が上がる=>より意図に沿った・・・というループが回り始めて、世はまさに教師なし時代という印象です。これに構造探索(NAS)が加わると、もはや研究者というよりMLOpsのようなエンジニアのテリトリーになってくると思います。Bitter Lessonではないですが、結局のところ計算機と相性のよい手法が複雑な手法を駆逐するのかもしれません。単調に見えることでも試行錯誤・継続の物量が最終的にものをいうというのは人間の成長にも通じるところがあるかもです。 枝刈りがバイアスを強めているという研究は衝撃です。まだCeleb-Aでしか実験していないので、他のデータセットでの検証が気になりま
Weekly Machine Learning #197
arXivで論文と共に実装コードを投稿できるようになりました。Paper With Codeとのコラボレーションとなります。実験の再現性が問題となる中で、一つ多きなステップだと思います(とはいえ、コードだけあっても計算資源の問題で再現が無理ということも結構ありますが。。。)。Sudachiの辞書/事前学習済み単語ベクトルがAmazonのOpen Dataとして公開されました。特殊な分割単位ゆえに健全にメンテナンスされているにもかかわらず使いにくいところがありましたが、こうした取り組みでシステムにも組み込みやすくなっていると思います。 ICLR 2021のOpen Reviewがスタートしました。観測範囲ではやはりAttentionをいじる系が多いです(中には眉唾なものもありますが)。画像パッチxTransformerの論文は衝撃的です。position-embeddingはまだ改善の余地が
Weekly Machine Learning #184
NLP若手の会の日程が決定しました。発表申し込みはちょうど夏休み期間中だと思うので、皆様の投稿をお待ちしております。今年はオンライン開催なので、遠方の方も参加しやすいと思います。PyTorchの本は、無料で手に入れることができます(500ページ以上)。医療画像解析推しなのは著者の趣味なのかトレンドなのか・・・個人的にはテキストをもうちょい扱ってほしかったです(自然言語処理エンジニアなので)。 物体検出のEncoder/Decoder概念を変える論文は興味深いです。構造探索の力で、これまでの前提を覆した形です。表現学習界隈にインパクトがあるかもしれません。オープンドメインのQAは面白い研究です(BERTの推論がたくさんあるので実行時間が心配なところですが)。最近教師なし/自己教師による情報/知識抽出の研究をよく見るので、これらを利用したQAモデルは今後も出てくると思います。そのうち教師ありや
Weekly Machine Learning #178 | Revue
All change is not growth, as all movement is not forward. Ellen Glasgow Facebookが満を持して画像研究を総括する記事を公開しました。最初からファッションへの展開を狙っていて研究を積んでいたらすごいですね。EMNLPで自然言語処理につかえるOSSを特集するWorkshopが行われます。自作したツールをOSSで公開している方は多いと思うので、論文の提出にチャレンジするのはよいと思います。今回はリモート開催なので現地に行かなくても発表・交流ができるはずです。Hugging Faceらが新型コロナでインターンがなくなってしまった学生向けにワークショップを行います(多分ハッカソン的な内容)。興味がある方はぜひ参加してみてください。 画像で事前学習モデルを効率的に転移する方法を調べた研究はかなり細かいテクニックが書かれていま
Weekly Machine Learning #177 | Revue
日本語Universal Dependencyデータに固有表現のアノテーションを行ったデータが公開されました。これまでは有料か有料データにアノテーションしたものしかなかったため、日本語言語資源拡充の大きな一歩です。Windows WSLでNVIDIA CUDAが使えるようになりました。Windowsには2つのOSが標準搭載されるようになったといっても過言ではないと思います。Hugging Faceがデータ取得/モデル評価を行ってくれるライブラリnlpを公開しました。固有表現のモデル評価にはうちが開発したライブラリ(seqeval)が使われていますし、実装の参考として他の開発ライブラリ(sumeval)も取り上げられています！ 病理診断に役立つ画像検索システムの開発は読みごたえがあります。手法はもちろんですが、業務をしっかり追いかけた製品開発記録としても読みごたえがあります。データのPois
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Weekly Machine Learning #223
Weekly Machine Learning #212
Weekly Machine Learning #200
Weekly Machine Learning #195
Weekly Machine Learning #194
Weekly Machine Learning #193
Weekly Machine Learning #192
Weekly Machine Learning #191
Weekly Machine Learning #182
Weekly Machine Learning #180
Weekly Machine Learning #176 | Revue
Weekly Machine Learning #173
Weekly Machine Learning #171
Weekly Machine Learning #170
Weekly Machine Learning #169