2021年で面白かったTransformer関連論文 - moriyamaのエンジニアリング備忘録
この記事はみらい翻訳アドベントカレンダー14日目の記事です。 2021年も終わりを迎える中、個人的には転職してからちょうど1年経ちました。 機械翻訳の研究開発に携わることもあり、自然言語処理や深層学習全般を中心にいろいろな論文を読んだ一年でした。 年末にありがちな今年の論文BEST10のようなランキングを作ってみようと考えたが、選定とランキング基準がなかなか定まらず、それだけで数日かかりそうだったので、Transformer関連論文に絞ってまとめてみようと思います。 今年も昨年に続きTransformer is all you needの色が一層強くなったと感じます。Transformer自体は自然言語処理を題材に提案されたモデルですが、最近は画像領域や音声領域でも高い性能を発揮しています。 強く注目されているモデルということもあり、構造の細部にフォーカスした多くの研究がありましたので、そ
MNTSQからみらい翻訳に転職しました - moriyamaのエンジニアリング備忘録
2020年11月末でMNTSQ株式会社を退職し、2020年12月より株式会社みらい翻訳に入社しました。 MNTSQは自然言語処理技術を主力とした法務領域向けプロダクトを展開するスタートアップです。みらい翻訳は機械翻訳プロダクトを提供している会社で、どちらも自然言語処理技術をコアとしたプロダクトを作っている会社です。 MNTSQでは、法務というドメインの固有の課題に取り組む面白さを感じていたところだったのですが、みらい翻訳での機械翻訳という自分が最も固有の価値を発揮できそうなドメインに出会い、転職を決意しました。 AI（機械学習）という季節が常に冬か春しかない業界にいて、自分がキャリアについて考える際に、よく尊敬する人たちの入社/退職エントリを参考にしました。 自分の話が誰かの役に立つことは少ないと思うものの、一例として残してみようと思います。 自分について 私のMNTSQ入社までの話は、過
flairを使って最速でNLPのベースラインモデルを作る - moriyamaのエンジニアリング備忘録
自然言語処理に限らず、機械学習関連のプロジェクトではスタート時は、なるべく複雑なコーディングをせずにシンプルなベースラインモデルを低コストで作成し、そこからデータの傾向やタスクの複雑さを把握することが重要です。 ところが自然言語処理では前処理のコストが高く、最低限でも単語分割、ベクトル化、深層学習を用いる場合は事前学習された埋め込みベクトルを準備する必要があります。その後は他のタスクと同様にモデルの保存方法や、予測のパイプラインで悩みポイントを抱えることが多いと思います。 最近はAutoMLを始めとした機械学習の自動化が進歩し、初手から高性能なモデルをブラウザ上で数クリックで作成できますが、中身がブラックボックスである故に前述のデータの傾向やタスクの複雑さを把握することを目的とした場合には適切とは言えない側面があります。 本記事では自然言語処理を対象にモデルの中身が参照可能でかつ少ないコー
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
