自然言語処理でBERTまでの流れを簡単に紹介 - moriyamaのエンジニアリング備忘録
はじめまして@vimmodeです。普段はMNTSQというリーガルテックの会社で自然言語処理をしています。今回はBERTとBERTまでの流れを簡単に紹介します。 自然言語処理で今やデファクトスタンダードとなりつつであるBERT。登場当時はモデルの複雑さに伴う計算環境や計算リソースの確保が難しく気軽に動かせなかったが、ColabやKaggleカーネル環境が整備されたきたおかげで誰でも気軽に使えるようになりました。 また、haggingface社が公開したBERTと関連モデルのラッパーライブラリであるtransformersによりわずか10行程度でBERTモデルを記述できます。 一方、自然言語処理を始めて間もない段階でいきなりBERTを突きつけられても理解の壁が高いと思いますので、今回は数式やコードを使わずにBERTに至るまでの流れを簡単に紹介したいと思います。 ※これらはあくまで私の理解であり
「韓国が嫌いな日本人」を世界はどう見ているのか（週刊現代） @gendai_biz
いろいろな事情が相まって、日本人の「嫌韓ムード」がかつてなく高まっている。むろん、日本なりの言い分はある。だが、それがどこまで他国の人々に理解されているのかといえば、はなはだ怪しいのだ。 「韓国に親しみない」が7割 年の瀬が迫った'19年12月24日、実に1年3ヵ月ぶりとなる日韓首脳会談を前に、ヤフーニュースで配信された「きょう『日中韓』『日韓』首脳会談」（TBSニュース）という記事は、「嫌韓」コメントであっという間に埋め尽くされた。 〈今更隔たりを埋める必要などない。もっと距離を拡げて断韓する方向で良い〉 〈嘘つきと話してもな……〉 韓国関連の記事に辛辣なコメントばかりが書き連ねられ、それを読んだ人々からたくさんの「いいね！」がつく。最近は見慣れた光景だ。 こうした「韓国が嫌い」という日本人の感情は、内閣府が年末に公表した「外交に関する世論調査」の結果にも如実に現れている。 韓国に「親し
「ウィニー事件」弁護人の話に思う、平成日本の敗因
先週末、政策研究大学院大学で開催された知的財産マネジメント研究会（Smips）で、ウィニー裁判で金子勇氏を弁護した壇俊光氏の話を聞いた。 昨年の投稿、「平成の敗北」と重なるウィニー開発者金子勇氏の悲劇（以下、「金子氏の悲劇」）では金子氏とのやりとりを以下のように紹介した。 2012年4月、幕張メッセで金子氏の講演を聴いた私は、質問の冒頭で、「金子さんは日本人に生まれて不幸だったかもしれない。なぜなら欧米版ウィニーを開発した北欧の技術者は、金子さんのように後ろ向きの裁判に7年半も空費させられることなく、その後、無料インターネット電話のスカイプを開発して、億万長者になったからである」と述べた。 その時は、まだ若いので、これから十分取り戻せると思っていたが、1年後に42歳の若さで急逝した。 億万長者になった欧米の同じ技術の開発者 北欧の技術者はスウェーデン人のニクラス・センストロム氏とデンマーク
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
