BERTによる自然言語処理
従来、 自然言語処理 における Deep Learning アルゴリズムと言えば、 LSTM や GRU といった RNN (Recurrent Neural Network) でした。ところが、2017年6月、 "Attention Is All You Need" という強いタイトルの論文が Google から発表され、機械翻訳のスコアを既存の RNN モデル等から大きく引き上げます。論文”Transformer: A Novel Neural Network Architecture for Language Understanding”において、RNN や CNN を使わず Attention のみ使用したニューラル機械翻訳 Transformer が提案された。 BERT（Bidirectional Encoder Representations from Transformer
A Commit History of BERT and its Forks
I recently came across an interesting thread on Twitter discussing a hypothetical scenario where research papers are published on GitHub and subsequent papers are diffs over the original paper. Information overload has been a real problem in ML with so many new papers coming every month. If you could represent a paper as a code diff, many papers could be compressed down to <50 lines :) The diff wo
Balthazar – Text processing in the shell
Table of Contents cat head tail wc grep cut paste sort uniq awk tr fold sed Real-life examples Going further: for loops and xargs Summary Going further Text processing in the shell One of the things that makes the shell an invaluable tool is the amount of available text processing commands, and the ability to easily pipe them into each other to build complex text processing workflows. These comman
#WearAFuckingMask
A movement to get people to #WearAFuckingMask and reduce the spread of SARS-CoV-2. Safe for work version Updates: Masks are hard to find in many countries. I added information on how to make your own Fucking mask and links to the research that shows they work. The Fucking Rules I will #StayTheFuckHome If I can not #StayTheFuckHome, I will #WearAFuckingMask. I will not make fun of other people who
斉藤一人さん いい人が一発逆転できる仕事に関する魔法のルール - コンクラーベ
成功を手に入れた時こそ、次の成功もすぐに行ってくる。 こうやって、いいことが連続して、どんどん起こるのです。 成功には「知恵」がつきものお客さんへの伝え方に愛とユーモアをこめる 楽しいことを誰よりも早くやる「うさぎは必ず寝る」という法則 一発屋はすぐに消える黄金のワンパターンを作ること 「加速の法則」という連続性を知る「ちょっと休もうかな」と思った時が危ない 自分の当たり前を褒めるとやる気がぐんぐん湧いてくる 追伸 直感は降りてくるものではない!? 成功には「知恵」がつきもの お客さんへの伝え方に愛とユーモアをこめる 仕事を成功させようと思ったら、「お金」ではなくて、「知恵」を出さなくてはいけません。 この「知恵」にも、ちょっぴり「ひねり」が必要です。 愛とユーモアを込めた「知恵」を使うことです。 「いい人」は、真面目な人が多いものです。 真面目で一生懸命やっていれば、仕事が成功するかとい
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
