It takes a lot of energy for machines to learn – here’s why AI is so power-hungry
This month, Google forced out a prominent AI ethics researcher after she voiced frustration with the company for making her withdraw a research paper. The paper pointed out the risks of language-processing artificial intelligence, the type used in Google Search and other text analysis products. Among the risks is the large carbon footprint of developing this kind of AI technology. By some estimate
深層学習による自然言語処理入門: word2vecからBERT, GPT-3まで
第1回Webインテリジェンスとインタラクションセミナー（いまさら訊けないシリーズ「言語処理技術」）での発表資料です。 https://www.sigwi2.org/next-sigRead less
Understanding searches better than ever before
If there’s one thing I’ve learned over the 15 years working on Google Search, it’s that people’s curiosity is endless. We see billions of searches every day, and 15 percent of those queries are ones we haven’t seen before--so we’ve built ways to return results for queries we can’t anticipate. When people like you or I come to Search, we aren’t always quite sure about the best way to formulate a qu
2019年はBERTとTransformerの年だった | AI専門ニュースメディア AINOW
著者のManu Suryavansh氏は機械学習エンジニアとしてキャリアを積んだ後、2020年1月からAppleでデータサイエンティストとして勤めています。同氏がMediumに投稿した記事『2019年はBERTとTransformerの年だった』では、近年の自然言語処理の動向がBERTを中心軸としてまとめられています。 TransformerとBERTが発表される以前の自然言語処理モデルでは、時系列データを処理するRNNとその発展形であるLSTMが使われてきました。このLSTMには、構造が複雑になってしまうという欠点がありました。こうしたなか、2017年6月に発表された論文「Attentionこそ必要なすべてのもの」で論じられた言語モデルTransformerとAttentionと呼ばれる手法は、LSTMのような複雑な構造を使わずに高性能を実現したのでその後の言語モデル開発に大きな影響を与
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GitHub - mczhuge/Kaleido-BERT: 💐Kaleido-BERT: Vision-Language Pre-training on Fashion Domain. (CVPR2021)
AI21 Labs Asks: How Much Does It Cost to Train NLP Models? | Synced
Google AI Introduces 'FLAN': An Instruction-Tuned Generalizable Language (NLP) Model To Perform Zero-Shot Tasks
DeepPavlov: an open source conversational AI framework
Knowledge Graph & NLP Tutorial-(BERT,spaCy,NLTK)
Building a Multi-label Text Classifier using BERT and TensorFlow
Open Sourcing BERT: State-of-the-Art Pre-training for Natural Language Processin