When Joanna Strober was around 47, she stopped sleeping. While losing sleep is a common symptom of perimenopause, she first had to go to multiple providers, including driving 45 minutes out of San Fra The Federal Trade Commission hit Razer with a $1.1 million fine Tuesday. The order claims that the gaming accessory maker misled consumers by claiming that its flashy Zephyr mask was certified as N95
User profile of cl-tohoku (migrated to tohoku-nlp) on Hugging Face
急進化中の自然言語処理分野、「GPT-3」に注目 人工知能(AI)と機械学習(ML)は、これまでコンピュータサイエンスの裏方を担うような技術でしたが、いまでは実装が進み、主流の技術になりました。AIの実装は私たちが買い物をする方法から貨幣市場や医学研究に至るまで、あらゆる分野に及んでいます。 GPT-3(Generative Pretrained Transformer、文章生成言語モデル)は自然言語処理(NLP)において初めて1,000億を超えるパラメータを使用したモデルです。最近では、1兆パラメータのモデル(T5-XXL)が開発されています。これらは、記事を書いたり、文章を分析したり、翻訳をしたり、さらには詩を作ったりするのにも使えます。こうした大規模なモデルは、一つ一つ分離されたモダリティで訓練されてきました。 それと並行して、画像認識や画像生成に使われるモデルも、より多くのデータセ
自然言語処理(NLP)の領域で、ディープラーニング(深層学習)技術の快進撃が続いている。 米グーグルが2017年に「Transformer」を、続いて2018年に「BERT」を考案したことで、それまで芳しい成果が出ていなかった自然言語処理へのディープラーニングの応用に一気に道が開けた。以来、現在に至るまで革新的な成果が次々と出てきている。 大量のデータで事前学習させておけば、わずかなfine-tuning(再学習)で自然言語処理の様々なタスクに適応できるようになったり、米OpenAIのモデル「GPT-3」に至ってはfine-tuningなしでわずかな例示(few-shot)のみで多様なタスクに対応するようになった。OpenAIはこのGPT-3開発の知見を基に「ディープラーニングのscaling law(スケール則)」を提唱。モデルのパラメータ数、学習データ量、計算リソースを増やしていけば、
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く