超巨大高性能モデルGPT-3の到達点とその限界. この記事では、超巨大言語モデルGPT-3の技術的な解説、GPT-3達成したことと… | by akira | Jul, 2020 | Medium
この記事についてこの記事ではGPT-3[1]の解説をします。内容のサマリは以下の通りです。 GPT-3の前身であるGPT-2では、巨大なデータセット＋巨大なネットワークで言語モデルを構築し、各タスクで学習させなくても良い結果が得られた。GPT-3では、さらに巨大なデータセット＋さらに巨大なネットワークで言語モデルを構築し、数十のサンプルを見せると凄く良い結果が得られた一方、様々なタスクに言語モデルのスケールアップのみで対応することへの限界が見えてきた。人種、性別、宗教などへの偏見の問題や、悪用に対する課題もある。この記事の流れは以下の通りです。 Transformer, GPT-2の説明GPT-3のコンセプトと技術的な解説GPT-3ので上手くいくタスクGPT-3で上手くいかないタスク偏見や悪用への見解 Transformerまず、GPT-3の前身となったGPT-2に入る前に、その中に使われ
Day-107 Pythonの高速画像処理ライブラリLyconが速い - CC56
何ヶ月か前にTwitterのタイムラインに流れてきたのですが、それっきり話題を聞かないので検証してみることにしました。 ちなみに、個人的に普段使って慣れているのは、癖が少なくて扱いやすい scikit-image です。 (OpenCVはBGRがデフォルトなので基本的に避けたいですし、PILは癖が強めなのであまり好きではないです) 高速の画像処理ライブラリを使うモチベは、もちろん Kaggle です。 特に画像の読み込みが速いと、時間短縮に直結するので個人的に嬉しいです。 Lyconとは C++で書かれたPython用の軽量画像処理ライブラリらしいです。 PyPI にあるので pip install ですぐに使えます。(一応依存関係も気にしなきゃいけないかも) github.com 性能の割にスターが控えめな気がする。 試しに使ってみる 多少の実戦を仮定して、Kaggle の Notebo
LINE株式会社を辞めたら１８０度変わったので９つ猛省してみた。｜谷口マサト｜note
5GとVRをやりたくて、昨年の11月よりLINEからKDDIグループのmedibaに転職して5G関連のコンテンツに関わらせて頂いている。とはいえ4月から体調を崩し（コロナじゃないよ）ついには7月からしばらく休職しておりほぼベッドで寝込んでいて、大好きだった空手にもいけない。なぜこうなったのか。 関係者の皆さまには大変なご迷惑おかけしており申し訳ありません。 ※両社の批判をする記事ではなく、自分を批判するための記事です。みなさんにはとても良くしていただいています。 転職初期というば社内への印象付けの大切とき。そんなときにいきなり倒れているのだから私もショックだけど経営陣の方がもっとショックだろう。 恥ずかしいのは昔会社書いて退社ブログ。 昔知り合いから、「ライブドアにいるって聞いて心配したけど、LINEになったと聞いて安心した。」と言われて驚いたことがある。会社は変わったけど、私自身は１ミリ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
