超巨大高性能モデルGPT-3の到達点とその限界. この記事では、超巨大言語モデルGPT-3の技術的な解説、GPT-3達成したことと… | by akira | Jul, 2020 | Medium
この記事についてこの記事ではGPT-3[1]の解説をします。内容のサマリは以下の通りです。 GPT-3の前身であるGPT-2では、巨大なデータセット＋巨大なネットワークで言語モデルを構築し、各タスクで学習させなくても良い結果が得られた。GPT-3では、さらに巨大なデータセット＋さらに巨大なネットワークで言語モデルを構築し、数十のサンプルを見せると凄く良い結果が得られた一方、様々なタスクに言語モデルのスケールアップのみで対応することへの限界が見えてきた。人種、性別、宗教などへの偏見の問題や、悪用に対する課題もある。この記事の流れは以下の通りです。 Transformer, GPT-2の説明GPT-3のコンセプトと技術的な解説GPT-3ので上手くいくタスクGPT-3で上手くいかないタスク偏見や悪用への見解 Transformerまず、GPT-3の前身となったGPT-2に入る前に、その中に使われ
Raspberry Pi 4 で構築する録画マシン | 空気録学電子版【公式】
🍓 Raspberry Pi 4 が買えるようになりました2019年11月、待望の Raspberry Pi 4 技適取得版が発売されました。H.264 ハードウェアエンコーダを搭載した、リッチなシングルボードコンピュータです。2020年5月28日には 8GB メモリ搭載の上位モデルも登場しています。 はたしてこれは何をするためのデバイスなのでしょうか？ そうです、録画ですね。もうテレビの録画をするために高価なパソコンを購入する必要はありません。5000円台から入手できるマシンを利用して、安価に録画サーバーを構築することができるようになったのです。 この記事では Raspbery Pi 4 を利用した Mirakurun + EPGStation での録画サーバー構築方法と、ハードウェアエンコーダを利用した録画ファイルのエンコードについて解説を行います。 筆者の⾃宅で運⽤している録画サー
「口の形アニメ」とは何か
僕は最近「かわいい女の子がかわいいことをするアニメ」が好きで、よく見るのですが、「かわいいから良い」というのはちょっと抽象的すぎて、もう少し具体的に何が良いかはっきりさせたい、という気持ちがあった。 アニメの一部を切り取った画像を見て、「あっかわいい〜😍」ってなるもの、どんな特徴があるだろうって少し考えてみると、頻出するパターンがあることに気づいてきます。 たとえば「＞＜」でよく表現される「かざり目」だったり、ひだまりスケッチなどに見られる「へちょ絵」といったデフォルメ・マンガ的表現。こういうのが出てくると「あっなんか良い（かわいい）」と感じることが多い。 そして2018年2月、アニメ「六畳間の侵略者！？」のエンディング映像を見てふと思った。「かわいい〜」って思えるシーンは女の子の口の形が特徴的だなって。 ゆりかちゃんふぁいおー！かわいいこのときはそれで終了したが、その後2018年4月、
Google神格化キット. Googleを神格化し、使用者に神の要素を与えるChrome拡張 | by 甲南女子大学文学部メディア表現学科／編集・インターネット研究ゼミ | Medium
1.はじめに「Google神格化キット」は、Google[1]を既存の神に変わる存在とし、普段我々が日常的に行う。インターネット上の行為である「検索」を演出した作品である。 現在コミュニケーションや、商取引などあらゆる役割が集約されたインターネットは、社会に既存の施設やコミュニティなどのあらゆる要素を取り込み、我々の生活になくてはならないものとなっている。欲しい商品についての情報を検索し、購入までの行為を全てインターネット上でいつでもどこでも行える他、日本にいながらリアルタイムで海外情勢知ることができ、友人と情報共有が手軽にできる。今やインターネットは新たなライフラインとも言えるべき存在である。 インターネットに集約されたあらゆる要素の中には宗教も入っている。島田裕巳は『スマホが神になる』で、宗教要素の一因である「コミュニティ形成」や「救済」をインターネットが担いつつある現象について「神に
数字に見るH-1B
どれだけの日本人がH-1Bを申請しているか、気になりません? H-1Bビザを牛耳ってる U.S. Citizenship and Immigration Services (通称USCIS)、肝心なところは教えてくれないものの、わりかし数字を出してます。 たとえば Immigration and Citizenship Data。国籍別のH-1B申請数があるので、先ほどの疑問を解消できます。 うーん、なんか、1位と2桁違いますね。人口比からすると(1.324 billion vs 127 million)、10倍くらいで済みそうなものですが。2位とは32倍、これも人口比と差がある(1.379 billion vs 127 million)。 と、ありがちなMedium記事ならば、ここあたりで日本の将来を憂いながら、いかにして他の国に負けていくか解説するところですが、あいにく、そういうキャラ
56歳からコードを書き始めて食べていく方法
私は56歳、最近プログラミングを始めたんだ。 なぜかって？やりたいからに決まっているじゃないか。ようやく最近コツをつかめてきてね。でもコツをつかめたからといって簡単にはいかない。正直なかなか手こずっている。でもいいんだ。 アルゴリズムに挑戦して我を忘れるのは楽しいし、まだテストしたい事があって「あと数分だけ」と繰り返し自分に言い聞かせるのもいい。「今度こそ上手くいったかも、、」とドキドキしてから「やったぞ！ついに動いた。」となる瞬間も大好きだ。 でもこんな私には今まで趣味と呼べるものが何ひとつなかった。自分に見返りがない事に時間を費やすのは嫌だったんだ。ただ楽しみのためだけに何かをするのが好きじゃなかったのさ。休みの日にやる事といったら、ちょっとした小遣い稼ぎになるような事ばかりだった。 オーケー。もちろんコーディングだって小遣い稼ぎさ。上手くやればかなり稼げる。これだってあなたから見れば
「パナマ文書」解析の技術的側面
世界中で話題になっているパナマ文書。各国で政権を揺るがすような事態にもなっていますが、純粋にデータとしてみた場合、これは計算機やデータ解析に関わる人々にも面白いものだと思います。データの中身や背景などについてはさんざん報道されていますのでここでは触れません。一方、現場でどのような作業が行われているのかはあまり報道されていません。現実的な問題として、人力ではどうしようもない量のリークデータを手に入れた場合、調査報道機関はどんなことを行っているのでしょうか？私も以前から疑問に思っていたのですが、先日あるデータベース企業と、データ分析アプリケーションを作成する会社のブログにて、その実際の一端を窺うことができる投稿がありました: Panama Papers: How Linkurious enables ICIJ to investigate the massive Mossack Fonseca
iOS ヒューマンインターフェースの原則 — Medium
iOS のヒューマンインターフェースを理解するためにはまず UI 設計の原則を定めた聖典 iOS Human Interface Guidelines を読むことから始めなければなりません。ここにはプラットフォームの特徴から情報設計の原則、それぞれ何のための部品なのか、という解説がされています。なぜこうなったのか、なぜこれが良くてあれが駄目なのか、Apple の UI デザイナーは何を考えてこのような設計にしたのか、HIG ではそのようなところまでは説明されていないことがあります。いくら内容を丸暗記したとしても「 なぜ 」がわからなければ本質から理解したとは言えません。 よくある UI デザインにおける誤り、『磨りガラス効果がかっこいい』『アニメーションしておくとかっこいい』『ボタンは右配置の方が押しやすい』『色が綺麗』『流行っているから優れている』…などがありますが、そういうことではない
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
