GPTの仕組みと限界についての考察（１） - conceptualization
GPT4が登場してChatGPTが盛り上がってますね。 本記事は、GPT（を支えるTransformerという仕組み）をChatGPTユーザにとって分かりやすく説明し、その能力と限界についての見通しをよくしよう、という趣旨になります。 少し長くなりそうなので、全部で記事を3回に分けようと思います。 （１）大まかな背景と概要：本記事 （２）GPTの能力と可能性：実際の使用例とTransformerの仕組みを踏まえて説明 （３）GPTの限界と未来展望：Transformerの仕組みが持つ限界と研究の進展を予想 GPT3と4の違い： トークン長とは何か？ まずここから話を始めます。GPT-3は、パラメータ数が750億個（850GBの容量を食う）でトークン長が4097(GPT-3.5)でした。GPT-4は、パラメータ数は非公開でトークン長は32768ですので、ちょうど8倍になります。 さて、トーク
◆ ＡＩが考えるには？ .1: Open ブログ
パーセプトロンという概念が現れたのは、1958年だった。 心理学者・計算機科学者のフランク・ローゼンブラットが1957年に考案し、1958年に論文を発表した。 パーセプトロンは1943年に発表された形式ニューロンに基づく。 ローゼンブラットはこの形式ニューロンの考え方を基にしてパーセプトロンを開発した。S層（感覚層、入力層）、A層（連合層、中間層）、R層（反応層、出力層）の3つの部分からなる。S層とA層の間はランダムに接続されている。S層には外部から信号が与えられる。A層はS層からの情報を元に反応する。R層はA層の答えに重みづけをして、多数決を行い、答えを出す。 （ → パーセプトロン - Wikipedia ） このあと、「小脳はパーセプトロンである」という仮説に基づいて、伊藤正男が生理学的に大きな成果を出した。 1970年頃、デビッド・マーとジェームズ・アルブスによって小脳はパーセプト
DALL·E: Creating images from text
We’ve trained a neural network called DALL·E that creates images from text captions for a wide range of concepts expressible in natural language. DALL·E is a 12-billion parameter version of GPT-3 trained to generate images from text descriptions, using a dataset of text–image pairs. We’ve found that it has a diverse set of capabilities, including creating anthropomorphized versions of animals and
トランザクションとは｜「分かりそう」で「分からない」でも「分かった」気になれるIT用語辞典
簡単に書くよ トランザクション（英：transaction）とは 「商品を渡して、代金を受け取る」のように「ここからここまでワンセット」な処理単位のこと です。 サクっと一言で説明すると 「ここからここまでワンセット」な処理単位 が「トランザクション」です。 データベースの話で、よく出てきます。 例えば、そうですね。 ピヨ太君がピヨピヨカンパニーに出社するとしましょう。 ピヨ太君はピヨピヨカンパニービルに到着すると １．私服からスーツに着替える ２．タイムカードを押す ３．コーヒーを飲みながらケーキを食べる の3つの行動をします。 この3つの行動が、ピヨ太君が出社した状態になるためにやる作業です。 いわば、ピヨ太君の「出社作業」です。 出社作業が終わったら、ピヨ太君はピヨ太ママに「ピヨ太です。出社しました」と連絡を入れます。 これでピヨ太君は出社した状態になります。 繰り返しになりますが、
日本の警察は、今年3月から防犯カメラやSNSの画像を顔認証システムで照合していた
全国の警察で3月から民間の防犯カメラやSNSの画像を顔認証システムで照合していた...... （写真とは関連がありません） REUTERS/Thomas Peter ＜全国の警察で3月から民間の防犯カメラやSNSの画像を顔認証システムで照合していたことを共同通信が報じた......＞ 前々回の記事「日本の警察は世界でも類を見ない巨大な顔認証監視網を持つことになるのか？」では、顔認証システムの拡充が進んでいることと、警視庁がリアルタイムで民間の監視カメラを一元管理し、顔認証システムで識別するシステムを持っていることをご紹介し、今後さらに拡充されていく可能性を指摘した。 それを裏付けるように9月12日に共同通信が全国の警察で3月から民間の防犯カメラやSNSの画像を顔認証システムで照合していたことを報じた（47NEWS、2020年9月13日）。日本の先を行くアメリカで顔認証システムの利用の見直
メール整理を考え直したサービス「Hey」が一般公開開始
もうずいぶん前のことになりますが、Gmailが登場したときの衝撃はいまでも忘れられません。 それまでは手元のメールアプリでしかメールを開くことができず、複数の端末での同期はもちろん、手元にダウンロードしていないメールの検索も面倒でした。 Gmailは当時としては膨大だった1GBの容量をオンラインで提供することによってこの問題をいっきょに解決したわけですが、当時ネットユーザーたちが招待コードを互いに送り合い、利用がしだいに広まっていったのを記憶しています。 そうした熱狂に似たものが、最近またメールの分野で起こっています。クラウド上のグループウェアの草分け的存在の “Basecamp” を開発した人々の手によって、新しいコンセプトのメールサービス “Hey” （ヘイ）がリリースされたことがおおきな話題になっているのです。 このサービスの課金モデルをめぐってAppleと一悶着あったせいもあり、“
Seamless
Seamless（シームレス）は、2014年からComputer Scienceの先端研究を論文単位で記事にして紹介しているWebメディアです。山下が個人で運営し、執筆を行っています。現在は主に寄稿（ITmedia NEWSなど）と、Seamless Journal（シームレス・ジャーナル、下記参照）に専念しています。記事更新は寄稿も含め、こちら（Twitter、Threads、Facebook、Hatena、NewsPicks）から受け取れます。またメールで記事更新を受け取りたい方は、こちらからメールアドレス（無料）を登録できます。（配信停止はこちら） 連絡先：yamashita(at)seamless.jp Seamless Journal（シームレス・ジャーナル) Seamlessを月額940円でご支援していただいた方に週１回メール配信しているWebジャーナルです。内容は、気になる最
IT・テクノロジー系のメディア14選！未来を旅する人ヘ
今やスマートフォンやWebサービスを使わない旅行を想像することも難しいですが（だからこそ圏外だけで旅行したいという気持ちにもなります）、あと5年もすれば次の常識が生まれていることでしょう。 そこで今回は、これからの未来を考える参考になるIT・テクノロジー系のWebメディアをご紹介します。 WIRED 『WIRED』はテクノロジーによって、生活や社会、カルチャーまでを包括したわたしたち自身の「未来がどうなるのか」についてのメディアです。最新のテクノロジーニュースから、気になる人物インタヴューや先端科学の最前線など「未来のトレンド」を毎日発信。 1993年に刊行された雑誌�WIREDが運営するWebメディアです。他のテック系メディアよりもカルチャーよりです。 » WIRED.jp MITテクノロジーレビュー MIT Technology Reviewは革新的なデジタル指向のブランドとして存在感
Spotifyがフリーミアムモデル界の最強モデルである理由｜決算が読めるようになるノート
新着記事を（無料で）LINEへお届けします。以下のリンクからLINEで友達登録してください。 https://line.me/R/ti/p/%40pap3801g ---------------------------- 最近はアメリカで、大型の株式上場が相次いでいます。つい先日はDropboxを取り上げましたが、今日は音楽ストリーミング界最大手のSpotifyを取り上げたいと思います。 今回、Spotifyがニューヨーク証券取引所に上場申請を行った際の申請書が公開されました。 Spotify Technology S.A. FORM F-1 REGISTRATION STATEMENT 今回のSpotifyの株式上場は、通常の株式上場とは若干異なり、新規に株式を発行せず、既存の株式を証券取引所に上場するという形をとっています。これをDirect Listing(ダイレクト・リスティング、
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
「飛行機がなぜ飛ぶか」分からないって本当？
高品質な音声変換ソフトウェア | Seiren Voice
アップルとグーグル、新型コロナ「濃厚接触通知アプリ」APIを正式提供
Netflix | パートナーヘルプセンター