【文系でもわかる】ChatGPTのキモ「Transformer」「Attention」のしくみ
第1回は、さまざまなタスクをこなす万能型ジェネレーティブAIツール「ChatGPT」の性能の鍵を握る「トークン長（GPTが文脈を意識できる過去の単語数）」やGPTの歴史的経緯について解説しました。第2回はGPTを支える自然言語処理 の分野で使用される深層学習モデル「Transformer」とその根幹となる「Attention機構（そのタスクにおいてどの単語の重要度が高く、注目すべきか決める仕組み）」についてです。TransformerとAttention機構の仕組みを定性的に把握し、それを踏まえてGPTの能力と可能性について考察したいと思います。テクノロジー領域に明るくない人でもわかる記事を目指します。
「ディープラーニングフレームワーク」とは？ 知識ゼロでもAIがつくれる？
「ディープラーニングフレームワーク」とは ディープラーニングの核になるのは「ニューラルネットワーク」と「機械学習」です。ただ、ニューラルネットワークにも色々な種類がありますし、機械学習の方法もさまざまです。 そこで、よく使われるニューラルネットワークの構成や機械学習の手法を1つにまとめたライブラリなどと一緒に開発支援ツールとして提供しているものが「ディープラーニング向けのフレームワーク」です。 フレームワークは、例えるなら「お惣菜」や「レトルト食品」を多数取り揃えるスーパーマーケットです。あらかじめ調理された食材や料理を組み合わせて夕食を作れば夕食作りの手間が大きく省けるように、フレームワークを使えば、あらかじめ用意されたコードを使って簡単にディープラーニングを使ったプログラムが作れてしまうというわけです。 料理もプログラミングも、最初から全部自分でやるのは効率が悪いです。プログラミングに
天才プログラマー登氏に聞く、日本が「海外に負けないICT技術」を生み出す方法
諸外国に後れを取る日本のICT産業。その発展を担うICT人材不足も深刻だ。企業や行政は、どのようにして優秀なICT人材を育成すべきだろうか。「天才プログラマー」との呼び声もあるソフトウェアおよび通信ネットワーク研究者であり、「シン・テレワークシステム」の開発者でもある登 大遊氏に話を聞いた。 ソフトウェアおよび通信ネットワーク研究者。SoftEther VPNを開発・製品化・オープンソース化し、全世界に500万ユーザーを有する。外国政府の検閲用ファイアウォールを貫通するシステムの研究で、筑波大学で博士（工学）を取得。2017年より独立行政法人情報処理推進機構（IPA）サイバー技術研究室を運営。2020年にNTT東日本に入社して特殊局を立ち上げ、シン・テレワークシステムを開発。ソフトイーサを17年間経営中。筑波大学産学連携准教授 テレワーク難民を救った「シン・テレワークシステム」 新型コロナ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
10分で理解する「AWS」まとめ、全体像や主なサービスがわかる入門書
