【文系でもわかる】ChatGPTのキモ「Transformer」「Attention」のしくみ
第1回は、さまざまなタスクをこなす万能型ジェネレーティブAIツール「ChatGPT」の性能の鍵を握る「トークン長（GPTが文脈を意識できる過去の単語数）」やGPTの歴史的経緯について解説しました。第2回はGPTを支える自然言語処理 の分野で使用される深層学習モデル「Transformer」とその根幹となる「Attention機構（そのタスクにおいてどの単語の重要度が高く、注目すべきか決める仕組み）」についてです。TransformerとAttention機構の仕組みを定性的に把握し、それを踏まえてGPTの能力と可能性について考察したいと思います。テクノロジー領域に明るくない人でもわかる記事を目指します。
天才プログラマー登氏に聞く、日本が「海外に負けないICT技術」を生み出す方法
諸外国に後れを取る日本のICT産業。その発展を担うICT人材不足も深刻だ。企業や行政は、どのようにして優秀なICT人材を育成すべきだろうか。「天才プログラマー」との呼び声もあるソフトウェアおよび通信ネットワーク研究者であり、「シン・テレワークシステム」の開発者でもある登 大遊氏に話を聞いた。 ソフトウェアおよび通信ネットワーク研究者。SoftEther VPNを開発・製品化・オープンソース化し、全世界に500万ユーザーを有する。外国政府の検閲用ファイアウォールを貫通するシステムの研究で、筑波大学で博士（工学）を取得。2017年より独立行政法人情報処理推進機構（IPA）サイバー技術研究室を運営。2020年にNTT東日本に入社して特殊局を立ち上げ、シン・テレワークシステムを開発。ソフトイーサを17年間経営中。筑波大学産学連携准教授 テレワーク難民を救った「シン・テレワークシステム」 新型コロナ
良品計画 金井政明 会長が「家畜化する現代人」に警鐘、人間にとって何が大切か
先進国でありながら国民の幸福度が低いとされる日本。国連が2018年3月14日に発表した「世界幸福度ランキング」では156カ国54位と、51位だった前年よりもさらに順位を落としている。良品計画代表取締役会長兼執行役員の金井政明氏は、現代人が「家畜化」していると指摘。デジタル化以前に、「人間にとって何が大切か」を考えるべきだと語った 人間が「自己を家畜化」してしまう未来 多くの企業がデジタル変革に取り組み、AI、IoT、RPA、ブロックチェーン等の技術を活用し始める中、新たな課題も見えてきている。 金井氏は東洋経済新報社主催『デジタル×CxO』で行われた講演の冒頭、「（デジタル）ツールを使ってどんな社会をつくっていくか、積極的に考えることが仕事だと思っています」と述べた。昨今、デジタル技術を業務の効率化や生産性向上に役立てる企業が増えてきているが、「今日の売り上げの規模や店舗の数にはあまり意味
シスコ、インテル、Cerevo、Jawbone、Leap Motionトップが語るウェアラブル・IoT戦略
トップバッターとして口火を切ったのは、シスコシステムズの平井康文氏だ。同氏はIoTの観点から世界の変化について言及した。「IoTは、単なるツールやシステムではなく、それらを活用することで、ビジネスのイノベーションを実現するものだ。ユーザーのQoL/QoW（Quality of Life/Work）を向上できることが重要だ。地球上の経済がデジタル化する中で、我々の価値観は“モノ”から“コト”へとシフトしている」と述べた。 そのような中でシスコは、従来のセンサ技術やM2Mなどの基盤上で人・プロセス・ビジネスのデータがつながる「IoE」（Internet of Everything）というコンセプトを提唱している。 「まだ地球上の1％しかインターネットにつながっていない。残りの99％以上のモノが連携することで、まったく新しいビジネスや価値が生まれるだろう。その観点から我々はIoEという表現をして
ビジネスブログ・SNSへの関心は高まりつつも普及は道半ば
ホットトピックス インスタは批判の嵐、YouTubeは強化、TikTokは鈍化。大混戦「短編動画」市場のゆくえ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
