【文系でもわかる】ChatGPTのキモ「Transformer」「Attention」のしくみ
第1回は、さまざまなタスクをこなす万能型ジェネレーティブAIツール「ChatGPT」の性能の鍵を握る「トークン長（GPTが文脈を意識できる過去の単語数）」やGPTの歴史的経緯について解説しました。第2回はGPTを支える自然言語処理 の分野で使用される深層学習モデル「Transformer」とその根幹となる「Attention機構（そのタスクにおいてどの単語の重要度が高く、注目すべきか決める仕組み）」についてです。TransformerとAttention機構の仕組みを定性的に把握し、それを踏まえてGPTの能力と可能性について考察したいと思います。テクノロジー領域に明るくない人でもわかる記事を目指します。
オードリー・タン氏が日本人のために「デジタルとITはまったく別物」と語る理由
コロナ禍で国の役割が増し、ワクチン接種をはじめとするさまざまな施策を進める中で、世界中から注目が集めたのが台湾のシステムでした。それを主導したのが、台湾のデジタル担当大臣であるオードリー・タン氏です。そのタン氏は日本人のために「デジタルとITは別物」と説明したといいます。なぜ、タン氏はこの2つを分けて語ったのでしょうか？ 『まだ誰も見たことのない「未来」の話をしよう』より一部抜粋して紹介します。 オードリー・タン 台湾のデジタル担当政務委員（閣僚）、現役プログラマー。1981年4月18日台湾台北市生まれ。15歳で中学校を中退し、スタートアップ企業を設立。19歳の時にはシリコンバレーでソフトウエア会社を起業。2005年、トランスジェンダーであることを公表（現在は「無性別」）。アップルやBenQなどのコンサルタントに就任したのち、2016年10月より、蔡英文政権でデジタル担当の政務委員（無任所
「みんな、インプットが好きですね」元アップル日本法人代表が“勉強をしない”理由
ソニー、ベイン・アンド・カンパニー、ウォルト・ディズニー、AOLなどを経て、アップル米国本社副社長 兼 日本法人代表取締役に就任。独自のマーケティング手法で「iPod mini」を大ヒットに導き、スティーブ・ジョブズ氏に託された日本市場でアップルを復活させた。リアルディアを設立し、セルフ・イノベーション事業を展開している。最新アプリ「DEARWONDER」は、創造的知性を磨く革新的なラーニング・プラットフォーム。近著に『学び続ける知性 ワンダーラーニングでいこう』（日経BP）。 ──前刀さんにとって、学びで大切なのはどのようなことですか？ 前刀氏：学びは自分が成長するための手段です。僕は成長意欲がとても貪欲で、自分のいる環境を必ずリセットするようにしています。ソニーから始まって、ディズニー、AOL（アメリカオンライン）、ベイン・アンド・カンパニーなど、いろいろな会社で仕事をしてきました。自
イノベーションの9割は「過去からの学び」、それを得るたった2つの方法
読書こそ付加価値のある人間を作り上げる 従来の日本的経営システムの人事管理には3つの柱があった。それは「年功序列賃金」「終身雇用」「新卒一括採用」だ。高度経済成長が終わり、日本企業の拡大・拡張が望めなくなると、この3本柱を崩すしかなくなる。旧来の3本柱に基づいたサラリーマン社会は、身分を重視する江戸時代の武士の評価システムとよく似ていた。学歴や入社年次、新卒か中途採用かでサラリー（武士なら石高）が決まり、それは生涯に渡って宿痾（しゅくあ）のようについて回る。 同じようなプロフィールを持つ人は、本人の能力に関わりなく、同じようなサラリーマン人生を歩む。たとえば、東京大学から新卒で入ったら、数年後には係長になり、やがて課長になり、トントン拍子に出世して最低でも同期でもっとも早く部長になれる。私立大学出身で中途採用だとしたら、たとえ仕事ができても親会社では課長以上になれず、せいぜい子会社の総務部
「経営者目線で考えろ」と言われたら……「現場の目標→企業の目標」の流れを図解
ビジネスモデルやビジネスワードをクリエイティブの力でわかりやすく伝える「図解シリーズ」で人気の近藤哲朗氏が、現場視点から経営視点へとつながる「経営者の視点に立って考えるためのツリー」を作成しました。自分がいま追っている「売上高」や「顧客単価」といったミクロな指標が、「ROE」や「PBR」といった会社に対するよりマクロな指標とどのようにつながっているのか、ひとつひとつ図を交えながら説明します。 「経営者目線で考えろ」とは？ 「もっと経営者目線で考えろ」みたいなこと、上司や社長から言われたことありますか？もしくは、部下に言ったことありますか？僕も過去に似たようなことを言われた事があるうちの１人ですが、これだけ言われるといまいちピンと来ない。どうしたら経営者の視点になって考えられるのか、ということにもやもやがありました。 そもそも、企業に勤めている限り、日々の自分の仕事は、社員であっても、経営者
石垣島で仕事するパワナ代表 十河 学氏に聞いた、多様なスキルの身に付け方
沖縄・石垣島の「合同会社パワナ（Pawana LLC、以下パワナ）」は、アプリやWeb制作、映像制作やドローンの開発・販売など幅広い事業を手がけている。パワナ代表の十河 学さんは、パワナの事業だけでなく石垣市が実施する「クリエイティブで島を盛り上げる」というプロジェクト「石垣島Creatibe Flag」にも参加。さまざまな角度から石垣島の魅力を伝えている。もともとはフリーランスのシステム開発者として働いていた十河さんが、石垣島での仕事やスキルの身に付け方、今後の展望などについて聞いた。 石垣島でWeb制作・ドローン開発事業などを展開するパワナ ――起業に至るまでの経緯を教えてください。 十河氏：学生時代は広島県の呉高専で電気工学を学んでいました。当時から旅行が好きだったので、将来は場所と時間に制約されずに仕事したいと思い、フリーランスのエンジニアの道を選んだんです。フリーランス時代はソフ
無料版も登場した「LINE@（ラインアット）」の活用方法 公式アカウントや従来プランとの違いは？
LINEについては今さら説明するまでもないが、個人向けコミュニケーション機能を中心に提供しているスマホアプリだ。LINEユーザー同士での無料通話、トークと呼ばれるチャット、タイムラインと呼ばれる友達が投稿した情報の共有といったことができる。さらに最近ではプラットフォーム化し、ゲームなどのアプリも提供している。 中でも特徴的なのがトークだ。1対1のやりとりはもちろん、複数メンバーによるグループでメッセージのやりとりがリアルタイムででき、世界でのユーザー数は、4月1日時点で4億人を突破、日本国内でも5,000万人を超え、さらに毎日アクセスするユーザー（DAU：Daily Active User）は約60％にのぼる現在一番勢いのあるコミュニケーションツールである。 LINEは個人向けサービスを中心にユーザ数を拡大してきたが、今は多くの個人ユーザーを抱えるプラットフォームへと変化を遂げ、それらをベ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
