【文系でもわかる】ChatGPTのキモ「Transformer」「Attention」のしくみ
第1回は、さまざまなタスクをこなす万能型ジェネレーティブAIツール「ChatGPT」の性能の鍵を握る「トークン長（GPTが文脈を意識できる過去の単語数）」やGPTの歴史的経緯について解説しました。第2回はGPTを支える自然言語処理 の分野で使用される深層学習モデル「Transformer」とその根幹となる「Attention機構（そのタスクにおいてどの単語の重要度が高く、注目すべきか決める仕組み）」についてです。TransformerとAttention機構の仕組みを定性的に把握し、それを踏まえてGPTの能力と可能性について考察したいと思います。テクノロジー領域に明るくない人でもわかる記事を目指します。
6歳のとき、友達のマホちゃんが誰も履いていないようなフリフリのスカート..
6歳のとき、友達のマホちゃんが誰も履いていないようなフリフリのスカートを履いていた。みんなは可愛いねと言ったけど私は変だと思ったから、変だねと言った。マホちゃんは怒って泣いた。 8歳のとき、父親が知らない女の人といるのを見た。私はそれを浮気だと思ったから、晩御飯のとき二人にそれを伝えたら、数カ月後、両親は離婚した。母親は一言私に、アンタのせいよとだけ言って、それ以来父親の話をしなくなった。 14歳のとき、マホちゃんが好きだと言っていた先輩に告白された。マホちゃんがあなたの事好きらしいので、と断った。それを伝えたら、マホちゃんは怒って泣いた。 16歳のとき、初めてのバイト先で品出しをしていたらパートの人からバックヤードに呼び出された。私の品出しの仕方が間違っていると話し始めた。私は慌てて商品のところに行って、直してから退勤した。それ以来パートの人から無視されるようになった。 18歳のとき、美
(追記)子供をAV女優や風俗嬢にしないにはどうしたらいいか？
今晩は休みだったので、X(Twitter)を巡回していたら「子供をAV女優にしないにはどうしたらいいか」みたいな内容のスペースがあったのでおー…ってなり聴いてみた。 そのスペースの主催者の方はキャリアのあるワーママで、AV女優が謎に表に出てきていて憧れの対象になることもある現状に違和感や恐怖を覚えている…みたいな感じだった。 現役AV女優が怒り狂って凸ってたりけっこうまともな意見が出たり色々とカオスだった… ちなみに私は、今の世の中はおかしいと思っている派。小学生の女の子がAV女優見てかわいい～！って言ってるのとかかなり怖いなというか不気味だと思う。 私もAV→風俗だけど、差別されるべき存在だと思っている。まあ汚ねえからスーパー来るんじゃねえよとか言われたらさすがに困るけど…子供の前で職業を公言するなと言われたら当然そうする。というか絶対しないしそもそも。 私が考える子供をAV女優や風俗嬢
歯を生やす薬、実用化へ 京大ベンチャー「世界初」 来夏に治験開始
「歯生え薬」を投与され、新たに生えてきたマウスの歯（矢印部分）（トレジェムバイオファーマ創業メンバーの高橋克さん提供） 歯を生やす「歯生え薬」の実用化に、京都大発のベンチャー「トレジェムバイオファーマ」（京都市）などのチームが取り組んでいる。令和６年７月ごろから健康な成人で薬の安全性を確かめる臨床試験（治験）を始め、１２年ごろの実用化を目指す。チームは「世界初の試み」としている。 チームは、歯の成長を抑制するタンパク質「ＵＳＡＧ―１」の働きをなくす抗体薬を開発。人には乳歯、永久歯とは別に、新たな歯になり得る「芽」のようなものがあるが、通常は生えずになくなる。薬はこの芽に働きかけ、成長を促す。 平成３０年、歯の数が少ないマウスに薬を投与し、歯を生やすことに成功した。人と同様、乳歯と永久歯があるフェレットでは永久歯の内側から新たな歯が生えた。令和７年からは生まれつき永久歯の数が少ない「先天性無
東大生300人が選んだ「読むと頭が良くなる漫画ランキングベスト30」にランクインしなかった『ハイパーインフレーション』がなぜかトレンド入り
【公式】林修の今知りたいでしょ！ @imadesyo_ex 普段は教える立場の林修先生が生徒に変身！ 様々な分野に精通した講師が集まり、 林修先生に知らない世界もレクチャーします！ このタメになる講座いつ受けるか？ 今でしょ！！ tv-asahi.co.jp/imadesho/ 【公式】林修の今知りたいでしょ！ @imadesyo_ex 8月24日(木)🌠よる7時〜の #林修の今知りたいでしょ は 東大生300人が選んだ「読むと頭が良くなる漫画ランキングベスト30」を大発表SP✨ 現役東大生絶賛の漫画が続々📕 あの漫画はランクインする？？ #林修 #バカリズム #上川隆也 #伊集院光 #高城れに #伊沢拓司 #斎藤ちはる pic.twitter.com/1FqXcE2hed リンク テレ朝POST 現役東大生300人に総力取材！「読むと頭が良くなる漫画」ベスト30発表 8月24日（木）
AIはどのような仕事ができるようになったのか？ChatGPTで変わる「優秀な人材」
この図はざっくりと3つの領域に分かれます。まず左下が従来のプログラミングの領域です。これは簡単に言うと「プログラムは間違ってはいけない定形な仕事を奪う」ということです。次にその上の士業が責任を取る領域です。これは「責任」を取る人がいないと成立しない仕事です。ミスが発生した際に罰則を与えるという形で、ミスの発生を防いでいます。最後に右側のホワイトカラーの仕事の領域です。ホワイトカラーの仕事は入出力が不定形であり、作業フローも非定型であったりします。そのため、多少のミスはあっても仕方ないという前提の上で仕事が行われています。 機械学習がビジネスに組み込まれるにつれ、ホワイトカラーの仕事領域はそれらによって少しずつ代替されつつあります。その図がこちらになります。 ホワイトカラーの担っていた領域は、表データの機械学習（重回帰や、Lasso回帰、SVM、RandomForest、LightGBMなど
『不安耐性、判断を保留する能力、抽象のままにして具象に落とさない能力』…これが無いと、いきなり問題を解決しようとするので、問題そのものを議論できなくなる
ところてん @tokoroten なるほど、不安耐性とか、判断を保留する能力とか、抽象のまま取り扱って具象に落とさないでいる能力、って私が言ってるやつ、Negative Capabilityって言葉があったんだなー これが無いと、いきなり問題を解決しようとしてしまうので、問題そのものを議論できなくなる scrapbox.io/hotchemi/%E3%8… リンク scrapbox - hotchemi マネージャーとNegative Capability - scrapbox - hotchemi Negative Capabilityという概念を最近知った。詩人ジョン・キーツが提唱したとされている用語で「事実や理由を性急に求めず、不確実さや不思議さ、懐疑の中にいられる能力」を意味する。対義語はPositive Capabilityで、所謂課題解決能力の事。 我が身に翻ってみると思い当た
「不機嫌」という手段で相手をコントロールすることについて（追記有
不機嫌になって、相手に気をつかわせて、自分の思い通りの行動をとらせることについて、 漫画だったか、SNSだったかで、「赤ちゃんかよ！！」みたいな表現で非難してて、ああ、そのとおりだなあと思った。 私は、「察してちゃんは赤ちゃん」、「不満を直接言うのではなく、不機嫌となることで相手をコントロールすることは良くない」という考えで、夫にはなるべく自分の不満を言語化して伝えるようにしていた。しかし、そうすると夫はブチ切れ、大喧嘩になり話にならない、ということを最近理解した。むしろ何も言わずに不機嫌になっていた方が、私の望む行動をとってくれるような気がする。 例えば、皿洗いが夫の担当だとして、皿洗いをやっていない時に、私が夫に皿洗いをしてほしいと言うと、なぜか「ああん！」みたいな感じでブチ切れるので大喧嘩になって結局、皿洗いをしてもらえないことが多い。しかし、皿洗いをしていないことで私が怒って不機嫌
しゃあねえ一肌脱ぐか。 引きこもり歴10年後に社会復帰して、現在正社員で貯金700万の中年独身オッサンだ。 俺の場合は長期の引きこもりのせいで限界まで自信無くなっていたので バイト求人の電話かけるくらいなら自殺するほうが心理的抵抗感が少ないような極まりきった状況だった...
【追記あり】 しゃあねえ一肌脱ぐか。 引きこもり歴10年後に社会復帰して、現在正社員で貯金700万の中年独身オッサンだ。 俺の場合は長期の引きこもりのせいで限界まで自信無くなっていたので バイト求人の電話かけるくらいなら自殺するほうが心理的抵抗感が少ないような極まりきった状況だった。 引きこもり始めて５年目にこりゃもう鬱だから働けないんだそうに違いないと精神科の門を叩くが、大したことなかったらしく軽い抗不安薬のみ処方される。 その後、抗不安薬パワーでバイトの面接に応募するも、退化した体に工場作業はキツすぎて一ヶ月経たずに止めた。 その後、逃避行動として資格の勉強を始め、業務独占資格を二つほど取った。これが後で生きてくる。 そしてネットで見たサポステに応募。カウンセリングとグループワークをしばらく続ける。 これは本当にありがたかった。 周りはみんな自分と同じダメ人間なので、数年ぶりに引け目の
なぜ雑談が重要か - stmn tech blog
これはなに？ こんにちは、リファクタリング大好きなミノ駆動です。2023年7月より株式会社スタメンにジョインしました。 コミュニケーションには会議体やテキストベースなど様々な手段があります。 その中で雑談がなぜ重要であるかについて、私の考えを記したものです。 大事な前提 〜目的と手段の関係〜 人々の活動には目的があります。そして目的を満たすための手段を追い求めています（ここでいう手段とはシステムであったり情報であったり、「目的の役に立つもの」と考えてください）。 目的と手段の関係性を次の図で表現します。目的と手段それぞれの円の重なりが大きいほど、目的に対して相応しい手段である、ということをここでは表します。 この図を使った例を出します。 今の時期、だんだん暑くなってきましたね。「暑さを解消したい」という目的に対して、「扇風機を点ける」「エアコンを点ける」「かき氷を食べる」「南極に送り込む」
意思決定できる人の手順の型 - Konifar's ZATSU
意思決定できる人は進める手順の型みたいなものを持っているように見える。逆に意思決定が遅かったりできなかったりする人は、進めるときに型のうちの何かが欠けているのかもしれない。 体系化された話は書籍で語られつくされているとは思うが、思考整理のために雑にまとめてみる。 最後は決めるだけだという考えを持つ 目的や満たしたいことを明確にする 最終的な決め方や期日を明確にする 選択肢を広げて考える 今は意思決定しない、という意思決定も選択肢に入れる 意思決定の軸を明確にする 軸をもとに定量/定性データを集める 軸をもとに選択肢を評価する 自分はこうしたいという"推し"を決めてたたき台にする ここまでの話をドキュメントにしている ここまでのプロセスに時間をかけない 意見を聞く人を見定めてフィードバックをもらう 最初に明確にした決め方で意思決定する 意思決定できない場合は決め方と期日と意思決定軸を再定義す
使い込んだフライパンでも綺麗に焼けるギョーザの検証に向けたお願い | 味の素冷凍食品株式会社
※非常にたくさんのフライパンが届きましたので、当初の受付期間より早いですが、2023年6月19日に受付終了しました。 既に発送済みのフライパンは受領しています。皆さまのご理解・ご協力に深く感謝申し上げます。 お客様各位 平素は格別のご高配を賜り、厚く御礼申し上げます。 先月、SNSの『冷凍餃子がフライパンに張り付いてしまう』というお客様の投稿に、弊社より『フライパンを提供いただき、研究・開発に活用したい』と返答しました。その後、大きな反響を受けて、使い込まれたフライパンを用いた調理・検証を、弊社にて改めて行いましたので、その結果をご報告させていただきます。 また、この検証結果を受け、同様の事象が起きてしまうフライパンを募り、引き続き、最適な調理条件を研究していくことといたしました。つきましては、弊社の冷凍餃子が張り付いてしまうフライパンをお持ちの方は、下記ご案内の通り、フライパン提供にご協
ささいなことに、わざわざ「良いと思います！」って言うようにしている - hitode909の日記
いろんな人の相談役をやっているのだけど、ささいなことに、わざわざ「良いと思います！」って言うようにしている。 この調子でいいと思います！ってわざわざ言う 言われた方からは、迷うことなく進めたら良いのだな、ということが伝わる 意見を言えるチャンスがあったら「この調子でよさそうだけど、ゆくゆくはこんな問題に直面しそうですね」とか、ちょっと意見をはさんでおく 頭出ししておいたら考えてもらえるかもしれないし、想定と違ったら、えっそんなことはないんですけど…と早めに変なことに気づけるかもしれない シニアっぽいロールの人物としては、聞かれてもないのに、良いと思います！って言っておくのが大事。 やってみてもらって、うまくいかなかったら、想定と違ってうまくいかなかったんですけど、って声をかけてもらえる。 最初の段階で黙っていたら、どういうスタンスだったのか不明で、相談しにいくときに、まず、どう思いますか？
セックスレス解決に足りてなかった視点
自分なりに問題と向き合ってみて何がいけなかったのかを整理してみた結果、気付きがあったよという話です。 我が家では妻が二人目の子どもを妊娠してからセックスに応じてくれなくなり、気がつくと8年近く経っていました。 子どもがいるとなかなかそういう空気にならないのは仕方ないことですが、まれにチャンスがあっても「眠い」「疲れている」「休ませてほしい」と言われるばかりで、そうなると強要することが加害ともなりかねないとそれ以上は話が進まないままにフラストレーションを溜め込み続けました。 セックスの話をするときに、どうしても「気持ちがいい」という言葉が頭の中に支配的になります。 実際、妻と話し合う上で、どうしてそんなにセックスがしたいのかを説得するときに大きな戸惑いとなりました。 そんなに難しい話ではないかもしれませんが、でも、どうしてしたいのかを考えた時、「気持ちよくなりたい」「気持ちよくしたい」以外の
続く道 花の跡 - ななせ悠 | 少年ジャンプ＋
JASRAC許諾第9009285055Y45038号 JASRAC許諾第9009285050Y45038号 JASRAC許諾第9009285049Y43128号 許諾番号 ID000002929 ABJマークは、この電子書店・電子書籍配信サービスが、著作権者からコンテンツ使用許諾を得た正規版配信サービスであることを示す登録商標(登録番号 第6091713号)です。
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
専門性の高いページ｜品田遊（ダ・ヴィンチ・恐山）
女の子になれる。変幻自在のAIボイスチェンジャー「Voidol3」
Postman “APIファーストの世界” コミック
謎解き単語検索beta
エンジニアの心構え
