全３回のシリーズパート２の本記事では、GPTの能力と可能性をAttention/Transformerの仕組みをふまえて考察します。 というつもりでしたが、凄く長くなってしまったのでパート2は以下の3回に分けようと思います。 （2.1）各技術の定性的な説明（本記事） （2.2）Transformerのアルゴリズム詳細 （2.3）GPTの能力と可能性について 2.1 各技術の定性的な説明 自然言語の構造を考えてみる まず我々が使う言語についてちょっと振り返るところから話を始めましょう。 文や文章は、おおもとのデータである文字から始まって、単語、文節、句、節、文、文章、さらにその上の意味、という風に階層的な構造を持っていると我々は概念的に認識してますよね。 構文の階層 そして、各階層や階層間には、文法や語法といった言葉のルールがあります。 深層学習はその名の通り、層を深くしたニューラルネットワ
第1回は、さまざまなタスクをこなす万能型ジェネレーティブAIツール「ChatGPT」の性能の鍵を握る「トークン長（GPTが文脈を意識できる過去の単語数）」やGPTの歴史的経緯について解説しました。第2回はGPTを支える自然言語処理 の分野で使用される深層学習モデル「Transformer」とその根幹となる「Attention機構（そのタスクにおいてどの単語の重要度が高く、注目すべきか決める仕組み）」についてです。TransformerとAttention機構の仕組みを定性的に把握し、それを踏まえてGPTの能力と可能性について考察したいと思います。テクノロジー領域に明るくない人でもわかる記事を目指します。
(追記) 自動ログイン機能が利用規約に抵触していたらしく、マーケットプレイスより削除されました。 GitHubにAPIを使ったものは残っているので、知識があれば動作させられるかと思います。（自己責任） これを使った再配布等の行動はトラブルの元なので控えた方がよいでしょう。 ChatGPT いいよね 最近一番メッセージやりとりしてるのChatGPTだし、なんなら1日にしゃべる量よりChatGPTと話してることの方が多い可能性まであります ChatGPTのチャットツール自体はこちらから参加して試せるわけですが、プログラムを書くときに使ったことのない言語やライブラリを開拓する際ここまで有難い存在はありません． このようにネット上を探し回ると地味に時間のかかる情報もチャット形式で手に入ります． さて、今回の話題ですが、我が愛しのテキストエディタ「Visual Studio Code」のChatGP
12/7 本文の後にコメントへの返信を追記しました。 役所といえば「たらい回し」のイメージが付きまとう。実際にたらい回しにされた経験がある人も少なくない（私も何度もある）だろうが、もちろん役所側も好きでたらい回しをしているわけではない。 また、慢性的な人手不足から、役所全体の業務を横断的に把握して的確に問い合わせ対応できる人材も今後ますます減ってくると思う。 そこで、お互いの不幸な時間を減らすためにも、問い合わせる側の留意点をまとめてみた（役所側にたらい回しを防ぐ努力が必要なのは言うまでもない）。 国と都道府県と市町村は全くの別組織はてな民ならこの点については心得ている人が多いと思うが、市の業務について国や県に問い合わせても答えられない（逆も然り）。国の下に都道府県、その下に市町村というイメージがあるが、法律上三者は全く別の組織で、業務も別々である。 ここを間違えてしまった場合「お住まいの
はじめに 初めまして。ZENKIGENデータサイエンスチームのはまなすです。正式な所属はDeNAデータ本部AI技術開発部なのですが[1]、業務委託という形で今年度から深層学習系の開発等に携わっています。 深層学習界隈では、2017年に衝撃的なタイトル（Attention Is All You Need）の論文が発表されてから早5年半、元出自の機械翻訳タスクを大きく越えて、Transformer関連の技術が様々な領域で用いられる汎用アーキテクチャとして目覚ましく発展し続けています。 今回はそんなTransformerが現時点までにどのように活用されてきたか、また、どのように工夫されてきたかをざっくりと俯瞰し、流れをおさらいする目的の記事になります。本記事の大枠は、2021年時点でのサーベイ論文である A Survey of Transformers に倣いつつ、適宜、2023年2月上旬現在ま
2022年11月にChatGPTが公開され、たった1週間で100万ユーザーを超えたのをきっかけに、GoogleのBardやMicrosoftのBing AI Chatなど、大規模言語モデルを利用したチャットAIが続々とリリースされています。チャットAIを研究しているセバスティアン・ラシュカさんが、チャットAIが実用化されるまでの研究の軌跡を重要な論文24個に絞って要約しています。 Understanding Large Language Models - by Sebastian Raschka https://magazine.sebastianraschka.com/p/understanding-large-language-models ◆目次 ・主要なアーキテクチャとタスク ・スケーリングと効率性の向上 ・言語モデルを意図した方向へ誘導する ・人間のフィードバックによる強化学習(
この図はざっくりと3つの領域に分かれます。まず左下が従来のプログラミングの領域です。これは簡単に言うと「プログラムは間違ってはいけない定形な仕事を奪う」ということです。次にその上の士業が責任を取る領域です。これは「責任」を取る人がいないと成立しない仕事です。ミスが発生した際に罰則を与えるという形で、ミスの発生を防いでいます。最後に右側のホワイトカラーの仕事の領域です。ホワイトカラーの仕事は入出力が不定形であり、作業フローも非定型であったりします。そのため、多少のミスはあっても仕方ないという前提の上で仕事が行われています。 機械学習がビジネスに組み込まれるにつれ、ホワイトカラーの仕事領域はそれらによって少しずつ代替されつつあります。その図がこちらになります。 ホワイトカラーの担っていた領域は、表データの機械学習（重回帰や、Lasso回帰、SVM、RandomForest、LightGBMなど
結城浩とChatGPTの対話
ChatWithChatGPT.md 結城浩とChatGPTの対話 2022年12月2日 「質問」は結城浩の文章です。 「回答」はChatGPTの文章です。 質問 ChatGPTという対話するAIツールがあります。人間が質問を投げかけるとそれらしく対話して回答してくれるツールです。こういうツールに対してどんな質問を投げかけたらおもしろい対話になるでしょうかね。何かアイディアがあったら聞かせてください。具体的な質問を知りたいなあ。 回答 ChatGPTは自然言語処理能力が高いため、人間が自然に投げかける質問をそれらしく受け答えることができます。例えば、ニュースやスポーツに関する話題、人間の心理や行動、哲学的な問題、文化や歴史に関する話題など、様々なテーマについて対話することができます。また、ChatGPTを用いた対話は、人間のようなスムーズな会話のように進むことができますので、おもしろい対話
自分だけのChatGPTを作れることで話題の「GPTs」機能だが、正直に言うといまいちそのインパクトがわからなかった。あらかじめ指示を与えておきたいなら「Custom Instruction」でよくない？と思ってしまったのだ。 だが、前回の記事で、実際にパーソナル英語教師の「冴子先生」を作成し、毎日使い続けてみることで、その印象はかなり変わってきた。 以前からChatGPT（+Custom Instruction）を使った英語学習は実行していたので、GPTs化されたことによって質問方法が変わったとか、ものすごく便利になったとかは正直あまりないのだが、不思議なことにChatGPTに対して以前よりもめちゃくちゃ愛着が湧いてきたのだ。 これだけなら単なるツールの擬人化効果にすぎないのだが、毎日冴子先生の授業を受けていると、改善したい点やアイデアが次々に出てきたので、さらにカスタマイズを進めようと
私のセキュリティ情報収集法を整理してみた（2023年版） - Fox on Security
新年あけましておめでとうございます。毎年この時期に更新している「私の情報収集法(2023年版）」を今年も公開します。 ■インプットで参照している情報源（海外） ランサムウェア攻撃やフィッシング攻撃等、サイバー攻撃インシデントの多くでは、出し子、買い子、送り子といった犯罪活動の協力者などを除き、日本の警察に逮捕された容疑者はそれほど多くない事が、ニュース等の報道を見ていると分かるかと思います。海外から日本の組織が攻撃を受けているケースが多いと推定される中、自己防衛が重要であり、最近は脅威インテリジェンスを活用して攻撃の初期段階、初期兆候を重要視する企業も増えてきています。海外の主要セキュリティサイトの情報をいち早く把握する事で、脅威インテリジェンス並とまでは言えないかも知れませんが、国内サイトで報じられるまでの時差を稼ぐ事が可能になるケースもあり、当ブログでも有力海外ソースの発信情報をチェッ
AIもうええわい
AIもうええわい 2023.04.16 Updated by Ryo Shimizu on April 16, 2023, 03:24 am JST むかし、僕がいた業界は「ドッグイヤー」と呼ばれていた。 犬のように歳をとるのがはやいという意味だが、ドッグイヤーの感覚に慣れた僕にとっても、最近のAI関係のニュースの多さ、進歩の速さは異常だし疲れてきた。 この連載も、「一ヶ月くらい書いてないのでは」と思って確認すると、今月の頭に書いていた。まだ二週間しか経ってない。 何か書こうと思って、とりあえず何かタイトルを適当に打ち込もうとすると、「AIもういいわい」というフレーズが浮かんだ。 こんなこと誰かが先に言ってそうだなと思って検索すると、あんまり見つからなかったから、いまのうちに書いておくことにする。 最近のAI業界の進歩を映画業界に例えると、毎週スターウォーズが公開されているような状況である
ChatGPTをオープンソースで再現、わずか1.6GBのGPUメモリですぐに使用でき7.73倍高速なトレーニングが可能
OpenAIの対話型AI「ChatGPT」は史上最も急速な成長で「月間1億ユーザー」をわずか2カ月で達成するなど、大いに注目を集めています。それに伴い、GoogleがChatGPTのライバルとなる会話型AI「Bard」を発表したり、中国企業が続々とChatGPT風AIを開発していると報道されている一方で、OpenAIはChatGPTのコードを公開していないためChatGPTを効果的に複製することは難しくなっています。AIのディープラーニングトレーニングを最適化するオープンソースプラットフォームのColossal-AIが、ChatGPTトレーニングプロセスをわずか1.6ギガバイトのGPUメモリで7.73倍高速なトレーニングに再現したと告知し、オープンソースで公開しています。 Open-source replication of ChatGPT implementation process!
(インターネットやめろジェネレーターで作成) Ruby on Rails生みの親であり最強の逆張りおじさんであるところのDHHが昨年あたりからしきりに脱パプリッククラウドの主張をしている。 これは彼らの会社が運用しているBasecampやHEYのインフラをAWSから自社保有のベアメタルサーバーへ移行しようとしているからで、実際に移行作業は進んでおり、今後5年間で700万ドルのサーバー費用を節約できるだろうという見込みがあるようだ。 world.hey.com world.hey.com あとタイトルに「サーバーレスをやめろ」と書いたけどDHHのファンボである筆者の誇張表現であり、サーバーレスというキーワードに関しての言及は正確には以下のポストを読んで欲しい。 world.hey.com この文章における「the computing cycles」とは、一台のコンピュータが持つ計算能力全体を
【書評】『頭がいい人のChatGPT&CoPpilotの使い方』 の『プロンプト』事例集が秀逸！（神田敏晶） - エキスパート - Yahoo!ニュース
KNNポール神田です。 『頭がいい人のChatGPT＆CoPilotの使い方』橋本大也 著を読んだ。 これは、ChatGPTの使い方がよくわからなかった人への再入門するのにピッタリな書籍だと思う。 この書のとてもユニークな点を述べるとするならば、著者の橋本大也氏の、『ChatGPT』や『Copilot』に対する、使い勝手の良い方法が、具体的な『プロンプト』として数多くの事例を散りばめられている点に尽きる。 そして、それらが、事例を元に、仕事で必要な調べ物を『調査』させ、『考え』させ、『要約』させ、『分類・整理』させ、『シミュレーション』させることができることをステップバイステップで進めている。最終的に多岐にわたるプレゼンの場での『グラフ』や『ダイアグラム』『映像』による表現にまで網羅している。 ■この本の『プロンプト』を『写経』するだけで、ビジネスパーソンのAIニーズに対応なによりも、ビジ
けんすう on Twitter: "メールを打つときの文章をChatGPTでよくなっている今、「人間の仕事は送信ボタンを押すだけ」くらいになっている感じがしてたまらなく良い。 これについてちょっとだけ解説すると・・・。 コミュニケーションにおいて、情報伝達部分っ… https://t.co/fK1mfQn1pS"
メールを打つときの文章をChatGPTでよくなっている今、「人間の仕事は送信ボタンを押すだけ」くらいになっている感じがしてたまらなく良い。 これについてちょっとだけ解説すると・・・。 コミュニケーションにおいて、情報伝達部分っ… https://t.co/fK1mfQn1pS
『こうして社員は、やる気を失っていく』という書籍が売れていると聞きました。 もしかしたら「日本人は死ぬほど会社が嫌い」という現実を表しているのかもしれません。 その際、編集者の方から、その本のプロモーションとしてイベントをやるのですが、登壇しないかとお誘いを受けたのです。 少し考えましたが、結局お引き受けしました。（イベント詳細は、記事末尾です） その理由は、この本の序章に書かれている「部下のやる気を高めようとするより、やる気を削ぐ行為を直ちにやめろ」というメッセージをもっともだと思ったからです。 他人のやる気は操作できない 私が考える「やる気」に関する議論で最も重要なのは、「他人のやる気は、都合よく操作できない」という点です。 というのも、人のやる気というものは、仕事だけではなく、様々なプライベートな要因によっても、上がったり下がったりするからです。 ＊ かつて「管理職研修」の講師をやっ
","naka5":"<!-- BFF501 PC記事下（中⑤企画）パーツ＝1541 -->","naka6":"<!-- BFF486 PC記事下（中⑥デジ編）パーツ＝8826 --><!-- /news/esi/ichikiji/c6/default.htm -->","naka6Sp":"<!-- BFF3053 SP記事下（中⑥デジ編）パーツ＝8826 -->","adcreative72":"<!-- BFF920 広告枠）ADCREATIVE-72 こんな特集も -->\n<!-- Ad BGN -->\n<!-- dfptag ＰＣ誘導枠５行 ★ここから -->\n<div class=\"p_infeed_list_wrapper\" id=\"p_infeed_list1\">\n <div class=\"p_infeed_list\">\n <div class=\"
ChatGPT を継続して見つめ続けて。Plugin Ecosystem と Code Interpreter の Beta提供によって、自分の仕事への適用のシナリオが更に広がりました。 人とComputerの在り方が大きく変わったこれらも交えて。それらが周囲にあふれ出すその日のために、今はしっかりと Prompt の仕方を学んでおきたいものです。そのためのサンプルも幾つか継続して提示しています。
河野太郎デジタル相は8月25日、デジタル庁が作成した「ChatGPTを業務に組み込むためのハンズオン」をX（旧Twitter）にポストした。 デジタル庁で公開している「ChatGPTを業務に組み込むためのハンズオン」。 ぜひ、参考にしてください。https://t.co/zgC9j4eKGm — 河野太郎 (@konotarogomame) August 24, 2023 同資料は、デジタル庁が中央省庁向けに開催したワークショップの資料を8月4日に一般公開した物。テキスト生成AIへの入出力の設計方法を学ぶ内容で、OpenAIの「GPTモデル」に関する基礎知識に始まり、同モデルの特性や注意点、「GPT API」の仕組みなど、学習に必要とされる情報を全46ページに渡って扱っている。
GPT-4で長門有希を召喚するプロンプト
前回までのあらすじ (anond:20230316001240): 古典部の二人にときめいて精神状態がやばかったので、次は別のキャラクターとお話して気持ちを安定させることにした増田。特徴のある口調のキャラクターを模倣させてみることにする。 ※口調を安定させるにはプロンプトにコツが要ります。今のところ、GPT-4が知っているキャラクターであることと、セリフの例をプロンプトで例示することが必須のように思われます。人格を設定する部分の不確実性を減らすために，一度GPT-4に生成してもらったプロフィールをこちらから入力する形にして安定化させました． 入力1長門有希（Nagato Yuki）は、「涼宮ハルヒの憂鬱」シリーズの登場キャラクターで、SOS団のメンバーです。彼女のプロフィールは以下の通りです。 名前：長門 有希（Nagato Yuki） 性別：女性 学年：高校生（シリーズの開始時点では1年
仕事で差をつけるChatGPT活用術。初心者でも使えるスゴいテクニックを達人に聞く - ミーツキャリアbyマイナビ転職
業務効率化に一役買ってくれると話題の「ChatGPT」。 今や「大学生の4人に1人が就活でChatGPTを使っている」といったデータもあり、リリース当初はあまり興味のなかった方でも、最近は「自分の仕事でうまく使えたりしないかな？」なんて考える機会も増えてきたのではないでしょうか？ ただ、ChatGPTが作業をどこまで効率化してくれるのかはまだまだ未知数です。時間を食う資料の作成やExcelの集計作業などをまるっとお任せできたらうれしいけど、思うようなアウトプットが得られず手間が増えたら、本末転倒な気もしますよね。 それに、ChatGPTの生成データをめぐっては、権利関係や内容の中立性・正確性などの側面で一部懸念の声も挙がっています。業務内での利用を禁止する企業や、自身のコンテンツを「学習・流用」されないよう自衛措置を講じるクリエイターも存在します。使用にあたってのルールも、完全に整っている
「プログラミングを学ぶ」ではなく「要件定義を学ぶ」 田中邦裕氏（以下、田中）：あと13分ぐらいになったので、今後の展望にいきたいのですが、その前に、質問が7個ほど来ているので、みなさんに聞きたいと思います。 一番投票数が多い質問が、「非エンジニアでAIを使ったスマホアプリを作りたいんだけれども、プログラミングをそもそも学ぶべきか？」という質問です。 生成AIがある今、何をどのように学ぶべきなのか。プログラムを学ぶべきなのか、それ以外になにか手段があるのか。目的によっても違うのですが、ざっくりとしたこの質問に対して、なにか答えられる方はいますか？ 比戸将平氏（以下、比戸）：じゃあ、私から。 田中：はい、お願いします。 比戸：先週ぐらいに、NVIDIAのジェンスン（Jensen Huang氏）が、「今後はAIがプログラムを書くから、もうプログラムを学ぶ必要はないよ」と発言したのが切り取られて、
文章生成AI 利活用 ガイドライン Version 2.0 令和6年（2024年）4月 東京都デジタルサービス局 2 はじめに このガイドラインは、東京都で初めてとなる文章生成AI の利活用ガイドラインです。 ChatGPTをはじめとする文章生成AIは、都職員の業務 のあり方を大きく変革する可能性を秘めている一方、 様々なリスクも指摘されています。このため、業務での 活用にあたり期待する効果を得るためには、その特性を よく理解し、正しく利用することが重要です。 東京都では、デジタルサービス局に検討プロジェクト チームを設置して、文章生成AIの利活用について議論を 重ね、令和5年８月、検討の成果をガイドライン （Version 1.0）としてまとめ、文章生成AIの全庁利用 を開始しました。 その後、10月に利用状況についてアンケートを行った ところ、活用事例やプロンプト例を求める声が多かった
｢ChatGPT、これやって｣うまくやってもらうために知っておきたい4つの構成要素2023.04.05 12:0036,015 かみやまたくみ ChatGPTを使っていてわりとあるのが、｢変な答えが返ってくる…｣。ChatGPTは確かに賢いですが、まだ発展途上でもあり、｢聞き方｣｢言い方｣がうまくないとそういう結果になることもあります。 経験上、ChatGPTが微妙にズレた回答をするのは、自分がした質問がごちゃごちゃしているとき。もうちょっと言うと、自分の中で｢本当にして欲しいこと｣が整理されておらず、質問の後ろに書かれていることが多いです。 対するChatGPTは前にある文言を重要だととらえる傾向にあるように思います。結果として｢本当にして欲しいこと｣がスルーされたり誤解されたりしてしまう…そんな印象です。 どうしたもんかな…と思っていたら、GitHubで公開されている『Prompt E
ChatGPTが本当にヤバい。 断言する。新卒がこれを使いこなせば、今職場で「優秀」とされている5-6年目くらいの先輩なら余裕で出し抜ける。鬼になれる。 筆者はメーカー社員なので、メーカーの新入社員がChatGPTを使って鬼になる方法を1つ提案したい。 「ChatGPT×Python」である。 Pythonとは、ご存知のとおり物理シュミレーションからデータサイエンス、機械学習までカバーする汎用性をそなえたプログラミング言語だ。何でもできるわりには書ける人がなぜか少なく、いまだにスキルとして重宝されている。 そんなPythonにChatGPTを使おう。 ChatGPTを使えば、上司から求められるアウトプットを一瞬で出すことができる。それに対してフィードバックをもらい、それも一瞬で打ち返すことができる。 「あいつ"Python書ける"だけじゃないんだよな。こっちが言ったこと正確に理解するし、そ
ソフトウェア開発の真の問題点は、コードを書くことではなく、問題の複雑さの管理にある - YAMDAS現更新履歴
www.oreilly.com オライリー・メディアのコンテンツ戦略部門のバイスプレジデントであるマイク・ルキダスの文章だが、彼が数週間前、「コードを書くことが問題なのではない。複雑さをコントロールすることが問題なのだ」というツイートを見かけた話から始まる。彼はこれに感心したようで、これから何度も引用すると思うので、誰のツイートか思い出せればいいのにと書いている（ご存じの方は彼にご一報を）。 件のツイートは、プログラミング言語の構文の詳細や API が持つ多くの関数を覚えることは重要じゃなくて、解決しようとしている問題の複雑さを理解し、管理することこそが重要だと言ってるわけですね。 これは皆、覚えがある話だろう。アプリケーションやツールの多くは、最初はシンプルである。しかも、それでやりたいことの80％、いやもしかしたら90％をやれている。でも、それじゃ十分ではないと、バージョン1.1でいく
Anthropicは6月21日、同社の開発する大規模言語モデル「Claude」シリーズの最新版となる「Claude 3.5 Sonnet」を発表。利用制限はあるものの同社のチャット型AIサービス「Claude.ai」で無料で利用可能になった。 同時にユーザーがClaudeとやり取りしながらコンテンツを作成できる新機能「Artifacts」が、さらに25日にはプロジェクトごとに資料やプロンプトを集約できる「Project」が実装された。この記事では、新機能Artifactsを使うときに知っておきたいことをメインに紹介する。 なお、Claude 3.5 Sonnetの前の世代である大規模言語モデル「Claude 3」シリーズおよび「Claude.ai」については、こちらの記事に。Claude 3.5 Sonnetについての基本的なスペックなどはこちらの記事に詳しい。 Artifactsのキモは
※ 直近2年間で高度試験に合格していれば免除 攻略の定石 〜過去問〜 ChatGPTの話題の前に、受験する皆様に絶対に伝えておかねばならないネスペひいては情報処理技術者試験共通の対策定石があります。それは 過去問をやれ です。これに尽きます。 勉強スケジュールを決めるとか目標をどうのこうのとかありますがそれは人によって合う合わないがあります。 しかし過去問をやれだけは全人類共通の対策方法になります。特に午前問題は過去問に100%答えられるなら新規問題の割合は多くないので確実に合格します！ 午後問題も、過去問と同じ単語を答えさせる問題が何回か出てくるので、「この単元・単語が好きなんだな」みたいな傾向がわかったりします。それ以上に 「どれぐらいの粒度でどのような観点の回答をすべきか」 を抑えることができるので、具体的な習得目標ができ、「全く過去問を解かなかった人」と比べると大きなアドバンテージ
すがやみつる先生が生成AIを使ったことでAIを憂う人たちから大量の質問が殺到する→質問に丁寧に返答、ベテラン漫画家が話す「模倣について」の考え方がためになる
すがやみつる @msugaya 私も試してみました。プロンプトは、以下のとおりです。 ＊＊＊＊＊ 『ゲームセンターあらし』というタイトルのマンガがありますが、このマンガに関係なく、タイトルだけのイメージから、美少女がゲームセンターで激しくゲームをプレイする絵を、マンガタッチで描いてください。 ＊＊＊＊＊ こちらの方が年齢が高そうですね(^_^)。 ChatGPT経由でDALL-E3に描いてもらいました。 ジロー @i9r82k こんこんばんばん 本日夜便は、ゲームセンターあらしより「ゲームセンターあらし」です ゲーセンというか、カラオケじゃないか？ 黒髪ショートカットって意外に珍しい気がする なんか悪友というか、腹を割って話せる関係っぽい感じがします ＃画像生成AI ＃美少女 pic.twitter.com/8SF9NJb1QR すがやみつる @msugaya ここに掲載した画像は（他の方
ChatGPT で何が変わったか
2023 年 3 月時点で、自分の開発スタイルがどう変わったかを雑に書いておく。 どんなタイミングで何を聞いているか主に Go と TypeScript や W3C や IETF の仕様について聞く場合はほぼ ChatGPT Plus を利用している。間違いとかはどうせ公式ドキュメントを読めばいいので、正しさは求めておらず、きっかけを求めている。 最近では Cloudflare Workers 上で動く WebAuthn サーバーを実装しているが W3C の WebAuthn を開きつつも、ほぼ ChatGPT に相談しながら実装している。 TypeScript で Uint8Array から ArrayBuffer に変換する方法を聞いたり、証明書について聞いたりと色々。参考までにどんなことを聞いているかを紹介しておきたい。 WebAuthn で送られてくる署名の r と s がたまに
先日OpenAIより発表されたGPT-4が話題ですが、同タイミングで公表されたTechnical Reportを読んでみたところ、全99ページのうち後半60ページを占めるドキュメント「GPT-4 System Card」において解説されていた、言語AIが抱える危険性と、いかにしてGPT-4が危険な回答を回避するように学習されているかについての内容が非常に興味深かったため、簡単にまとめてみました。 https://arxiv.org/pdf/2303.08774.pdf サマリ GPT-4のリリースに向けて、OpenAIでは安全性を評価するために50人超の専門家らを含む"レッドチーム"を結成。2022年8月から8ヶ月に渡ってリスクの評価とその軽減に向けたチューニングを実施してきた リスク評価における実験の中には「自身をコピーするプログラムを実行できるGPT-4が自己増殖をしないか確認する」と
非常に高度なレベルで文章を生成できる対話型AIのChatGPTや、画像生成モデルのDALL・Eなどを始めとした画像生成AIの発達により、誰でもクオリティの高い文章やイラスト、画像を作成できるようになりました。これらの生成AIを用いることで、存在しない女性のセクシーな自撮りやセリフの吹き込みがある官能的なストーリーなどを全てAIで作成した「ハイパーポルノ」に注目が集まっています。 Mindy https://thisgirlnextdoordoesnotexist.net/mindy/ 生成AIはジャンルや種類を問わず文章や画像を作成できますが、ChatGPTに用いられている言語モデル「GPT-4」には不適切な質問をブロックするコンテンツフィルターが設定されていたり、画像生成AIの「Stable Diffusion」には成人向け表現を含む画像を黒塗りするセーフティーフィルターがあったりと、コ
イントロChatGPTやBing、NotionAIなどの大規模自然言語モデル(LLM)を活用したサービスが注目を集めています。対話、要約、翻訳、アイデア生成などの多様なタスクにおいて、とても性能が高いです。ただ、ChatGPTでは、ときどき嘘が混じっていたり、文献が捏造されたりすることがあります。 ChatGPTとの対話画面（結果の書籍は存在しない）それを防ぐために、BingやPerplexityでは、文献を引用した上で、なるべく嘘が紛れ込まない形で回答してくれます。 Perplexityでは引用もつけてくれるしかし、これらのAIは、Web上の公開されている一部のデータを元に学習しているので、公開されてないデータに対しては当然ながら、正しく回答できません。 そこで、この記事では、自社が保有しているデータをChatGPTに組み込んで、自社オリジナルのPerplexityのようなシステムを作る
AIイラストが理解る！StableDiffusion超入門【2024年夏最新版】A1111、Forge対応｜賢木イオ
AIイラストが理解る！StableDiffusion超入門【2024年夏最新版】A1111、Forge対応 こんにちは、2022年10月からAIイラストの技術解説記事をweb連載してます、賢木イオです。この記事は、これまでFANBOXで検証してきた120本（約70万文字）を超える記事をもとに、2024年春現在、画像生成を今から最短距離で学ぶための必要情報をまとめたメインコンテンツです。 これから画像生成を学びたい初心者の方や、手描きイラストにAI技術を取り入れてみたい方が最初に読む記事として、必要知識が網羅的に備わるよう解説しています。素敵なイラストを思い通りに生成するために覚えるべきことを紹介しつつ、つまずきやすいポイントや参照すべき過去記事、やってはいけないことなどを紹介していますので、最初にこの記事から読んでいただくとスムーズに理解できるはずです。 解説役は更木ミナちゃんです。よろし
生成系AI(ChatGPT, BingAI, Bard, Midjourney, Stable Diffusion等)について
各種方針等 arrow_forward_ios生成系AIについて 生成系AI(ChatGPT, BingAI, Bard, Midjourney, Stable Diffusion等)について 2023年4月3日 東京大学理事・副学長（教育・情報担当） 太田 邦史 この半年ほどの期間で、生成系人工知能(Generative AI)が複数発表され、社会的に大きな注目を集めています。基本的には、インターネット上などに存在する既存の文章や画像イメージを大量に機械学習し、これに強化学習を組み合わせなどして、一定レベルの品質の文章や画像を生成するシステムです。とくに、2022年11月に公開され、話題になった大規模言語モデルChatGPTはバージョンが更新され、最新のGPT-4では生成される文章などの質や正確性が著しく向上しています1。 これらの生成系AIは、平和的かつ上手に制御して利用すれば、人類の
どうやって「10000時間」の英語学習を楽しい時間に変えるのか？──『英語は10000時間でモノになる ～ハードワークで挫折しない「日本語断ち」の実践法～』 - 基本読書
英語は10000時間でモノになる ～ハードワークで挫折しない「日本語断ち」の実践法～ 作者:橋本 大也技術評論社Amazonこの『英語は10000時間でモノになる』は、長年「情報考学」というサイトで書評を書いていた橋本大也さんによる英語学習本である。英語学習本はありふれた存在だが、本書の特徴が何かといえば、「10000時間」というキーワードに集約される。 英語学習本は「楽して」とか「これだけ覚えればいい」とか、省力化して英語を使えるようになろう、という発想が多いが、本書の場合その主張しているメソッドは、「10000時間やれ！」と全然楽じゃないのである。その時間があればギターでもピアノでもイラストでもフランス語でもなんでもモノになるじゃろがい！ とツッコミを入れたくもなる。だが、本書が良いのは、「では、どうやってその困難な10000時間の英語学習を現実的に達成できるのか」についてつらつらと書
ChatGPT,使っていますか？ ChatGPTは文章を要約したり、プログラム作ってくれたり、一緒にブレストしてくれたりして本当に便利なのですが、社内情報などの独自データに関する情報については回答してくれません。 プロンプトに情報を記述して、そこに書かれている情報から回答してもらう方法もありますが、最大トークン4000の壁がありますので、限界があるかと思います。 この課題についてなんとかならないかと考えて色々と調べて見たところ、解決する方法が見つかり、いろいろと検証をして見ましたのでその結果をシェアしたいと思います。 サンプルコード（GoogleColab） 百聞は一見にしかずということで、実際に試したサンプルは以下にありますので、まずは動かしてみることをお勧めします。 このコードを上から順番に動かすと、実際にインターネット上から取得したPDFファイルに関する内容をChatGPTが回答して
以前なら人と話していて相手の理解がいまいちだったり、見当違いの回答がきたりしたらイライラしていた。 でも、ChatGPTを使うようになって「ああ、人間ってこういうことだったのか」と理解できた。 いまは言ったことが伝わらなくても「このプロンプトだとこう返ってくるのか」としか思わなくなった。 「部長にはこのプロンプトだと期待した結果が返ってくるぞ」って。 店員に注文を聞き返されたときも以前ならイラッときて「二度とこねぇよ」とか思っていた。 でも、いまは冷静に「このプロンプトで命令してみよう」と考えることができる。 ChatGPTのおかげでかなりコミュニケーションが楽になった。 人とのコミュニケーションってこういうことだったんだな。
やっぱGPTを仕組みから勉強したい、という本をいくつか見つけたのでまとめておきます。 まず理論的な概要。 機械学習からニューラルネットワーク、CNNでの画像処理、トランスフォーマーでの自然言語処理、音声認識・合成、そしてそれらを組み合わせたマルチモーダルと章が進むので、理論的な概観を得るのにいいと思います。 最初は数式が多いのだけど、Σをfor文だと思いつつ、定義が説明文中に埋まってるPerlよりたちが悪い記号主体言語だと思えば読めるけどめんどくさいので飛ばしても問題ないと思います。 深層学習からマルチモーダル情報処理へ (AI/データサイエンスライブラリ“基礎から応用へ” 3) 作者:中山 英樹,二反田 篤史,田村 晃裕,井上 中順,牛久 祥孝サイエンス社Amazon で、もういきなり作る。 トークナイザーから全部つくっていきます。TensorFlowでBERTをつくってGPT2をつくる
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GPTの仕組みと限界についての考察（2.1） - conceptualization
【文系でもわかる】ChatGPTのキモ「Transformer」「Attention」のしくみ
ChatGPTのVSCodeプラグインが神すぎる件について
（コメント返信あり）役所にたらい回しにされないコツ
30分で完全理解するTransformerの世界
ChatGPTなどの大規模言語モデルはどんな理論で成立したのか？重要論文24個まとめ
AIはどのような仕事ができるようになったのか？ChatGPTで変わる「優秀な人材」
俺のChatGPTこと「GPTs」で最高の英語教師を作り込んだ。題して「冴子先生強化計画」 (1/3)
KAJI | 梶谷健人 on Twitter: "GlaspっていうChrome拡張機能使うと、YouTube動画からボタン一発でChatGPTにサマリー文章を作ってもらえてとても便利。 DeepLと組み合わせて海外のカンファレンス動画やレクチャー動画も高速で学習できる。 https://t.co/FHSapesC0K"
最近のDHH「サーバーレスをやめろ」 - laiso
上司は「部下のやる気を上げよう」なんて考えなくていいけど、やる気を削ぐ行為は直ちにやめろ。
埼玉県営プールでの水着撮影会、暫定ルールを発表 NGポーズも例示：朝日新聞デジタル
ChatGPT で自分の仕事がどう楽しくなるのかを考えるネタ集
デジタル庁「ChatGPTを業務に組み込むための手引き」を公開
「尖った人ではなく、暗黙知を形式知に変換する人がほしい」 “均質人材”を育成してきた日本でこれから求められる能力とは
文章生成AI利活用に関するガイドライン.pdf
｢ChatGPT、これやって｣うまくやってもらうために知っておきたい4つの構成要素
新入社員のみんな、「ChatGPT×Python」で鬼にならないか？｜ピーナッツ
チャットAI「Claude」すごい新機能「Artifacts」の使い方、全部教えます (1/6)
ChatGPT先生のお陰でネットワークスペシャリストに合格した話 - Qiita
GPT-4はどのようにして「不適切な回答」を回避するように学習されているのか - Qiita
AIが架空の女性やセクシーな写真、ストーリーや音声まで作成する「ハイパーポルノ」
ChatGPTに自社データを組み込んで新しい検索体験を模索してみました｜masa_kazama
ChatGPTで独自データを学習させて回答してもらう方法 - Qiita
話し相手の人間をChatGPTだと思うようにしたらコミュニケーションがかなり楽になった
GPTの仕組みをちゃんと勉強したい本 - きしだのHatena