プログラミングを学ぼうとしては挫折する。 そんな時代はもう終わりだ。 お姉ちゃんに任せなさい。 ChatGPTでプログラミング 今年のお盆休み、俺はChatGPTでプログラミングをやっていた。とは言っても複雑なことはやっていない。大量のcsvを結合してから可視化するとか、ちょっとしたWebスクレイピングしたりする程度だ。それでも今まで技術や時間の不足により諦めていたことができるのは嬉しい。それにChatGPTを使えば、デバッグも楽しくやれるのだ。こんな感じに。 デバッグの様子 おそらく「あれ、俺のChatGPTと違うな」と思った人もいるに違いない。見ての通り俺はChatGPTをお姉ちゃん化している。こうすることで、モチベーションを維持しながら楽しくプログラミングができるというわけだ。今回はChatGPTをお姉ちゃん化する方法を紹介し、加えてお姉ちゃんとペアプログラミングする意義について述べ
GPT4が登場してChatGPTが盛り上がってますね。 本記事は、GPT（を支えるTransformerという仕組み）をChatGPTユーザにとって分かりやすく説明し、その能力と限界についての見通しをよくしよう、という趣旨になります。 少し長くなりそうなので、全部で記事を3回に分けようと思います。 （１）大まかな背景と概要：本記事 （２）GPTの能力と可能性：実際の使用例とTransformerの仕組みを踏まえて説明 （３）GPTの限界と未来展望：Transformerの仕組みが持つ限界と研究の進展を予想 GPT3と4の違い： トークン長とは何か？ まずここから話を始めます。GPT-3は、パラメータ数が750億個（850GBの容量を食う）でトークン長が4097(GPT-3.5)でした。GPT-4は、パラメータ数は非公開でトークン長は32768ですので、ちょうど8倍になります。 さて、トーク
ChatGPTの基本からその構造、教育利用を検討する際の注意点、具体的な活用法などを解説した講座。 「教育機関などの勉強会、研修などでご活用ください」と呼び掛けており、利用の際に事前の連絡は不要という。 関連記事 「東大生や教員は、生成系AIにどう対応すべきか」東大副学長が声明 「組換えDNA技術に匹敵する変革」 「東京大学の学生や教職員が生成系AIに対してどのように向き合うべきか」――東京大学副学長の太田邦史教授が声明。 「GPT-4」搭載ChatGPTに東大入試数学を解かせてみた GPT-3.5との回答の違い、点数は？ AIチャットbot「ChatGPT」「新しいBing」に、人間には答えにくい質問や、答えのない問い、ひっかけ問題を尋ねてみたらどんな反応を見せるのか。それぞれの反応からAIの可能性、テクノロジーの奥深さ、AIが人間に与える“示唆”を感じ取ってほしい。 東大松尾教授が答え
この本がスゴい！2023
「あとで読む」と思った本が、後で読まれた試しがない。 今度の週末・連休にと、積まれた本は崩されない。次の盆休み・年末年始に繰り越され、山脈を成し床が消える。 読書を食事になぞらえて、「血肉化」と表現するならば、私がやっていることは、メニューを眺めて片っ端から注文しているくせに、いんすた映えを気にしながら撮るくせに、まともに咀嚼して嚥下して消化してない状態だ。 そのくせ、「積読も読書のうち」と開き直ったり、溜まった本こそ私の証などと屁理屈こね回す。読まない本に「負債」のような後ろめたさを感じつつ、新刊本を探しだす。新しい本はそれだけで価値があると盲信し、かくして積読リストは延びてゆく。 もう一つ、恐ろしい予感がある。感受性の劣化だ。 あれほど楽しみに「取っておいた」本が、まるで面白くなくなっている。いや、その本の「面白さ」が何であるかは理解できる。だが、それを面白いと感じなくなっているのだ。
最近ローカルLLMがアツいらしい
最近、ローカルLLMがアツくなっているという話をtwitterでチラホラ見かける。 ローカルLLMって何じゃ？というと、オープンに公開されているモデルのウエイトをDLしてきて手元のPC上で推論させる事である。 オープンなAIモデルとは逆の存在として、モデルがDLできないクローズなAIモデルもある。 OpenAIやAnthropicのような最先端AI企業のクローズなAIモデルに比べて、オープンに公開されているオープンなAIモデルの性能は今でもかなり後れを取っている。 だから去年の間はあくまでAIの本命はChatGPTのようなクローズモデルであって、オープンなAIモデルなんて眼中にありませんみたいな風潮が無くはなかった。だが最近は風向きが少々変わってきている。 GPTのAPI高い問題 ＆ OpenAIがAIベンチャー皆殺しにしてしまう問題 まず「結局GPTのAPIを叩いてサービス運営して成功し
無料で使える最高のAIノート『NotebookLM』使い方と活用事例｜AI-Bridge Lab こば
こんにちは！最近、ChatGPTと話しすぎてAI風の口調がうつってきたAI-Bridge Labのこばです！👋 今回の記事はGoogleのサービス『NotebookLM』(ノートブックLM)について 1.NotebookLMの概要 2.使い方 3.具体例として過去のnote記事を全部読ませた結果どうなったか この3点を分かりやすくご紹介します！ 先に結論だけお伝えするとかなり実用性が高くオススメのツールです！ そしてこの記事を読んで頂ければご自身での活用法が想像できるようになると思いますので、ぜひ最後まで読んで頂けますと幸いです！ 1.NotebookLMの概要公式サイト：https://notebooklm.google.com/ NotebookLMは、Googleが提供する生成AIサービスで、ユーザーのメモ書きやアップロードした資料を基に情報を整理し、質問に答えることができる革新的
GPT-1→GPT-2→GPT-3→GPT-3.5→ChatGPT→GPT-4までの進化の軌跡と違いをまとめてみた｜スタビジ
当サイト【スタビジ】の本記事では、昨今のAIの進化のきっかけになっているGPTシリーズについてまとめていきたいと思います。GPT-1から始まりGPT-2、GPT-3、そしてChatGPTであるGPT-3.5、GPT-4と進化してきました。この進化の軌跡と違いについて解説していきます。 こんにちは！ データサイエンティストのウマたん(@statistics1012)です！ この記事では最近のAIブームの火付け役になったGPTシリーズについて簡単にまとめていきたいと思います。
プロダクトマネジメントのコーチをしています。プロダクト開発の中でもGPT4を使うケースが増え、相談されることが増えてきました。 ChatGPTのGPT4を用いた際の、専門家として信用できる精度で推論させるための工夫の一部を紹介します。精度が必要な専門職かつ中級者向けになると思います。「機密情報の入力をどうさけるか」といった運用の話は今回はしません。 やったことと起きたこと一通り論文を読んで試したり、試行錯誤しました。 その結果、専門家として業務レベルで使える程度のものができるようになってきました。 クライアントのプロンプトを添削する仕事も増えつつあります。副作用として、日本語なのに日本語と感じられない自然言語に目覚めてきました。この片鱗についてお話しします。 分かったこと分かったこととして、精度を業務レベルで用いるためにまずはじめにとりくむことは下記です。 ・接待モードを切る ・指示の質が
chat.md 結城浩 こんにちは。今後、GPT-4を使ったアプリケーションやサービスがたくさん登場してくると思います。その中には、たとえばSNSを利用したbotもたくさん出てくるでしょう（現在でもすでにありますけれど）。そこで質問なんですが、SNSでおしゃべりしている相手が、人間なのか、GPT-4などの技術を使ったAIなのかを識別するにはどのような会話をしてみればいいでしょうか。一般的なAIでは難しいかもしれないので、GPT-4に限ってもいいです。あなたの考えを聞かせてください。 ChatGPT Model: GPT-4 GPT-4のような高度なAIと人間を識別するのは、時に難しいことがあります。しかし、いくつかの方法を試してみることで、相手が人間かAIかを見極めることができるかもしれません。 複雑な感情やニュアンスについて尋ねる: AIは感情やニュアンスを理解するのが苦手です。複雑な感
前置き 毎週金曜日夕方に行われる社内勉強会にて、先日生成AIについて発表しました。折角なので少し加筆修正した資料を公開します。進化のスピードが早く、一時期食傷気味に陥ってましたが改めて昨今の生成AI関連の基本となるインプットを目指しました。 ※資料内冒頭に記載してますが、AIの専門家ではないので認識や説明に誤りがある可能性があります。 当方も勉強中なので、「ここ違うよ」や「これの説明もあるといいんじゃない」など様々なコメント大歓迎です！ 資料 資料目次 AIの基本 機械学習について 深層学習について 機械学習の種類 教師あり学習の得意なこと 教師あり学習のイメージ 教師なし学習の得意なこと 教師なし学習のイメージ 強化学習の得意なこと 生成AIについて 生成AIとは 生成AIの位置付け 生成AI利用例 代表的なサービス例 日本における盛り上がり 生成AI市場規模 AGIとは AGIは近い？
こちらの記事は随時追加更新していきます 記事の内容 何かと話題のChatGPTですが、今回はこのChatGPTをプログラミング学習として活用し、 「最強の学習ツール」にしてしまおうという記事になります。 内容を書き換えれば、英語学習などにも置き換えることができます。 筆者の関連記事 ChatGPTはそのチャット内で質問した内容を記憶しそれによって回答が異なるケースがあります。 もし、意図した回答が得られない場合などは「New chat」から新たに質問するなどの工夫が必要です。 そして、ChatGPTからの回答内容はあくまでも一つの例であるという認識で向き合いましょう。 アジェンダ 登録方法 質問のコツについて ロードマップ(カリキュラム)を提案してもらう ふんわりとした内容を具体的にしていく 更に深掘りして手順を教えてもらう 「何がわからないかわからない」状態をなくしていく 次のレベルアッ
■ Claude 3に例の「読了目安2時間」記事を解説させてみた Anthropicの先日出たばかりのClaude 3（Opus）が、ChatGPTのGPT-4を超えてきたと聞いて、自分の原稿を解説させてみたところ、確かに革新的な進歩が見られる。もはや内容を「理解」しているようにしか見えない。GPT-4では、昨年11月に試した時には、そうは見えず、優れた文章読解補助ツールという感じでしかなかった。 一昨年のCafe JILIS「高木浩光さんに訊く、個人データ保護の真髄 ——いま解き明かされる半世紀の経緯と混乱」は、発表した当時、長すぎて読めないから誰か要約してという悲鳴があがっていた。その後、ChatGPTの登場で、その要約能力に期待されたが、冒頭のところしか要約してくれなかったり、薄い論点リストが出てくるだけで、その期待に応えられるものではなかった。 もっとも、GPT-4でも、質問力があ
今や毎日耳にするChatGPTだけれど、そもそもどんな風に話題になってきたのかをこのGWを利用して振り返りたいって人もいるはず。そんな人のためにChatGPT関連ニュースをまとめておきましたので、ぜひご利用ください！ 良い振り返りで、良い人生を。 このタイトルだけでもChatGPTに食わせて、話題の流れをまとめてもらうのが一番かも？ 週刊東洋経済 2023/4/22号（ChatGPT 仕事術革命） 作者:週刊東洋経済編集部東洋経済新報社Amazon 2020/06/01 あまりに高精度のテキストを作り出してしまうため「危険すぎる」と問題視された文章生成言語モデルの最新版「GPT-3」が公開 - GIGAZINE 2020/07/21 GPT-3の衝撃 - ディープラーニングブログ 2020/07/22 「GPT-3」は思ってたより「やばい」ものだった。話し言葉でプログラミングまでこなすAI
AIを使った論文の読み方
近年の AI の進歩により、論文の読み方も大きく変化を遂げました。AI を活用することで以前と比べてはるかに簡単かつ早く論文が読めるようになりました。 以前私の個人ブログにて、論文の読み方やまとめ方を紹介しました。その時には要約ツールは用いていませんでしたが、最近はすっかり要約ツールを多用するようになりました。 本稿では、最新の AI を使った論文の読み方を丁寧に紹介します。 基本的な流れ 本稿でおすすめするのは ChatGPT か Claude で要約を生成して論文の概要をつかみ、Readable で精読するという方法です。ChatGPT や Claude では単に全体の要約を生成するだけでなく、肝となる箇所を特定したり理解するためにも用います。具体的な手順については後の項で解説します。 私が特定のテーマについて調査を行う場合には、テーマに関係する論文を被引用数の多いものを中心に 10
ChatGPTを業務に組み込むためのハンズオン 2023/06/26 一般公開用 デジタル庁 Fact&Data Unit 大杉直也 ↑マイナンバー交付数のダッシュボードを作っているところです 「Microsoft でテストされたアイデアのうち、改善を示すメトリクスを実際に改善できたのは3分の1にすぎない」 (Microsoft社 元Vice President) 「もしあなたが実験主導のチームにいるなら、70%の仕事が捨てられることに慣れてください。それに応じてプロセスを構築しましょう」(Slack社 Director) A/Bテスト実践ガイド p14より 一方で 「アイデアの価値を見積もることは難しい。このケースでは、年間１億ドルの価値ある単純な変更が何か月も遅れていた。」(同著 p5より) こともあります 午前中のアイデアソンで出たアイデアはちゃんと検証するまで価値があるかは不明です
中学英語レベルの純日本人理系大学生が、1ヶ月ちょいでAI駆使して卒論7割終わらせながらTOEIC 900超えた話 - Qiita
中学英語レベルの純日本人理系大学生が、1ヶ月ちょいでAI駆使して卒論7割終わらせながらTOEIC 900超えた話PythonAITOEICChatGPTclaude はじめに データサイエンティストを目指して日々勉強している、慶應大学理工学部4年生（2023.11.14時点） 取得資格、コンペ優勝経験など、リアルタイムの情報は👇👇👇をみてね X: @A7_data←こういう者です。 プロフィールページ👇👇👇 ※全て、個人の意見です。個人差もあります。 TOEICとは TOEICは、Test of English for International Communicationの略で、非英語圏の人々がビジネスシーンで英語を使う能力を測るためのテスト。 リスニングとリーディングの2つのセクションで構成されており、それぞれ495点満点、合計990点が最高得点。 TOEICスコアは、企業
全３回のシリーズパート２の本記事では、GPTの能力と可能性をAttention/Transformerの仕組みをふまえて考察します。 というつもりでしたが、凄く長くなってしまったのでパート2は以下の3回に分けようと思います。 （2.1）各技術の定性的な説明（本記事） （2.2）Transformerのアルゴリズム詳細 （2.3）GPTの能力と可能性について 2.1 各技術の定性的な説明 自然言語の構造を考えてみる まず我々が使う言語についてちょっと振り返るところから話を始めましょう。 文や文章は、おおもとのデータである文字から始まって、単語、文節、句、節、文、文章、さらにその上の意味、という風に階層的な構造を持っていると我々は概念的に認識してますよね。 構文の階層 そして、各階層や階層間には、文法や語法といった言葉のルールがあります。 深層学習はその名の通り、層を深くしたニューラルネットワ
はじめに 初めまして。ZENKIGENデータサイエンスチームのはまなすです。正式な所属はDeNAデータ本部AI技術開発部なのですが[1]、業務委託という形で今年度から深層学習系の開発等に携わっています。 深層学習界隈では、2017年に衝撃的なタイトル（Attention Is All You Need）の論文が発表されてから早5年半、元出自の機械翻訳タスクを大きく越えて、Transformer関連の技術が様々な領域で用いられる汎用アーキテクチャとして目覚ましく発展し続けています。 今回はそんなTransformerが現時点までにどのように活用されてきたか、また、どのように工夫されてきたかをざっくりと俯瞰し、流れをおさらいする目的の記事になります。本記事の大枠は、2021年時点でのサーベイ論文である A Survey of Transformers に倣いつつ、適宜、2023年2月上旬現在ま
仕事で差をつけるChatGPT活用術。初心者でも使えるスゴいテクニックを達人に聞く - ミーツキャリアbyマイナビ転職
業務効率化に一役買ってくれると話題の「ChatGPT」。 今や「大学生の4人に1人が就活でChatGPTを使っている」といったデータもあり、リリース当初はあまり興味のなかった方でも、最近は「自分の仕事でうまく使えたりしないかな？」なんて考える機会も増えてきたのではないでしょうか？ ただ、ChatGPTが作業をどこまで効率化してくれるのかはまだまだ未知数です。時間を食う資料の作成やExcelの集計作業などをまるっとお任せできたらうれしいけど、思うようなアウトプットが得られず手間が増えたら、本末転倒な気もしますよね。 それに、ChatGPTの生成データをめぐっては、権利関係や内容の中立性・正確性などの側面で一部懸念の声も挙がっています。業務内での利用を禁止する企業や、自身のコンテンツを「学習・流用」されないよう自衛措置を講じるクリエイターも存在します。使用にあたってのルールも、完全に整っている
先日OpenAIより発表されたGPT-4が話題ですが、同タイミングで公表されたTechnical Reportを読んでみたところ、全99ページのうち後半60ページを占めるドキュメント「GPT-4 System Card」において解説されていた、言語AIが抱える危険性と、いかにしてGPT-4が危険な回答を回避するように学習されているかについての内容が非常に興味深かったため、簡単にまとめてみました。 https://arxiv.org/pdf/2303.08774.pdf サマリ GPT-4のリリースに向けて、OpenAIでは安全性を評価するために50人超の専門家らを含む"レッドチーム"を結成。2022年8月から8ヶ月に渡ってリスクの評価とその軽減に向けたチューニングを実施してきた リスク評価における実験の中には「自身をコピーするプログラムを実行できるGPT-4が自己増殖をしないか確認する」と
「そんなメールがきたのは初めて」 東大院生も驚いたChatGPTの“効果” 池谷裕二教授の活用法 | AERA dot. (アエラドット)
東京大学大学院薬学系研究科教授の池谷裕二さん 人工知能による対話型の自動応答ソフト「ChatGPT」が登場し、大きな反響を呼んでいる。海外では学生たちがAIを使用し試験対策をする動きもある。日本の教育界では、AIの活用をどのように受け止めているのか。AERA 2023年3月20日号の特集「ChatGPTの衝撃」から、ここではすでにGPTを導入している現場を紹介する。 【「将来なくなる仕事」をChatGPTに聞いてみた結果はこうなった！】 ＊ ＊ ＊ GPTによって激変する業界の一つが、教育現場だ。 脳研究者で東京大学大学院薬学系研究科教授の池谷（いけがや）裕二さんのもとに、この冬、一通のメールが届いた。 「例年と出題傾向が違いますが」 差出人は池谷さんの授業を受けている学生。今年1月に期末テストが終わった後のことだ。 東大に限らず、大学生の多くは過去問をもとに試験対策をしている。だから
DALL-E3を実装日からほぼ毎日使用し面白さにとりつかれています。何となくで触っているため, いまいち思った画像が出来ないことも多々ありましたので今回まじめに作成法を勉強してみました。初級編と名前がついているのは高等テクニックを教えるほどの技術がないだけで後に上級編が控えているという意味ではないです。 0. はじめに DALL-E とはシンプルなテキストのみで画像がつくれるAIです。 簡単なテキストのみで画像生成語源は『ウォーリー探せ』と芸術家の『ダリ』から来ているみたいです。ウィーリーはある種の「探し物」をする, userが提示するテキストのプロンプトから隠された要素やまだ見ぬ画像を「探し出し」生成することらしいです。 ウォーリーをインスパイアした少年1. 問題点, 主に著作権やはり何と言っても著作権問題ではないでしょうか。現在法整備が進行しているところです。OpenAIはコンテンツポ
ChatGPT頼みのプログラムど素人が一日半でPython経由でOpenAI API使えるようになった - 関内関外日記
承前。 goldhead.hatenablog.com おれは761,000文字ある英文の小説を、AIに翻訳させたいと思った。思って、やり方をChatGPT3.5に聞いて、Pythonがいいという。はて、Python、なんだかわからんが、そのインストールから始めたのが昨日の朝。 とにかく、テキストファイルにある英文をChatGPTにハードボイルド風の日本語に翻訳させたい。ただ、一度に送信できるテキストの量（トークン）は限られているので、自動的に限度内の送信を繰り返して、その返信を受取る。受取ったテキストを結合させて一つの日本語テキストファイルにする。それでおれはクヌート・ハムスンの『土の恵み』を読める。これである。 Growth of the Soil by Knut Hamsun | Project Gutenberg で、上の記事にあるように、行き詰まったのが「AttributeErr
1. 第3次AIブームの到来 米Google DeepMindが開発した人工知能（AI）の囲碁プログラム「AlphaGo」が世界トップレベルの実力を持つ韓国のプロ棋士、李世ドル（イ・セドル）九段に4勝1敗と大きく勝ち越したことが着火剤となり、2015年より第3次AIブームへと突入した。(ちなみにAIが誕生したのは1950～1960年代で第1次AIブームの到来) 1.1 余談になるがAlphaGo(4億円の知能)はなぜすごいのか？ AlphaGoがそれ以前のチェスや将棋のAIと異なるのは、 畳み込みニューラルネットワーク（CNN） を応用している点だ。このCNNはさらに強化学習を行い、自分自身と対局を数千万回も繰り返した。 間違っていたらすみません、、、、 1.2 ChatGPTによる生成AIのブーム ChatGPTに代表されるLLMは以前から開発競争が繰り広げられていた。 GPT1は201
GPT-3を使って自分だけのAIアシスタントを作る第一歩 - Taste of Tech Topics
皆さんこんにちは。健康診断の結果がちょっと気になる年齢になってきたSsk1029Takashiです。 GPT-3を扱ってチャットボット作ってみる記事の第2弾になります。 第1弾のこちらもぜひご覧ください。 acro-engineer.hatenablog.com 前回は質問応答システムとしてGPT-3を活用しましたが、今回はAIアシスタントとしてGPT-3を活用してみます。 AIアシスタントとは何かというと、Google Homeのように命令を入力すると、それに沿った処理を実行してくれるシステムを指します。 ChatGPTとの違いは命令の結果は必ずしも文章生成だけではないということです。 ChatGPTでは文字列を入れて、要求に沿った文字列を返します。 対して、AIアシスタントでは、カレンダーに予定を入力したり、アラームを設定したりなど、具体的なタスクを実行します。 この記事では、前回に続
ChatGPTの法人向けプランとして、EnterpriseプランやTeamプランがリリースされていることはご存知でしょうか？ とくに、「ChatGPT Enterprise」は安全性が高く、応答も速いので、さまざまな業務を効率化できます。しかし、「ChatGPT Enterprise」はOpenAIから承認を受けなければならないので、全員がすぐに利用できるわけではありません。よって、現状は「ChatGPT Team」を利用するか、別の方法でChatGPTの機能を法人利用するのが得策です。 この記事では、ChatGPTの機能を法人利用する方法やChatGPT内臓のおすすめサービスをご紹介します。最後まで目を通していただくと、ChatGPTを安全かつ効率的に法人利用できるようになるので、業務の生産性が上がること間違いありません。 ぜひ最後までご覧ください。 なお弊社では、生成AIツール開発につ
ChatGPT についてポエムを書き散らすのが流行っている。珍しく流行に乗ってみる。機会を逃すとまた状況が激変しそうだし。 研究者の YouTuber 化 ChatGPT は研究者が想定していた成長曲線よりも上に外れたところに現れた。こんなに流暢にテキストを生成するモデルがこんなに早く出現するとは思わなかった。なぜ日本語まで流暢なのかはいまだに謎。 ChatGPT はテレビでも取り上げられるくらい一般に認知されているらしい。複数のテレビ取材に応じたという人がいたのでそうなのだろう。*1 私の観測範囲で起きているは、参入者が大勢いること。これまで自然言語処理をやってこなかったであろう人。従来の技術よりも圧倒的に敷居が低い。そもそもプログラムを書く必要がない。自然言語で指示を出すだけなら誰でもできる。 ChatGPT の上で踊りたいかというと気乗りしない。参入障壁が低いということは、競合が多い
クリエイターの時代
クリエイターの時代 2023.03.11 Updated by Ryo Shimizu on March 11, 2023, 15:48 pm JST ChatGPTが流行り過ぎている。 来週にはGPT-4が出るという話になっていて、しかもGPT-3は1750億パラメータであるのに対し、GPT-4は100兆パラメータと言われている。 普通に考えて単位が桁違いにおかしいのだが、そもそもそんなに巨大なニューラルネットワークが学習できてしまったことも驚きだが、実用的に使うためには信じられないくらい大規模な機械が必要になる。 まだ出てもいないGPT-4を警戒しても仕方ないので、むしろGPT-4が出る前の今のタイミングだからこそ、敢えて「ChatGPTブームの終わりは近い」と予測してみたい。 なぜか? 第一に、ChatGPTは、簡単に使え過ぎてしまう。 朝思いついて昼には新しいアプリができてしまう。
自己紹介 データサイエンティストを目指して日々勉強している、慶應大学理工学部4年生（202.01.09時点） 取得資格、コンペ優勝経験など、リアルタイムの情報は👇👇👇をみてね X: @A7_data←普段はXで活動しています。ありがたいことに、フォロワーは6500人を超えました😌 プロフィールページ👇👇👇 X👇👇👇 Day2の概要 Day2のテーマは「Prompting and Augmented Language Model」ということで、LLMの活用法に焦点が当てられている。（学習済みLLMを追加学習なしで活用する技術について） 項目としては大きく3つ。 プロンプティングや文脈内学習とは何か プロンプティングによる性能改善方法 Augmented Language Modelの概要 LLMの使い方に焦点を絞っているので、今回の授業だけでも幅広い人に役立ちそう。 言語
Transformer 深層学習モデル以前の言語モデルの課題 言語モデルでやりたいことは、「今まで生成した単語列を元に、次の単語を予測する」ことで、その単語は今まで生成した単語列を条件とし、次にある単語がくる条件付き確率を求め、その確率が最大のものを選ぶということだった。（LLM資料p.8参照） ただ、これだと単語列が長くなったときや、類義語の処理に課題が生じてしまっていた。 ニューラル言語モデル しかし、計算したい条件付き確率をNNで推定することにより、対処できた。 Encoder-Decoder型のRNN（Recurrent Neural Network)が最も基本的なモデルにはなるが、これでは長文に対応できなかった。（勾配消失＆単語間の長距離依存性の把握が困難） RNNが勾配消失するのは、活性化関数のtanhが1未満の値を取るため、BPTT時に掛け算されるとだんだん値が小さくなってし
はじめに 新規事業部 生成AIチーム 山本です。 ChatGPT（OpenAI API）をはじめとしたAIの言語モデル（Large Language Model：以下、LLM）を使用して、チャットボットを構築するケースが増えています。通常、LLMが学習したときのデータに含まれている内容以外に関する質問には回答ができません。そのため、例えば社内システムに関するチャットボットを作成しようとしても、素のLLMでは質問に対してわからないという回答や異なる知識に基づいた回答が（当然ながら）得られてしまいます。 この問題を解決する方法として、Retrieval Augmented Generation（以下、RAG）という手法がよく使用されます。RAGでは、ユーザからの質問に回答するために必要そうな内容が書かれた文章を検索し、その文章をLLMへの入力（プロンプト）に付け加えて渡すことで、ユーザが欲しい
はじめに英語の論文をGPT4に執筆させた際の手順を記します｡ 普段からChatGPTを使っている人にとっては､当たり前のやり取りしかしていないのですが､意外と使えていない方がnon-AI分野では多いので､丁寧にプロンプトを示していきます｡ (ワークショップで解説する必要が出てきたので､そのためのメモ書きです) GPT-4に論文は書けるのか?ゼロから書かせるのは難しいですが､日本語の下書きを英訳するのは得意で､少なくとも筆者が満足する品質のテキストが得られます｡ GPTを使って執筆をするメリットDeepLやGoogle翻訳と違い､英文のスタイル(e.g., 論文調)を明示的に指示できるので､翻訳のクオリティが高い 日本語ネイティブにとっては､日本語で書いた方が圧倒的に楽※ スペルミスや文法ミスを犯さないので､校正の手間も減る｡※ 基本的に翻訳タスクしか行っていないので､GPTが過去の類似文章
HTTP/3｜Webエンジニアが知るべき新常識 ─ QUICやコネクションマイグレーションなどを学ぶ｜ハイクラス転職・求人情報サイト AMBI（アンビ）
HTTP/3｜Webエンジニアが知るべき新常識 ─ QUICやコネクションマイグレーションなどを学ぶ 新しい通信プロトコルとして普及が進んでいるHTTP/3については、エンジニアHubでも過去に概論的な記事を掲載しています。今回はアプリケーション開発者が自社サービスでHTTP/3を採用することを想定して、仕様上の留意点や、どのように使い始めるか、そしてサイトを制作する際に注意しておきたいポイントまでを藤吾郎（gfx）さんに解説していただきました。 本記事ではHTTP/3およびその通信プロトコルであるQUICを、アプリケーション開発者として活用する立場で入門します。HTTP/3は、HTTP/1.1とHTTP/2に続く新しいメジャーバージョンのHTTPプロトコルです。HTTP/3はHTTP/1.1およびHTTP/2を置き換えるポテンシャルを持っています。将来的にほとんどのインターネットトラフィ
ChatGPTに共有するインタビュー内容について インタビューは1年前、社内のPM、PdM、エンジニアの方など計10名程にお話を伺いました。インタビューの経緯や詳細を知りたい方はこちらのブログをご覧ください。 インタビューのテーマはクラメソのデザイナー像（現状や理想）についてです。事前に質問を準備しましたが、半構造化インタビューの形式を取っていたことやインタビュアーと書記はチームの各メンバーがランダムに行っていたことがあり、人によって質問や解答の項目が異なります。ChatGPTが認識しやすくなるように項目を揃えることも考えましたが、あえて多少バラつきのある項目でも対応できるのか興味があったので、項目も文体もそのままで共有します。ただし具体的な案件名やメンバーの氏名、クラスメソッドという弊社名に至る固有名詞まで全てイニシャルに置き換えておきます。 また、今回はニールセン博士の理論に基づき、5
人工知能（AI）は、ウェブサイト制作を、根本から変えてしまうでしょう。 今のところ、AI画像生成ツールは、呪文（プロンプト）を唱える、ちょっとしたコツを覚えることで、以下のようなWebレイアウトを作成できます。 beautiful landing for spiderman website, design, ux/ui, ux, ui --ar 3:2 --v 4 --q 2 「花屋、フラワーショップ」をテーマにすると、一発でWebサイト向けレイアウトを錬成できます。 「日本」をテーマにすると、こんな美しいUIデザインに。 実際にAI画像生成ツールを使いこむうちに、少しずつわかってきた、AIツールでウェブサイトやUIデザイン画像を生成するコツを、メモ的にご紹介。 アップデート、継続していきます。 コンテンツ目次 ✨ AI画像生成ツールとは？ ✨ 唱える呪文（プロンプト）って何？ ✨ 画像を
【2023/11/7追記】 OpenAI Dev Dayにて、開発者向けの大型アップデートが発表されました。この記事で紹介している手法は、Retrieval-Augmented Generation(RAG)と呼ばれてきましたが、今回のアップデートでコンテクスト長（やりとりできるテキストの長さの上限）がこれまでの8Kから128K（12万8千トークン）に大幅にアップするため、一般的な本の内容は1冊分丸ごと渡すことができるようになります。独自データベースとの連携という意味では、ここで紹介している手法も引き続き有効な手法ですが、API関連でも様々な機能が追加されているので、リリースやSam Altmanによるキーノートは要チェックです。 ChatGPTは、膨大な量のテキストを学習してはいますが、天気予報のような最新の情報や、ある特定の本の内容や、特定のサービスの詳細についてはじめから知っているわ
はじめに 学習におけるChatGPTの活用方法といえば、「ChatGPTから教えてもらう」ということが多いと思います。 実際、私もそうです。 本記事は逆に 「ChatGPTに教える」 という使い方もありではないかという内容になります。 目次 何でChatGPTに教えるの？ 「人に教える」ことで記憶への定着率が高くなると感じた経験 実際にChatGPTに教えてみる さいごに 何でChatGPTに教えるの？ 「学習にはアウトプットが重要」 ということを耳にしたことがある人は多いかと思います。 主なアウトプットには、次のような手法があります。 Qiitaなどに技術記事を書く 勉強会で発表する 人に教える 自分のこれまでの経験を振り返ってみてもアウトプットをしていると記憶への定着率が高いです。 特に「人に教える」という行為は、記憶への定着率が高まると感じています。 ただ、双方向のやりとりが必要とな
ChatGPTの面白い使い方「テンプレート・固有表現抽出・感情分析・エッセイを書かせる」 - シロッコの青空ぶろぐ
ランキング参加中GPT 目次 ChatGPTの面白い使い方 この書き出しはChatGPTに書いてもらった。 テンプレートで出力フォーマットが指定できる アメリカ合衆国の大統領リスト 大統領リストの出力 固有表現を抽出させる 固有表現とは 固有表現抽出 ChatGPTの回答 ChatGPTは感情分析が出来る 次の分析対象文を感情分析して 分析対象文の感情分析結果 アメリカ国家の歌詞を感情分析して 日本の国歌「君が代」の歌詞を感情分析して ChatGPTにエッセイを書いて貰う ペットにするのに最適な蛇を教えて 「ボールパイソンはペットに最適」というエッセイを書いて ChatGPTが書いた「ボールパイソンはペットに最適」 まとめ ChatGPTの面白い使い方 こんにちは、私はブロガーのシロッコです。最近、人工知能の言語モデルChatGPTが大きな話題となっています。ChatGPTは、自然言語処理
「ChatGPT」に代表される生成系AI（人工知能）の利用が急速に広がるなか、東京大学の太田邦史理事・副学長が2023年4月3日、学内サイト「utelecon」に掲載した生成系AIに関する教員や学生向けの文書が話題を呼んだ。同文書は生成系AIが抱える問題点に言及しつつ、利用を禁止するだけでは問題は解決しないとし、「積極的に良い利用法や新技術、新しい法制度や社会・経済システムなどを見いだしていくべきだ」と指摘している。 日経クロステックのインタビューに応じた太田副学長は、「チャンスとして積極的に捉えようというメッセージをしっかりと打ち出しておきたかった」と説明する。初めてChatGPTに触れたときは、「（学生がリポート作成などに多用して）どうしようもなくなる」（太田副学長）と感じたというが、学内で議論した末、「利用を前提に、あらゆることを見直す方向へかじを切るべきだ」という結論に至ったと明か
こんにちは！株式会社Rabeeのtotoです🐝デザイン・EC・マーケティングでの職務経験から得た、働きやすさに繋がるヒントをnoteに記していきたいと思います。 本日は「生成AI」はほぼ初めて！というWEBデザイナーの方が、業務で使える活用術をご紹介します。 まずは基本的な使い方の習得を目指しましょう！ 今回は主にChatGPTを使った業務の効率化方法をお伝えします。 私が普段利用する時はTeamプランを使用していますが、無料プランでできるものを取り上げましたので、ぜひ実際に試しながら読んでみてくださいね！ 1. 生成AIを使うリスクとは？はじめに、生成AIを使う上での注意点をお伝えします。 漠然とリスクを感じているために、生成AIを業務に活用できていないという方も多いのではないでしょうか。 主にどのようなリスクがあるのかを把握し、何に注意をすれば良いのかを知りましょう。 1. データの
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
プログラミングに挫折したならAIお姉ちゃんに任せなさい - 本しゃぶり
GPTの仕組みと限界についての考察（１） - conceptualization
東大の「教員向けChatGPT講座」無料公開 「多くの教員が困るだろう」から
ChatGPTでstep by stepもロールプレイもやめたらプロダクト開発で使える精度になったよ｜MRYY
ChatGPT と結城浩の対話（矛盾や反復を含んだ対話によってAIと人間の識別は行えるか）
社内勉強会で生成AIについて発表したので70ページの資料を公開する！ - Qiita
ChatGPTを最強の学習ツールにする方法 - Qiita
高木浩光＠自宅の日記 - Claude 3に例の「読了目安2時間」記事を解説させてみた
GWにChatGPTについて振り返りたい人向けまとめ - まなめはうす
ChatGPTを業務に組み込むためのハンズオン.pdf
GPTの仕組みと限界についての考察（2.1） - conceptualization
30分で完全理解するTransformerの世界
GPT-4はどのようにして「不適切な回答」を回避するように学習されているのか - Qiita
DALL-E3 (ダリスリー) の無料教科書:初級編｜プチpony
pythonは_(アンダースコア)の使い方を理解するだけでプロフェッショナルになれる - Qiita
ChatGPTの法人利用方法6選！業務が鬼捗る生成AIサービス10選や料金、セキュリティについても紹介 | WEEL
ChatGPT 雑感 - murawaki の雑記
【Day 2】東大松尾研のLLM講座資料が公開されたから、詳しく読んでいくよ【備忘録】 - Qiita
【Day 3】東大松尾研のLLM講座資料が公開されたから、詳しく読んでいくよ【備忘録】 - Qiita
RAGの実案件に取り組んできた今までの知見をまとめてみた | DevelopersIO
英語の学術論文をChatGPT-4で執筆する際の手順メモ｜Kan Hatakeyama
ChatGPTにペルソナを作ってもらったら完成度が高かった | DevelopersIO
画像生成AIでウェブサイトやUIデザインを生成するコツ
ChatGPTで独自データを扱うためのエンべディング｜緒方 壽人 (Takram)
最良の学習方法「人に教える」にChatGPTを活用する - Qiita
「ChatGPTの利用前提に全てを見直す方向へかじを切る」、東京大学の太田副学長
WEBデザイナー向け！はじめての「ChatGPT」で業務効率化をするヒント｜toto｜Rabee.inc