ChatGPTなどの大規模言語モデルはどんな理論で成立したのか？重要論文24個まとめ
2022年11月にChatGPTが公開され、たった1週間で100万ユーザーを超えたのをきっかけに、GoogleのBardやMicrosoftのBing AI Chatなど、大規模言語モデルを利用したチャットAIが続々とリリースされています。チャットAIを研究しているセバスティアン・ラシュカさんが、チャットAIが実用化されるまでの研究の軌跡を重要な論文24個に絞って要約しています。 Understanding Large Language Models - by Sebastian Raschka https://magazine.sebastianraschka.com/p/understanding-large-language-models ◆目次 ・主要なアーキテクチャとタスク ・スケーリングと効率性の向上 ・言語モデルを意図した方向へ誘導する ・人間のフィードバックによる強化学習(
三流は情報収集に使い､二流は自分がラクをするために使う…一流の人の｢スゴいChatGPTの使い方｣ 自分の能力を上げてくれるコーチ､トレーナーの役割
AIチャットボット「ChatGPT」が注目を集めている。どのように仕事に活用すればよいのか。初期の頃からChatGPTを“使い倒している”という深津貴之さんは「ChatGPTは、結構知ったかぶりしてウソをついたりするので、検索エンジンのように使うのはお勧めしない。しかし、コツを押さえて使うと、アシスタントのように使えて仕事にとても役立つ」という――。 ChatGPTは「確率で話す」 ChatGPTの最大の特徴は「コンピューター言語（プログラミング言語）などではなく、人間の使う言葉で命令でき、回答してくれること」です。 うまく使えば、仕事の効率化や高度化が実現しますが、そのためにはChatGPTにできることとできないこと、またChatGPTの得意なことと不得意なことを理解する必要があります。 まず覚えておきたいのは、「ChatGPTは確率でしゃべるマシンである」ということです。基本的には、こ
【2024年版】ChatGPT APIを社内利用する時に採用すべきアーキテクチャを考えた - Qiita
結論 社内システム上の多数のアプリケーションがChatGPT APIを活用しているというシチュエーションを想定し、AI共通基盤が持つべき機能とアーキテクチャを検討しました。 ポイントは以下の３つです。 社内システム上のあらゆるアプリケーションにChatGPT APIが組み込まれる未来が想定される アプリケーションごとに必要な実装は重複するため共通化が可能 Proxyサーバを社内に配置しそこで共通的な処理を行い、各アプリケーションはAPI呼び出しのみを行う 背景 -ChatGPT APIの2024年を予想する- 2023年5月現在のChatGPT APIの活用状況 2023年3月1日にChatGPT APIであるGPT3.5-turboがリリースされ、あらゆるプレイヤーによってこぞって活用方法が模索されています。 現在の活用状況について知見を深めたかったため、TwitterにてChatGPT
【GPT】プロンプトエンジニアリング手法まとめ - Qiita
はじめまして、sonesuke( https://twitter.com/sonesuke ) です。 LLMのニュースを追っかけ続けたので、これからキャッチアップする人用にまとめておきます。 単発のプロンプトテクニックについてはこちらご覧ください。 これだけは知っとけ用語 各手法の説明を読む前に、これらの用語を読んでおくと各手法がわかります。知っている人は飛ばしてください。 プロンプトエンジニアリング 入力(プロンプト)を工夫して性能をあげようというアプローチ。 機械学習系で精度アップといえば、追加学習させたりモデルを拡張するのですが、LLMではモデルが大き過ぎてコストが洒落になりません。 そのような事情からプロンプト側を工夫することで、回答に直接影響を与えるという手法が発達しています。 ファインチューニング モデルを新たな学習データで追加学習させ、モデルのパラメータを更新し、精度を高め
自分のScrapboxをChatGPTにつないだ - 西尾泰和のScrapbox
Kozanebaは、デジタル文房具で、考えをまとめるためのツール。テストユーザ向けにはリリースされているが、まだ広くアナウンスされていない。開発者は、多くの人に使われることに価値を感じている。
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
ChatGPT API で区切り線を表現する最適な文字列を見つけた件
