GPT-4の精度は悪化している？ 3月に解けた数学の問題解けず GPT-3.5にも敗北──米国チームが検証
「GPT-4の精度は時間とともに変わっている」──そんな研究成果を米スタンフォード大学と米カリフォルニア大学バークレー校の研究チームが発表した。3月と6月時点のGPT-4の精度を比較したところ、一部タスクでは精度が大きく悪化していたという。ただし、この論文は査読前のもので第三者によるレビューは受けていない。 GPT-4は、米OpenAIが提供する大規模言語モデル（LLM）。3月の発表後、チャットAI「ChatGPT」にも搭載され、性能の高さが大きな話題を集めた。LLMは、データのフィードバックや設計変更などをすると性能が変化する。しかし、OpenAIはLLMの更新について発表しておらず、公開以後の性能変化も明らかにしていない。そこで研究チームは、3月と6月時点でのGPT-4、前モデルであるGPT-3.5に精度の違いがあるのか検証した。 実験ではChatGPTに対して「数学の問題の回答」「機
1万種類を超える大規模言語モデル(LLM)をまとめてダウンロード数や類似性などを分かりやすく視覚化したデータライブラリが公開される
2022年後半から「ChatGPT」や「Bard」など数え切れないほどの大規模言語モデル(LLM)およびAIサービスが登場し、世界中のユーザーが生成AIを積極的に使い始めるようになりました。こうした大規模言語モデルの多くは機械学習モデルとデータセットのリポジトリであるHugging Faceに寄託されていますが、スタンフォード大学の研究者らがHugging Faceのデータをまとめて視覚化したものを新たに公開しました。 [2307.09793] On the Origin of LLMs: An Evolutionary Tree and Graph for 15,821 Large Language Models https://doi.org/10.48550/arXiv.2307.09793 Constellation https://constellation.sites.stan
多要素認証のバイパスが可能な攻撃「Pass-The-Cookie」について
NECサイバーセキュリティ戦略統括部 セキュリティ技術センターの桐下です。 今回のブログでは、Pass-The-Cookieという攻撃手法について紹介します。Pass-The-Cookieは、多要素認証をバイパスすることが可能な強力な攻撃です。Office365(Microsoft365)を対象にデモを交えながら攻撃手法を紹介します。 Pass-The-Cookieとは、WebアプリケーションのセッションCookieを攻撃者が何らかの手段で入手し、セッションCookieを悪用して認証をバイパスする攻撃手法です。有効なセッションCookieをブラウザに投入するだけでWebアプリケーションにログインすることが可能です。セッションCookieは、ログイン成功状態を保持しています。そのため、セッションCookieを入手し、ブラウザに投入することでID/Password認証及び多要素認証要求をバイパ
UserAgentからOS/ブラウザなどの調べかたのまとめ - Qiita
WEBサイトにアクセスしてくる利用者の情報をUserAgentから調べることが出来るが、どんな情報がわかるか調べてみた。より詳しい情報は参考に使ったサイトを参照で。 はじめに GoogleがChromeにおいてユーザーエージェント文字列を段階的に廃止することを発表しています。 段階的にUserAgentが削除版UA文字列に置き換わっていきChrome 113で完全に削減版の UA 文字列となってしまいます。 削除版のUA文字列は以下の通りです。 User-Agent Reduction # Desktop (user on Windows 8.1, for example) # 旧 UA文字列 Mozilla/5.0 (Windows NT 6.3; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/93.0.1234.56
従来の大規模言語モデルの制約だった「入力量の限界」を取り払った「RWKV」は一体どんな言語モデルなのか？
ChatGPTやBardなど、2023年7月時点で商用利用されている大規模言語モデルはほとんど全てがトランスフォーマーというアーキテクチャを利用したモデルですが、トランスフォーマー型のモデルは入力の長さの2乗に比例して計算量が増加するため、入力サイズが制限されてしまう問題があります。そうした問題に応えて、大きいデータへの対応や推論時のメモリ使用量の削減を達成しつつトランスフォーマー型に匹敵する性能を出せるアーキテクチャ「RWKV」について、著者の一人がブログで解説しています。 The RWKV language model: An RNN with the advantages of a transformer | The Good Minima https://johanwind.github.io/2023/03/23/rwkv_overview.html How the RWKV l
東大×生成AIシンポジウム 生成AIが切り拓く未来と日本の展望
日時｜2023年7月4日（火）12時30分～17時 日時｜2023.7.4.Tue12:30～17:00 場所｜東京大学内 共催｜東京大学大学院工学系研究科、 TMI総合法律事務所 生成AIは我々の生活や仕事の仕方を変えるだけでなく、新たな創造性を生みだす可能性を秘めています。その爆発的な発展にますます期待が高まる一方で、人間活動に対する深刻な影響も懸念されています。社会全体を根本的に変える可能性がある、この新しい技術の可能性とリスクについて、各界のリーダー達はどのように捉え、どのような戦略を採用し、いかなる未来を切り拓くことを思い描いているのでしょうか。4つのテーマのパネルディスカッションを通じて、AIが社会にもたらす変革とその本質を深堀し、参加者と共に人間社会の新たな未来像を探求する機会を提供します。 Generative AI has the potential to signifi
ChatGPTを支えた高品質AI作成手法「RLHF」の中身はこんな感じ、面倒なデータ入力・整理はオープンソースでセルフホスト可能なプラットフォーム「Argilla」が便利
RLHFとは「人間の評価による強化学習」のことで、大規模言語モデルをChatGPTなどの実用レベルに至る品質にまで高めた実績のある手法です。RLHFでは教師データを作成したり、大規模言語モデルの回答を評価したりする際に人間がデータを入力する必要があり、特に複数人で作業する場合にデータの管理が大変になってしまうものですが、そうしたRLHF用データの入力や管理を行ってくれるプラットフォームが「Argilla」です。 Bringing LLM Fine-Tuning and RLHF to Everyone https://argilla.io/blog/argilla-for-llms/ 大規模言語モデルを作成する時の手順を示したのが下の図です。まず大量のテキストを用いて事前学習を行います。こうして作成されたモデルが事前学習済みモデルで、GPTやPaLM、LLaMAなどのモデルがこのカテゴリに
GPTで作ったAIに24時間お問合せ対応をしてもらう方法とは？ 導入手順とそのリアルな成果と課題を徹底レポート！｜maKunugi
GPTで作ったAIに24時間お問合せ対応をしてもらう方法とは？ 導入手順とそのリアルな成果と課題を徹底レポート！ GPTを利用したプロダクトが次々と登場し、AIの社会実装が加速していますね！「AIによるお問合せへの対応」も、GPTの利用が大きく期待される領域です。本記事は、GPT製のお問合せ対応チャットボットを導入する手順を紹介します。そして手順に加え、導入によって見えた成果と現状のリアルな課題を併せてご紹介します。 この検証によって作成されたお問い合わせ対応AIは、下記のページに設置済みです。本記事の内容でこんなAIチャットボットを作れます。 https://miibo.jp/ お問合せAIとの会話の様子※ 本記事は会話AI構築プラットフォームmiiboを運営する株式会社miiboにて執筆しています。 お問合せAI導入の恩恵は大きい！GPTを利用した賢いAIが顧客や社員の質問に24時間回
ChatGPTなどの大規模言語モデルはどんな理論で成立したのか？重要論文24個まとめ
2022年11月にChatGPTが公開され、たった1週間で100万ユーザーを超えたのをきっかけに、GoogleのBardやMicrosoftのBing AI Chatなど、大規模言語モデルを利用したチャットAIが続々とリリースされています。チャットAIを研究しているセバスティアン・ラシュカさんが、チャットAIが実用化されるまでの研究の軌跡を重要な論文24個に絞って要約しています。 Understanding Large Language Models - by Sebastian Raschka https://magazine.sebastianraschka.com/p/understanding-large-language-models ◆目次 ・主要なアーキテクチャとタスク ・スケーリングと効率性の向上 ・言語モデルを意図した方向へ誘導する ・人間のフィードバックによる強化学習(
独自のデータセットでGPTのような大規模言語モデルを簡単にファインチューニングできるライブラリ「Lit-Parrot」をGoogle Cloud Platformで使ってみた
特定の分野についての知識を増やす場合など、大規模言語モデルの出力を特定の方向に寄せる場合に利用されるのがファインチューニングで、これはモデルをゼロから構築するのに比べてはるかに少ないデータセット＆はるかに少ないコストでトレーニングできる手法です。「Lit-Parrot」はファインチューニングを簡単に行えるようにしたライブラリとのことなので、実際に使ってどれくらい簡単なのかを試してみました。 lit-parrot/scripts at main · Lightning-AI/lit-parrot · GitHub https://github.com/Lightning-AI/lit-parrot How To Finetune GPT Like Large Language Models on a Custom Dataset - Lightning AI https://lightnin
「人間の子供が聞く量の単語」のみで大規模言語モデルを新たにトレーニングするチャレンジ「BabyLM Challenge」が開催中、誰でも挑戦可能
チャットAIに用いられる大規模言語モデルの性能は、パラメーター数やトレーニングデータの量が増えるほど上昇するというのが通説ですが、この通説に反して「少ないデータ量で高性能な言語モデルを作成する」というチャレンジ「BabyLM Challenge」が開催されています。 babylm.github.io https://babylm.github.io/ 大規模言語モデルの作成においては、一番最初に事前学習と呼ばれる工程があります。事前学習では文章を入力して続く単語を当てるというトレーニングが行われ、大規模言語モデルはこのトレーニングを通して文章を作成できるようになります。 トレーニングに用いる単語の量は年々増加しており、2018年のBERTは30億語のデータでトレーニングされましたが、2019年のRoBERTaは300億語、2020年のGPT-3は2000億語、そして2022年のChinch
STUDIO | Web制作を、ノーコードで。
コードやテンプレートに縛られずに、 誰でも自由自在にデザイン可能。 作成したサイトは、1クリックで世界に公開。 そう、必要なのはSTUDIOだけです。
LangFlow とは | Hakky Handbook
これで、LangFlow が起動します。 http://localhost:7860 にアクセスして、LangFlow の画面が表示されれば成功です。 LangFlow でフローを作成する LangFlow でフローを作成するのは簡単です。 サイドバーから必要なコンポーネントをキャンバスにドラッグアンドドロップし、それらを互いに接続するだけです。 LangFlow は、LLM、プロンプトシリアライザー、エージェント、チェーンなどの LangChain コンポーネントを提供します。 ここでは、一例として、OpenAI の text-davinci-003 モデルを用いたエージェントを作成してみましょう。 今回構築するのは、ユーザーの入力に対して、適宜検索を実行しながら適当な回答を返すエージェントです。 サイドバーの Agent から ZeroShotAgent をキャンバスにドラッグアンド
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
prefect) sqlite3.OperationalError: table worker_pool already exists Error when I build docker container using prefecthq/prefect image
Clipdrop - Sketch to image
Exploring LangChain and LlamaIndex to Achieve Standardization and Interoperability in Large…
Cannot print the terminal output in Streamlit?
Create a ChatGPT clone using Streamlit and LangChain
【旧】LangChain Indexesとは？【Document Loaders・Text Splitters・Vectorstores】
14. パラレルセットグラフ — マンガと学ぶデータビジュアライゼーション