東大×生成AIシンポジウム 生成AIが切り拓く未来と日本の展望
日時｜2023年7月4日（火）12時30分～17時 日時｜2023.7.4.Tue12:30～17:00 場所｜東京大学内 共催｜東京大学大学院工学系研究科、 TMI総合法律事務所 生成AIは我々の生活や仕事の仕方を変えるだけでなく、新たな創造性を生みだす可能性を秘めています。その爆発的な発展にますます期待が高まる一方で、人間活動に対する深刻な影響も懸念されています。社会全体を根本的に変える可能性がある、この新しい技術の可能性とリスクについて、各界のリーダー達はどのように捉え、どのような戦略を採用し、いかなる未来を切り拓くことを思い描いているのでしょうか。4つのテーマのパネルディスカッションを通じて、AIが社会にもたらす変革とその本質を深堀し、参加者と共に人間社会の新たな未来像を探求する機会を提供します。 Generative AI has the potential to signifi
ChatGPTを支えた高品質AI作成手法「RLHF」の中身はこんな感じ、面倒なデータ入力・整理はオープンソースでセルフホスト可能なプラットフォーム「Argilla」が便利
RLHFとは「人間の評価による強化学習」のことで、大規模言語モデルをChatGPTなどの実用レベルに至る品質にまで高めた実績のある手法です。RLHFでは教師データを作成したり、大規模言語モデルの回答を評価したりする際に人間がデータを入力する必要があり、特に複数人で作業する場合にデータの管理が大変になってしまうものですが、そうしたRLHF用データの入力や管理を行ってくれるプラットフォームが「Argilla」です。 Bringing LLM Fine-Tuning and RLHF to Everyone https://argilla.io/blog/argilla-for-llms/ 大規模言語モデルを作成する時の手順を示したのが下の図です。まず大量のテキストを用いて事前学習を行います。こうして作成されたモデルが事前学習済みモデルで、GPTやPaLM、LLaMAなどのモデルがこのカテゴリに
GPTで作ったAIに24時間お問合せ対応をしてもらう方法とは？ 導入手順とそのリアルな成果と課題を徹底レポート！｜maKunugi
GPTで作ったAIに24時間お問合せ対応をしてもらう方法とは？ 導入手順とそのリアルな成果と課題を徹底レポート！ GPTを利用したプロダクトが次々と登場し、AIの社会実装が加速していますね！「AIによるお問合せへの対応」も、GPTの利用が大きく期待される領域です。本記事は、GPT製のお問合せ対応チャットボットを導入する手順を紹介します。そして手順に加え、導入によって見えた成果と現状のリアルな課題を併せてご紹介します。 この検証によって作成されたお問い合わせ対応AIは、下記のページに設置済みです。本記事の内容でこんなAIチャットボットを作れます。 https://miibo.jp/ お問合せAIとの会話の様子※ 本記事は会話AI構築プラットフォームmiiboを運営する株式会社miiboにて執筆しています。 お問合せAI導入の恩恵は大きい！GPTを利用した賢いAIが顧客や社員の質問に24時間回
ChatGPTなどの大規模言語モデルはどんな理論で成立したのか？重要論文24個まとめ
2022年11月にChatGPTが公開され、たった1週間で100万ユーザーを超えたのをきっかけに、GoogleのBardやMicrosoftのBing AI Chatなど、大規模言語モデルを利用したチャットAIが続々とリリースされています。チャットAIを研究しているセバスティアン・ラシュカさんが、チャットAIが実用化されるまでの研究の軌跡を重要な論文24個に絞って要約しています。 Understanding Large Language Models - by Sebastian Raschka https://magazine.sebastianraschka.com/p/understanding-large-language-models ◆目次 ・主要なアーキテクチャとタスク ・スケーリングと効率性の向上 ・言語モデルを意図した方向へ誘導する ・人間のフィードバックによる強化学習(
独自のデータセットでGPTのような大規模言語モデルを簡単にファインチューニングできるライブラリ「Lit-Parrot」をGoogle Cloud Platformで使ってみた
特定の分野についての知識を増やす場合など、大規模言語モデルの出力を特定の方向に寄せる場合に利用されるのがファインチューニングで、これはモデルをゼロから構築するのに比べてはるかに少ないデータセット＆はるかに少ないコストでトレーニングできる手法です。「Lit-Parrot」はファインチューニングを簡単に行えるようにしたライブラリとのことなので、実際に使ってどれくらい簡単なのかを試してみました。 lit-parrot/scripts at main · Lightning-AI/lit-parrot · GitHub https://github.com/Lightning-AI/lit-parrot How To Finetune GPT Like Large Language Models on a Custom Dataset - Lightning AI https://lightnin
「人間の子供が聞く量の単語」のみで大規模言語モデルを新たにトレーニングするチャレンジ「BabyLM Challenge」が開催中、誰でも挑戦可能
チャットAIに用いられる大規模言語モデルの性能は、パラメーター数やトレーニングデータの量が増えるほど上昇するというのが通説ですが、この通説に反して「少ないデータ量で高性能な言語モデルを作成する」というチャレンジ「BabyLM Challenge」が開催されています。 babylm.github.io https://babylm.github.io/ 大規模言語モデルの作成においては、一番最初に事前学習と呼ばれる工程があります。事前学習では文章を入力して続く単語を当てるというトレーニングが行われ、大規模言語モデルはこのトレーニングを通して文章を作成できるようになります。 トレーニングに用いる単語の量は年々増加しており、2018年のBERTは30億語のデータでトレーニングされましたが、2019年のRoBERTaは300億語、2020年のGPT-3は2000億語、そして2022年のChinch
STUDIO | Web制作を、ノーコードで。
コードやテンプレートに縛られずに、 誰でも自由自在にデザイン可能。 作成したサイトは、1クリックで世界に公開。 そう、必要なのはSTUDIOだけです。
LangFlow とは | Hakky Handbook
Hakkyでは「データでプロダクトを価値あるものにする」というミッションの元、大規模言語モデルを積極的に活用して記事執筆しております。ビジネスにおけるAI活用のため、Handbookをお役立ていただきましたら幸いです。 LangFlow とは LangFlow は、LangChain の GUI を提供するパッケージです。 これを用いることで、ドラッグ＆ドロップでコンポーネントを組み立て、チャットボックスでフローの実験とプロトタイプを楽に行うことができます。 LangFlow の使い方 LangFlow の実行 ここでは、LangFlow の使い方を簡単に紹介します。 実行環境への依存度を下げるため、今回は Docker コンテナを用いて実行します。 適当なディレクトリ内に、以下の２つのファイルを作成します。 Dockerfile FROM python:3 USER root RU
Re:ゼロから始めるAzure Machine Learning (電子版) - アジュール魔法魔術学校 - BOOTH
**第2版を販売しています (https://azuresww.booth.pm/items/5736183) ** **こちらの商品は電子版です** Azure Machine Learningは2018年に一般提供が開始されて以降、急速に進化し続けています。過去にはAzure Machine Learning Studio (classic)の日本語書籍がありましたが、現行のAzure Machine Learningの日本語解説本はいまだ無く、本書はそのニッチを埋めるべく執筆されました。 本書では現行Azure Machine Learning日本語解説本として、サービスの基礎から応用まで、順を追って解説します。Azure Machine Learningのコンセプト解説とセットアップから始まり、基本的な使い方としてモデルの学習と推論、AutoMLの実行方法を解説した後、応用としてM
AI法廷の模擬裁判@五月祭/プロンプト公開｜AI法廷の模擬裁判/東大五月祭
第９６回五月祭（２０２３年5月13日）において公開された『AI法廷の模擬裁判』のプロンプトおよび入力した脚本を公開します。 当日の様子はYoutubeにてご覧いただけます。 １． はじめに プロンプトだけを知りたい方は、２. プロンプト本文 にどうぞ。 ただし、記事全体に書いてあることを踏まえコメントをお寄せください。 ・プロンプト公開のねらい今回プロンプトを公開する理由は、主に「AI裁判官の公正性を確認してもらうこと」です。 現在のAI技術はブラックボックスです。それは私企業のモデルであるGPTにいかなる操作がされているか不明なこと、またそれらの操作がいかなる機序で作動しているか不明なこと、プロンプト入力過程が不明なこと、の３つに分割できます。前者２つのブラックボックスの内容は主催側にも全く不明ですが、入力過程のブラックボックスは主催側の領分です。その中身を皆さんに確認してもらうため、公
OpenAIが対話AIや画像生成AIに使われる「埋め込みモデル」を刷新、性能当たりの価格が99.8％も安価に
AI開発団体のOpenAIが、テキストや画像を数字に変換するEmbedding(埋め込み)モデル「text-embedding-ada-002」を発表しました。text-embedding-ada-002は従来のモデルよりも大幅に機能が向上し、コストパフォーマンスも高くなり、より使いやすくなっているとのことです。 New and Improved Embedding Model https://openai.com/blog/new-and-improved-embedding-model/ Embeddings - OpenAI API https://beta.openai.com/docs/guides/embeddings アルゴリズムがテキストや画像を認識するためには、テキストや画像を数値のデータに変換する必要があります。埋め込みは、テキストや画像を何らかのベクトルに変換する工程
ベクトル検索ライブラリ Faiss を試す｜npaka
ベクトル検索ライブラリ「Faiss」を試したので、使い方をまとめました。 1. Faiss「Faiss」は、Facebookがリリースしたベクトル検索ライブラリです。 2. テキストを埋め込みに変換「埋め込み」は、意味的類似性を示すベクトル表現です。2つのベクトル間の距離は、その関連性を表し、小さな距離は高い関連性、大きな距離は低い関連性を示します。 一般的に次のような用途に使用されます。 ・検索 : 検索結果がクエリ文字列との関連性でランク付けされる ・クラスタリング : テキストを類似性によってグループ化 ・レコメンデーション : 関連するテキストを含む項目を推奨 ・異常検出 : 関連性の少ない外れ値を特定 ・ダイバーシティ測定 : 類似性分布を分析 ・分類 : テキストを最も類似したラベルで分類 Colabでの実行手順は、次のとおりです。 (1) メニュー「編集→ノートブックの設定」
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Exploring LangChain and LlamaIndex to Achieve Standardization and Interoperability in Large…
Cannot print the terminal output in Streamlit?
Create a ChatGPT clone using Streamlit and LangChain
【旧】LangChain Indexesとは？【Document Loaders・Text Splitters・Vectorstores】
14. パラレルセットグラフ — マンガと学ぶデータビジュアライゼーション
Getting Started with LangChain: A Beginner’s Guide to Building LLM-Powered Applications
🤗Hugging Face Transformers Agent
10 Examples to Learn the JSON module of Python