ではそもそも“1bit”とは何が1bitなのか、どうして1bitになるとGPUが不要になるのか。LLMでGPUが不要になるとどんな世界が訪れるのか。オーダーメイドによるAIソリューション「カスタムAI」の開発・提供を行うLaboro.AIの椎橋徹夫CEOに聞いた。 プロフィール：椎橋徹夫 米国州立テキサス大学理学部卒業後、ボストンコンサルティンググループに参画。消費財や流通など多数のプロジェクトに参画した後、社内のデジタル部門の立ち上げに従事。その後、東大発AI系のスタートアップ企業に創業4人目のメンバーとして参画。AI事業部の立ち上げをリード。東京大学工学系研究科松尾豊研究室にて「産学連携の取り組み」「データサイエンス領域の教育」「企業連携の仕組みづくり」に従事。同時に東大発AIスタートアップの創業に参画。2016年にLaboro.AIを創業し、代表取締役CEOに就任。 ──まず、1bi
3/24にアップした資料が含まれますが、 ベーシックなとこから全部入りにした資料です。 ・今までのAIとGPT ・GPT関連ニュースリリース ・OpenAIとMicrosoftの関係 ・Azure OpenAI Serviceの位置づけ ・ChatGPTなど言語生成モデルの挙動イメージ ・プロンプト(入力)を基点に生まれたML学習の新しいパラダイム ・Prompt Processing ・Few-shot Learning ・Chain of Thought ・ReAct ・Prompt EngineeringとFine tuningの位置づけイメージ ・プロンプトインジェクションについて ・その他の開発観点
IT業界において大規模言語AIサービス「ChatGPT」が大盛り上がりだ。2023年に入ってからはあらゆる業界の企業がChatGPTを使ったサービスをこぞって発表している。IT超大手GAFAMも続々大規模言語AIの活用方針を打ち出している。 そんなChatGPTはどうやってここまでの人気を得るに至ったのか。日本語特化の大規模言語AIを開発してきた東大発ベンチャー・ELYZA（東京都文京区）は3月16日の発表会で、今この業界で何が起きているのかを、歴史とともに解説した。 GAFAMが続々アプローチ IT業界が一瞬でAIカラーに染まる ChatGPTは2022年11月の公開以降、飛ぶ鳥を落とす勢いでユーザーを獲得してきた。ユーザー数はリリースから5日で100万人、2カ月で1億人を突破した。米Microsoftは開発元の米OpenAIにもともと10億ドルを出資していたが、ChatGPT登場後さら
GitHub - openai/openai-cookbook: Examples and guides for using the OpenAI API
✨ Navigate at cookbook.openai.com Example code and guides for accomplishing common tasks with the OpenAI API. To run these examples, you'll need an OpenAI account and associated API key (create a free account here). Set an environment variable called OPENAI_API_KEY with your API key. Alternatively, in most IDEs such as Visual Studio Code, you can create an .env file at the root of your repo contai
あなたは、プロの【その分野の専門家】です。 以下の制約条件と入力文をもとに、【出力内容】を出力してください。 # 制約条件： 【前提条件や決まりごと】 # 入力文： 【期待する出力結果や大まかな指示】 あなたは、プロのエンジニアです。 以下の制約条件と入力文をもとに、ブログ記事の内容を出力してください。 # 制約条件： ・重要なキーワードを取り残さない。 ・文字数は30000文字程度 # 入力文： Swaggerについて技術ブログに投稿する文章を書いてください。 構成は、Swaggerとは？、Swaggerのユースケース、Swaggerのメリットとデメリット、Swaggerの書き方（YAMLファイル）、Swaggerの実行方法、まとめです。 構成間で重複した説明は省くようにしてください。 読者がブログを読みながらSwaggerを触れるようにハンズオン形式などを取り入れて文章を作ってください
Bard GPTはOpenAIのChatGPTとGoogleのBardを同じプロンプトで同時に使用し、結果を比較できるChrome拡張です。ノーコードAIアプリ開発サービスのFramerを使って作ったみたいです。 以前ご紹介したchathubと同じタイプのもので、同様にAPI不要で各サービスにログインすれば利用可能、Chrome拡張として提供されています。
Python 初心者でも簡単！OpenAI を利用したチャットアプリを Streamlit で公開してみた | DevelopersIO
[2023.09.19 追記] 本記事の執筆にあたり参考にさせていただいたUdemy講座の講師の方より、記事内容についてコメントをいただいたため一部修正しました。 はじめに こんにちは、アノテーション テクニカルサポートの Shimizu です。 突然ですが、私も含めた Python 初心者に、以下のような人は多いのではないでしょうか。 昨今の AI ブームに乗って API でデータをやり取りする基本的な Python プログラムを PC 上で動かせたものの、それを Web アプリとして公開するまでのハードルが高く感じる。 ブラウザ操作の UI を実装するには Django などの Web フレームワークを習得したり、アプリとして公開するには Python が動作するサーバーを用意したりと、なんだか難しそう・・ そんな私にピッタリのUdemy講座を見つけたため、今回受講してみました。 Ch
OpenAI API ドキュメントの日本語訳をこちらでまとめます。文字量の多いドキュメントなので、セクションごとに記事を分割しています。 今回は「GET STARTED 」のセクションからLibraries 、Models、TutorialsそしてUsage policiesを抜粋した後編です。 基本 DeepLで翻訳して、気になるところだけ書き換えています(ほぼ気になるところがないのが、DeepLのすごいところ)。原文との突き合わせができるようにはじめに原文を入れてますので、間違いなど見つけられましたら、ぜひご指摘ください。ご指摘箇所は随時反映させていただきます。 原文のリンクが有効になってますので、それぞれ必要な場合は原文リンクの方を参照ください。 前回のおさらいはこちら Python library｜Python ライブラリWe provide a Python library, w
GPT-4 Turboでいちばん嬉しいのは、300ページ相当の長文をまるっと読み込めること2023.11.08 17:009,334 Maxwell Zeff・Gizmodo US ［原文］ （ mayumine ） これは嬉しい進化です。 OpenAIの開発者向けカンファレンス｢DevDay｣で、サム・アルトマンCEOよりGPT-4 Turboの公開が発表されました（こちらの記事もどうぞ）。 いちばん大きなアップデートは、今回で扱えるトークン数が128Kになって、従来の16倍となる300ページを超える長い文書を1つのプロンプトに入れられるように。本をまるごと一冊読み込ませられるようになったということです。長い文章を要約させたり、気になる箇所を教えてもらったりできるようになったことで、活用の幅はさらに大きく広がると思います。 さらにGPT-4 Turboでは、JSONモードが実装され、JS
GPT-4なら、確定申告のための税額計算もラクラク――米OpenAIが3月14日（現地時間）に公開した、次世代の大規模自然言語モデル「GPT-4」のデモで、GPT-4に税法と家族構成を読み込ませ、控除額を簡易的に計算するシーンがあった。 河野太郎デジタル大臣は15日、自身のTwitterでこれに触れ、「e-Taxに実装したい」とコメントした。 デモでは、「誰もやりたくないが、やらなければならないタスクを行う」方法として、16ページにわたる税法のドキュメントを読み込ませたうえで、家族構成や収入を入力し、税金の控除額を計算さる様子を紹介した。 このデモを、梶谷健人氏（XR Creative Studio創業者）が「全人類が欲しているやつ」などと動画付きでツイート。河野氏はこれを引用し、「e-Taxに実装したい」とツイートした。 関連記事 「GPT-4」で何ができる？ ラフからWebサイトを瞬間
大規模言語モデル (LLM) の進化: GPT 以降の最新動向 / AWS Dev Day 2023 - Evolution of LLM since GPT
このセッションでは、最新の大規模言語モデル (LLM) とその技術的進歩を紹介し、自然言語処理タスクやクリエイティブなテキスト生成、コード生成などの実践的なデモンストレーションを通じて、LLM の多様な応用例を探ります。また、スタートアップや大企業での活用事例や学術研究での成果を紹介し、LLM の未来に関するチャレンジや機会についても議論します。このセッションを通じて、開発者やアーキテクトは LLM の最新動向を理解し、その応用や技術的な発展に対する洞察を深めることができます。 https://aws.amazon.com/jp/events/devday/japan/
GPT-4は医師国家試験に合格するという研究結果が発表されて話題だったので、我々も馴染み深い IPA の試験にGPT-4は合格できるのか試してみた。 高度情報処理技術者試験の 午前I に限って言えば合格しているので、レポートをこちらに置いておく。 github.com まとめ 高度情報処理技術者試験の共通科目である午前I に 合格できる解答(正答率6割を超える)をGPT-4は生成する GPT-3.5 では合格できない。GPT-4 の賢さが際立つ ちなみに図表読み取り問題は入力できないので、すべて不正解扱いした やりかた IPA の Webサイトから、2022年度秋試験の午前I問題のPDFを取得 (PDF) Google Docs の OCR 機能でテキスト取得 手でコピペして整形 整形したファイルは こちら にある OpenAI の API に問い合わせて解答を取得。スクリプトはこちら。
Introducing ChatGPT
ChatGPT is a sibling model to InstructGPT, which is trained to follow an instruction in a prompt and provide a detailed response. We are excited to introduce ChatGPT to get users’ feedback and learn about its strengths and weaknesses. During the research preview, usage of ChatGPT is free. Try it now at chat.openai.com. In the following sample, ChatGPT asks the clarifying questions to debug code. I
Python版の「LangChain」のクイックスタートガイドをまとめました。 ・LangChain v0.0.329 (2023/11/3) 1. LangChain「LangChain」は、「大規模言語モデル」 (LLM : Large language models) と連携するアプリの開発を支援するライブラリです。 「LLM」という革新的テクノロジーによって、開発者は今まで不可能だったことが可能になりました。しかし、「LLM」を単独で使用するだけでは、真に強力なアプリケーションを作成するのに不十分です。真の力は、それを他の 計算 や 知識 と組み合わせた時にもたらされます。「LangChain」は、そのようなアプリケーションの開発をサポートします。 主な用途は、次の3つになります。 ・文書に関する質問応答 ・チャットボット ・エージェント 2. LangChain のモジュール「L
Azure Open AI「Add your data」のシンプル設定方法、試した結果の比較と「4つの所感 & 解決案？」 - Qiita
Azure Open AI「Add your data」のシンプル設定方法、試した結果の比較と「4つの所感 & 解決案？」AzureCognitiveServicesgpt-3AzureOpenAIServiceonyourdata Azure Open AIの新機能「Add your data」の使用方法の概説、試してみた結果、そして私なり感じた4つの所感とその解決策？を紹介いたします。 ※本領域は変化が激しいです。この内容は23年6月24日時点の情報となります 【記事の目次】 23年Buildでのデータサイエンス・AI系のアップデータについて Azure Open AI「Add your data」のシンプル設定方法 Azure Open AI「Add your data」を使用した結果と、ChatGPT、 Bing AIチャットの比較 私の4つの所感と解決案？ 4.1 引用元の引用部
【速報】OpenAI APIでGPT-3.5-turboがfine-tuningできるようになりました！！ | DevelopersIO
ただし、GPT-4と比較すると安価にはなっていますので、性能比較をしながら良い塩梅を探すとコスト的にメリットがある可能性があります。 また学習のコストですが、以下のように学習データ全体のトークン数 x エポック数という形で費用が掛かるので注意が必要です。 （エポック数は後述するようにパラメータとして指定可能です） For example, a gpt-3.5-turbo fine-tuning job with a training file of 100,000 tokens that is trained for 3 epochs would have an expected cost of $2.40. 公式ページは以下となりますので、併せてご確認ください。 レート制限 fine-tuningのレート制限については、以下に記載があります。 fine-tuningについては以下のように
GPT-4, GPT-3.5 の API を利用して JSON だけ生成する (Function calling)
先日 OpenAI API のアップデートが以下のように発表されました。 一番の注目は Function calling じゃないでしょうか？ 名前から「関数を呼び出せるのかな？」と一番最初に想像しちゃいますが、この機能の革新的な部分は「JSON を作成してくれる」ところだと思っています。 JSON を作れると嬉しいことがいっぱいありますね！ ダミーデータの作成 生成した JSON をそのままレスポンスとして返すエンドポイントの作成 テストとしても良い 関数や外部 API の呼び出し 今までは難しかった JSON の作成 今まで、JSON を作成してもらうにあたって gpt-3.5-turbo を用いて JSON を作成させようとするとほぼ失敗していました。それで gpt-4 のモデルを利用して JSON を作成させますが、このモデルはほとんど正確になる一方で処理速度がかなり遅くなる点がネ
Realistic voice calls for Characters, PDFs & more! Check out CallStar.ai, CallPDF.ai, CallTube.ai.
Research部門の近江崇宏です。 今回、ストックマークは最近の話題にも詳しいGPT-NeoXをベースとした14億パラメータの日本語のLLM（大規模言語モデル）をオープンソースとして公開します。モデルはHugging Face Hubからダウンロードいただけます。 https://huggingface.co/stockmark/gpt-neox-japanese-1.4b 当社はビジネスにおける情報収集・分析をサポートするサービスを運営しており、そのために最新のWebデータの収集を日々行なっております。今回の事前学習では、一般にLLMの事前学習によく使われるCommon Crawl由来のデータだけでなく、当社が所有している独自のWebデータ（2023年6月まで）も含めて事前学習を行うことで、最近の話題にも詳しいモデルを開発しました。具体的には、事前学習に用いたデータセットはCC100の
この記事は何 Techカテゴリに含まれてこそいるものの、この記事はあくまで理論の側面でアプローチについて語るメモのようなものです。このアプローチに沿ったプロンプトやプログラムを書いてはいるものの、まだ期待通りの挙動をするとは言い難いです。 なぜ公開したかというと、自分より賢くて素早い誰かが理屈だけを見て代わりにやってくれたりしないか、という期待からです。 ChatGPT Plus(GPT-4 APIではない)とPythonを使います。 今回作ったプロンプト そういう前提を踏まえ、まだ完成していないプロンプトを掲載します。 プロンプト(コードブロック記法の関係で```が``に置換されている) # イントロダクション あなたはCLIを使用中の凄腕エンジニアとして振る舞ってください。 今からゲームをしましょう。 あなたの目の前にとあるtxtファイルがあります。 このtxtファイルに書かれている内
GPTsという、特定の役割を持った専用のGPTを作る仕組みが最近できた。といっても、従来のGPT-4にあらかじめ特定の指示 (description)と前提知識のファイル (knowledge)を与えられるだけで、今までできなかったことができるわけではない。だけど、特定のタスクをさせる時に、それらをいちいち指定する手間を省けるので、便利な機能と言えよう。 ChatGPTにミニゲームを作らせる試みは前もやったけど、あまりうまくいかなかった。 そこで今回は以下の改良を加えて、専用のGPTを作ってみた。 最初にユーザからゲームのテーマを与えてもらう。 その後、そのテーマに沿ったゲームのアイデアを5つユーザに提示し、適切なものを選んでもらう。 選ばれたアイデアに対して、ルール作成、プレイヤー動作のコード作成、その他の動作作成、スコアリング、難易度、効果音、と順番に少しづつゲームを作らせる。 「小さ
生成AIの可能性を広げる「ベクトルデータベース」への関心が急速に高まっている。ベクトルデータベースとは、生成AIが扱う非構造化データの格納・管理・照会で利用されるデータベースのこと。ここではベクトルデータベースの基本をわかりやすく解説するとともに、生成AIの普及において、どのような役割を果たすのか、注目される理由などと合わせて紹介しよう。 バークリー音大提携校で2年間ジャズ／音楽理論を学ぶ。その後、通訳・翻訳者を経て24歳で大学入学。学部では国際関係、修士では英大学院で経済・政治・哲学を専攻。国内コンサルティング会社、シンガポールの日系通信社を経てLivit参画。興味分野は、メディアテクノロジーの進化と社会変化。2014〜15年頃テックメディアの立ち上げにあたり、ドローンの可能性を模索。ドローンレース・ドバイ世界大会に選手として出場。現在、音楽制作ソフト、3Dソフト、ゲームエンジンを活用し
Open Interpreter - 自然言語でコーディングを実現するオープンソースツール｜masia02 (CipherWeb,LLC.)
Open Interpreterは、自然言語でプログラミングができるようになる、興味深いオープンソースツールです。機能呼び出し型の大規模言語モデルを利用して、Python、JavaScript、Bashなどのコードをローカルで実行できるのが大きな特徴です。インストールと利用は簡単で、コーディング作業の効率化を図れそうなツールです。 Open InterpreterとはOpen Interpreterは、GPT-3.5やGPT-4またはCode Llamaなどの大規模言語モデルを利用して、自然言語でのコード実行を可能にするオープンソースのツールです。 コマンドラインインターフェース上で言語モデルと対話することで、PythonやJavaScriptなどのコードをローカルマシン上で実行できます。複雑なロジックのコーディングもステップごとに指示できるので、開発効率の大幅な向上が期待できます。 公式
こんにちは、クラウドエース SRE ディビジョン所属の茜です。 今回は、現在最も普及している対話型 AI サービスである ChatGPT で使用されているモデルと、LLM を使ったアプリケーション開発に特化したライブラリである LangChain を用いて社内向けのチャットボットを作成します。 ターゲット 任意のデータを元に回答を行うチャットボットを作成したい方 任意のデータを元に回答させる仕組みを知りたい方 ChatGPT とは ChatGPT とは、ユーザーが入力した質問に対して、まるで人間のように自然な対話形式でAIが答えるチャットサービスです。2022 年 11 月に公開されて以来、回答精度の高さが話題となり、利用者が急増しています。 人工知能の研究開発機関「OpenAI」により開発されました。 執筆時点では、GPT-3.5、GPT-4 という大規模言語モデル (LLM) が使用さ
就活生「ES何書いたらええんや…」GPT「それっぽいアピール文書を作成します」企業「ESどう捌いたらええんや…」GPT「就活生の真の実力を推定します」
ドクター・べじぱみゅ @dr_vegepamyu 就活生「ES何書いたらええんや…」 GPT「ESにお困りではありませんか？貴方の過去のアルバム画像群からそれっぽいアピール文書を作成します」 企業「大量のそれっぽいESどう捌いたらええんや…」 GPT「ES選別にお困りではありませんか？ビックデータをもとに就活生の真の実力を推定します」 2023-03-16 04:50:20 ドクター・べじぱみゅ @dr_vegepamyu 大量の、さも一流人材であるかのようなエントリーシートを生成するAIと、それらから「本物の人材」を見抜くAIが切磋琢磨する…まさに現代社会のGAN（癌）ですね！ お後がよろしいようで(*^^*) 2023-03-16 08:23:14
やなぎや・とものり/1972年12月生まれ。1998年からITライターとして活動しており、ガジェットからエンタープライズ向けのプロダクトまで幅広い領域で執筆する。2018年から、NPO法人デジタルリテラシー向上機構（DLIS）を設立し、ネット詐欺の被害をなくすために活動している。 https://prof.yanagiya.biz/ https://peraichi.com/landing_pages/view/dlis/ ChatGPT、あの会社はどう使ってる？ ChatGPTに代表される生成AIは、誰にでも使える技術としてすっかり身近になりました。日々の仕事に活用したいと考えている人も多いのではないでしょうか。本連載では、ChatGPTなど生成AIを実際の業務に活用している企業に取材を行い、どのように導入・利用しているかをくわしく聞いていきます。 バックナンバー一覧 ChatGPTを筆
東京大学の研究室内で，今井がChatGPTの知見を共有するために使用したスライド資料です． 特に以下のような話題，技術について解説しています． ・ChatGPTの凄さ ・ChatGPTの技術 ・言語モデル ・プロンプト ・GPTとは ・InstructGPT ・言語モデルと強化学習Read less
三菱電機が組み込みソフトウエア開発への生成AI（人工知能）活用を進めている。ソフトウエア開発に関連する過去数十年分のドキュメントの要約文を生成AIにより作成。これを検索用のインデックスとして使うことで、エンジニアの作業工数を最大40%削減できると見込む。 2024年6月20日に開催されたアマゾン ウェブ サービス ジャパン（AWSジャパン）の年次イベント「AWS Summit Japan」で、PoC（概念実証）の成果として明らかにした。今後は実用上必要最小の機能を備えたサービスであるMVP（Minimum Viable Product）として、従業員向けのアプリケーションを開発する予定だ。 三菱電機の組み込みソフトの開発部門では、製品開発部門から改修依頼を受けると、改修対象のソフトウエアの仕様書を検索して改修内容に関連する記述を確認。それを基にソフトウエアのソースコードを確認し、ソースコー
ジェネレーティブAIの基礎を築いた論文「Attention Is All You Need」著者たちの今——期待される〝OpenAIマフィア〟の出現 - BRIDGE（ブリッジ）テクノロジー＆スタートアップ情報
2017年の画期的な研究論文「Attention Is All You Need」で、Google は、テキストや画像データ間の連続した関係や深い意味を強力なニューラルネットワークで学習する、つまり AI をより本物の「人」に近づける言語モデル「Transformer」を紹介した。 Image credit: Google 2017年、Google は画期的な論文「Attention Is All You Need」を発表し、今日の AI トレンドの基礎を築いた。 Transformer の最も重要なブレークスルーは、言語モデルの運用フローとは別に、多くの処理作業を同時に行うことでコンピューティングパワーを利用できるようにする「並列化」だ。スタンフォード大学の研究者は2021年の論文で、「AI 分野のパラダイムシフトを促すだけでなく、AI で何が可能かという想像力を広げる」と、Transf
こんにちは。エムスリーエンジニアリンググループのコンシューマチームに所属している園田です。 普段の業務では AWS やサーバーサイド、フロントエンドで遊んでいるのですが、最近はもっぱら OpenAI や Claude3 で遊んでます。 今回は、最近巷で話題の LLM ローコード構築ツールである Dify の OSS 版を AWS のマネージドサービスのみを使って構築してみました。 DifyとはオープンソースのLLMアプリ開発プラットフォームで、様々なLLMを使用してChatGPTのGPTsのようなものがノーコードで簡単に作れます。 引用元: DifyでSEO記事作成を試してみる｜掛谷知秀 試しにAskDoctorsのガイドラインHTMLをナレッジ登録してみた ローカル環境で Dify を構築する記事はたくさん見かけますが、AWS のマネージドサービスで構築する内容は見かけなかった*1ので公
２月２１日、セールスマンのブレット・シクラーさんは最近まで、自分の本を出版できる日が来ようとは想像もしなかった。だが、人工知能（ＡＩ）を使ったオープンＡＩの自動応答ソフト「チャットＧＰＴ」を知ってから、自分にもチャンスが訪れたと感じた。写真はチャットGPTの画面。９日撮影（２０２３年 ロイター/Florence Lo） ［サンフランシスコ ２１日 ロイター］ - セールスマンのブレット・シクラーさんは最近まで、自分の本を出版できる日が来ようとは想像もしなかった。だが、人工知能（ＡＩ）を使ったオープンＡＩの自動応答ソフト「チャットＧＰＴ」を知ってから、自分にもチャンスが訪れたと感じた。
最近おきた大きなイノベーションのひとつが、ChatGPTのリリースだったことは、多くの人の共通の認識でしょう。 正直なところ、Googleを脅かすほどの存在が、こんなに早く出てくるとは思っていませんでしたが、Googleなどのプラットフォームは大きい割には技術革新に対して脆弱であり、「短命」なので、必然の流れなのかもしれません。 逆に、プラットフォーム上に流通する「コンテンツ」には、とても長命なものが存在します。 例えば「イーリアス」「論語」「原論」などの古典などもそうです。 これらは時の試練に耐え、プラットフォームを乗り換えながら2千年以上もの間、全く変わらずに生き残っています。 では、ChatGPTもしばらくすれば時の彼方に消える……かというと、少しこれまでのプラットフォームと事情が異なるかもしれません。 なぜなら「コンテンツ流通させるだけ」の、Google、Twitter、Amazo
生成AIの飛躍的性能アップの秘密「グロッキング」とは？
ChatGPTなどの優れたAIモデルを開発するAI研究団体のOpenAIが発見した、ディープラーニングにおける最も魅力的な謎のひとつとされる「グロッキング」について、GoogleのAI研究者が位相変化との関係を指摘しています。 [2301.05217] Progress measures for grokking via mechanistic interpretability https://arxiv.org/abs/2301.05217 A Mechanistic Interpretability Analysis of Grokking - AI Alignment Forum https://www.alignmentforum.org/posts/N6WM6hs7RQMKDhYjB/a-mechanistic-interpretability-analysis-of-grokk
StableLMのファインチューニングってできるのかな？と調べたところ、GitHubのIssueで「モデル自体の性能がまだ良くないから、ファインチューニングの段階ではないよ」というコメントがありまして。 シートの中身を見てみるlm-evalシートstablelm-base-alpha-7bは54行目にありまして、確かに他の言語モデルと比較するとまだまだな性能のようです。応援したいですね。 シートの列の意味それぞれの列の意味については推定ですが以下の通りです。 RAM 言語モデルのGPUメモリ消費量。 lambada(ppl) LAMBADAデータセットによる測定値。ロングレンジの言語理解能力をテストする（文章全体を読まないと答えられないタスクでの評価）。PPLはPerplexityという指標で、モデルの予測の不確かさを示す。PPLが低いほど、モデルの予測精度が高い。 lambada(acc
はじめに この記事では、3日間でテック記事のAI要約・翻訳メディアをつくる個人開発で利用した OpenAI API LangChain の具体的な実装と利用コストについて触れていきます。 OpenAI APIとLangChainとは... OpenAI API OpenAI APIは、OpenAIという人工知能の研究・開発・普及を目的とした団体が提供するAPIです。このAPI は、自然言語とコードの理解または生成を必要とするタスクに利用することができます。 LangChain OpenAIが提供するGPT-3のような大規模言語モデル（Large Language Model: LLM）を利用してサービスの開発をしたいときに、「あるとうれしい機能」が集まったライブラリです。 この記事の目的 OpenAI API を使った記事の要約とFunction Callingの紹介 LangChain
以下の要件に沿う、AWS Lambdaで利用できるコードを生成してください。 ## 要件 - Python 3.10で記載すること - 指定のS3バケットに格納されたファイル一覧と合計ファイルサイズを、Slackの特定のチャンネルに通知する - 前日の0:00から23:59までに格納されたものを、当日08:00に通知する import boto3 import datetime import json import logging import requests # 設定 S3_BUCKET_NAME = "your-s3-bucket-name" SLACK_CHANNEL_ID = "your-slack-channel-id" SLACK_WEBHOOK_URL = "https://hooks.slack.com/services/your-slack-webhook-url" #
この「なんでわかるの？」系の質問は初めてやってみたのだけど、なかなか。こう答えられるのは「本当に賢い」証拠だと言ってもいいと思う。
kmizu @kmizu A Software Engineer in Osaka (& Kyoto). Ph.D. in Engineering. Interests: Parsers, Formal Languages, etc. ツイートは所属先の見解と関係ありません．思いついたことをつぶやきます．人生を楽しく生きよう（New!） kmizu.github.io
この記事の主題ではないので簡単に説明しますが、PaaSへのアクセスを閉域化するのがPrivate Endpoint、PaaSからのアクセスを閉域化するのがVNet統合です。 非対応だった以前までの内容 では、登場人物全てが閉域化に対応しているのに、なぜ「Add your data」は閉域化できないのでしょうか。それはAzure OpenAIからCognitive Searchへの通信が執筆時点ではパブリックのみになっているからです。「Add your data」の仕組み図を閉域ネットワーク的に書き換えると以下の図のようになります。 ネットワーク閉域化をしている場合、インターネットからのアクセスを遮断するのでAzure OpenAIからのインターネット経由のアクセスができなくなります。そのため、執筆時点では「Add your data」は閉域化できないということになります。Azure Ope
LLMのRAG（外部知識検索による強化）についての調査結果が報告されています。 基本フレームワークと各構成要素の詳細、評価、そして今後の発展について言及されており網羅的です。 本記事では、その報告内容を抜粋してお届けします。 参照論文情報 タイトル：Retrieval-Augmented Generation for Large Language Models: A Survey 著者：Yunfan Gao, Yun Xiong, Xinyu Gao, Kangxiang Jia, Jinliu Pan, Yuxi Bi, Yi Dai, Jiawei Sun, Haofen Wang 所属：Tongji University, Fudan University URL：https://doi.org/10.48550/arXiv.2312.10997 本記事の関連研究：LLMにナレッジグ
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
生成AIでGPUがいらなくなる？ 業界を揺るがす「1ビットLLM」とは何か、識者に聞いた
大規模言語モデル活用総まとめ with Azure OpenAI
AIプロ集団から見た「ChatGPTの歴史」 たった5年で何が起こったのか
【ChatGPT】個人的お気に入りプロンプトまとめ - Qiita
ChatGPTとBardを同じプロンプトで同時に使用し、結果を比較できるChrome拡張・「Bard GPT」
OpenAI API ドキュメント 日本語訳｜#2 GET STARTED 後編｜ゑぐみかるちゃあ
GPT-4 Turboでいちばん嬉しいのは、300ページ相当の長文をまるっと読み込めること
GPT-4で確定申告も一発？ 「e-TAXに実装したい」河野太郎氏 控除額を自動計算
新しいBing、アプリになる 音声対応+チャットで応答
GPT-4 は高度情報処理技術者試験(午前I)に合格する - kurainの壺
LangChain クイックスタートガイド - Python版｜npaka
ChatPDF - Chat with any PDF!
最近の話題にも詳しい14億パラメータの日本語LLMの公開
ChatGPTにCtrl+Fを覚えさせるアプローチについて
ワンボタンミニゲームを自動的に作るためだけのGPTを作ってみた - ABAの日誌
ベクトルデータベースとは何かを解説、生成AIで「必須の存在」はどんな役割を担うのか
LangChain で社内チャットボット作ってみた
ChatGPTで本を出した27歳、たった2カ月半で「11万字」を執筆・編集した秘密とは？
ChatGPT 人間のフィードバックから強化学習した対話AI
三菱電機がClaude 3活用で「工数4割減」、仕様書の図表解析にマルチモーダルが威力
話題のLLMローコード構築ツールDifyをAWSのマネージドサービスで構築してみた - エムスリーテックブログ
アングル：チャットＧＰＴに書かせた本、アマゾンでセルフ出版ブーム
なぜ「ChatGPTは、使う人次第で能力が大きく変わる」のか、使ってみてはっきりした。
大規模言語モデル間の性能比較まとめ｜mah_lab / 西見 公宏
OpenAI APIとLangChainを用いた記事の翻訳・要約メディアのつくり方
【性能比較】日本語対応したBard(バード)とGPT-4の出力を比較してみた - Qiita
Azure OpenAIの「Add your data」で出来ること出来ないこと
LLMのRAG（外部知識検索による強化）をまとめた調査報告 | AIDB