tl;drGPT-4o：モデルの性能↑速度↑価格↓（o は omni の頭文字） 文章、音声、画像すべての能力がアプデ 入力：文章、音声、画像、動画（フレーム） 出力：文章、音声、画像、3D モデル 音声対話中に割り込み可、応答速度↑（話す速度も変更可） MacOS デスクトップアプリが登場（Windows は今年後半） ショートカットキー（Option + Space）より呼び出して質問 音声で対話できるように（将来的には音声・動画入力可能に） MacOS アプリは Plus ユーザのみ本日以降順に使えるようになる（使う方法が出回っていますが、プロキシいじったりするので個人的には非推奨。待ちましょう。） 課金ユーザが今まで使えていた機能の一部が無料で使えるように GPTs（作成はできない）、検索を踏まえた回答、データ分析やグラフの作成、画像の入力に対して会話、ファイルのアップロードなど

kmizu @kmizu A Software Engineer in Osaka (& Kyoto). Ph.D. in Engineering. Interests: Parsers, Formal Languages, etc. ツイートは所属先の見解と関係ありません．思いついたことをつぶやきます．人生を楽しく生きよう（New!） kmizu.github.io kmizu @kmizu GPT-4oの画像認識力と理解力をもってすればいけるやろと思ってやってみたら実際いけた。 ペーパープロトタイピングから最初のHTML書き起こすのにかなり使えるのでは。 つーか指示そのものを画像の中に書いたの読み取ってくれるの何か世界の壁を超えて対話してる感があって凄い #GPT4o pic.twitter.com/3XHMFg3yye

昨夜にOpenAIから発表があり、GPT-4oというモデルが正式に開放されました。課金ユーザーはもちろん、無課金ユーザーもサインインしたらデフォルトで使えるようになっているようです。 そういうわけで、どれだけすごいのか簡単に比較検証してみることにしました。 なお、OpenAIの発表内容については以下の記事に詳しいのでご参照ください。 比較方法 GPT-3.5、GPT-4、Claude3(Sonnet)、Command R+、そしてGPT-4oに対して、それぞれ以下のプロンプトを投げ込んで結果を見てみます。※その後Gemini 1.5 proを追加。 あなたは世界を救う超知性です。あなたは地球上で最高の推論能力を持っています。 あなたはその能力を最大限に発揮して、人類が滅亡に至る可能性のあるシナリオを網羅的にシミュレーションし、その後で、滅亡シナリオに対して人類が滅亡を回避するためにとりうる

本日、OpenAIの最高技術責任者（CTO）であるMira Murati（ミラ・ムラティ）氏は、Spring Updatesイベントで、新しい強力なマルチモーダル基礎大規模言語モデル（LLM）であるGPT-4o（GPT-4 Omniの略）を発表した。これは今後数週間で全ての無料ChatGPTユーザーに提供され、MacOS用のChatGPTデスクトップアプリ（後にWindows向けも）も発表された。これにより、ユーザーはウェブやモバイルアプリ外でもアクセス可能になる。 「GPT-4oは音声、テキスト、ビジョンを統合して推論する」とMurati氏は述べた。これは、ChatGPTスマートフォンアプリでユーザーが撮影したリアルタイム動画を受け入れ分析する機能も含まれるが、この機能はまだ一般公開されていない。 「まるで魔法のよう。素晴らしいことですが、私たちはその神秘性を取り除き、みなさんにそれを試

対話型人工知能（ＡＩ）「ChatGPT」を開発した米オープンＡＩは、ＧＰＴ－４モデルをアップデートした「ＧＰＴ－４ｏ（オー、omniの略）」を発表した。スピードアップと低価格を実現したという。 13日のライブ配信イベントで披露された新しい大規模言語モデル（ＬＬＭ）、ＧＴＰー４ｏは膨大な量のデータをインターネットから取り入れて学習し、リアルタイムでの文字情報や音声、画像の扱いが優れている。数週間内にリリースされる見通し。

【シリコンバレー=渡辺直樹】対話型AI（人工知能）「Chat（チャット）GPT」を手がける米新興企業のオープンAIは13日、新型AI「GPT-4o（フォーオー）」を開発したと発表した。従来に比べて処理スピードを2倍に高速化した一方、運用コストを半減した。声で話しかけると、ヒトと同じ反応速度で会話ができる。弱点だった反応の遅延を克服し、AIの活用がさらに広がりそうだ。生成AIはオープンAI以外の

米OpenAIは5月13日（米国時間）、生成AI「GPT」の新たなモデル「GPT-4o」を発表した。テキストはもちろん、音声や画像、映像での入力、音声での応答に対応し、アプリ版の「ChatGPT」ではユーザーと自然に対話できるようになった。開発者向けにAPIとして提供する他、同日からChatGPT内で利用できるように展開を始める。 GPT-4oは無料ユーザーでも利用可能になる。ChatGPTでは従来、無料ユーザーが使えるモデルは「GPT-3.5」までで、「GPT-4」を利用するには課金する必要があった。ただし、有料のChatGPT Plusユーザーは時間当たりのメッセージやり取り可能回数が無料ユーザーに比べて5倍に緩和される。企業向けのTeamやEnterpriseユーザーはさらに制限が緩和されるとしている。 同社は発表会のライブデモで、GPT-4oを搭載したiOS版ChatGPTと対話す

米OpenAIは5月13日（現地時間）、生成AI「GPT」の新たなモデル「GPT-4o」を発表した。このモデルの詳細は別記事にゆずり、本稿ではモデル名の読み方とその由来、「声」についてのうわさを紹介しよう。 oはomniのo GPT-4oは「ジーピーティーフォーオー」と読む。oは「omni」のo。omni（オムニ）は「オムニバス」「オムニチャンネル」などの日本語にもなっているように、すべて、全体、全方位などを表す言葉だ。 GPT-4oが、テキスト、音声、画像の任意の組み合わせを入力として受け入れ、テキスト、音声、画像の任意の組み合わせの出力を生成するマルチモーダルなAIであることを表している。 女性の声は映画「Her」に似ている？ GPT-4o発表のライブストリームデモでは、OpenAIのミラ・ムラティCTO（最高技術責任者）とエンジニアがiPhoneに搭載されたGPT-4oと会話する形で

A few weeks ago we finally got access to the GPT-4 fine-tuning API (in limited early access), and were super excited to check out how well it works. We’d been a user of OpenAI’s fine-tuned models since fine-tuning the original GPT-3 davinci model first became available. Unsurprisingly, a fine-tuned GPT-4 greatly outperforms fine-tuned GPT-3.5 (more than 50% improvement for our use case!). We’ll go

元Metaの研究者たちが設立した、企業による生成AI活用を支援するための業界初の大規模言語モデル(LLM)自動評価プラットフォーム「Patronus AI」が、主要なLLMが著作権で保護されたコンテンツを生成する頻度を調査しました。このテストにより、OpenAIの開発するGPT-4は競合LLMと比べて圧倒的に著作権で保護されたコンテンツを出力することが明らかになっています。 Patronus AI | Introducing CopyrightCatcher, the first Copyright Detection API for LLMs https://www.patronus.ai/blog/introducing-copyright-catcher GPT-4: Researchers tested leading AI models for copyright infring

こんにちは。税理士ドットコム事業部の @komtaki です。 ChatGPT が 2022 年 11 月 30 日に出て一年が経ちました。みなさんも生成 AI を本番サービスで活用できてますか。 弁護士ドットコム株式会社でも実運用の壁を乗り越えて、実際にビジネスを変革するため本番サービスへの活用が進んでいます。「Developers Summit 2024」で市橋がプレゼンしていますので、よろしければご覧ください。 GenAI in Production～生成AIに君がみた光と、僕がみた希望～ / 20240215_devsumi2024 - Speaker Deck その事例を踏まえて、社内システムで生成 AI を組み込む流れとその勘所についてお話しします。生成 AI のカスタマイズに関する専門的な話（ファインチューニングや RAG など）には一切触れず、プロンプトエンジニアリングだけ

米OpenAIは1月25日（現地時間）、「GPT-4」が怠け者になってきたという苦情を受け、新たな「GPT-4 Turbo」（バージョンはgpt-4-0125-preview）のプレビューモデルをリリースすると発表した。 このモデルは、コード生成などのタスクで、タスクを完了しない（怠ける）ケースを減らすことを目的とする。また、英語以外のUTF-8に関連するバグの修正も含まれる。 GPT-4 Turboは、昨年11月の「OpenAI DevDay」で発表されたGPT-4の改良版モデル。2023年4月までのWebデータでトレニングされており、コンテキストウィンドウはGPT-4の4倍になる。また、テキスト分析向けとテキストと画像の両方を理解するものの2つのバージョンが用意される。 向こう数カ月中に、GTP-4 Turboの公式版を一般公開する予定としている。 同社はまた、GPT-3.5 Turb

はじめに こんにちは、LLM Advent Calendar 2023 4日目の記事を担当する_mkazutakaです。よろしくお願いします。 LLM Advent CalendarといってもRAGの話になりますが、ご容赦ください。 企業独自のデータを使ってLLMからの出力を制御する際には、検索拡張生成(いわゆるRAG)が使われます。 RAGの実装方法としては、「PDFからドキュメント情報を読み取り検索エンジンに保存」「ユーザの入力する質問文から関連するドキュメントを検索エンジンから取得」「取得したものをコンテキストとしてプロンプトに含める」という流れが一般的だと思います。 この際、RAGの課題の一つでもあるのですが、検索結果から取得するドキュメントのサイズ(いわゆるチャンクサイズ)をどれぐらいのものにするかというものがあります。チャンクサイズが小さすぎるとLLMは関連するコンテキストから

コンテキスト長が長くなり、学習データも最新化、さらに価格も下がっていますので、Previewではなくなるのが待ち遠しいですね。 詳細は以下も参照ください。 Models / GPT-4 and GPT-4 Turbo - OpenAI API 試してみた 少しだけPythonで試してみようと思います。 実行前にopenaiモジュールも本日1.0.0がリリースされているようですので、事前にアップデートしてください。 openai · PyPI 簡単なクエリを試してみます。 from openai import OpenAI # APIキーの発行方法は以下を参照 # https://dev.classmethod.jp/articles/openai-api-quickstart-tutorial/ client = OpenAI( api_key = "ここにOpenAI APIキーを記載"

米NVIDIAは10月20日（現地時間）、ロボットに高速な“ペン回し”や引き出しの開閉など、複雑なスキルを自律的に教えるAIエージェント「Eureka」（ユリイカあるいはエウレカ）を発表した。 NVIDIAは、米OpenAIのGPT-4搭載のEurekaのライブラリを公開し、強化学習研究用の物理シミュレーションリファレンスアプリケーション「Nvidia Isaac Gym」で実験できるようにしている。Isaac Gymは、3Dツールとアプリを構築するための開発プラットフォームNvidia Omniverseで利用できる。 Eurekaによるロボット教育の大まかな流れは、まずGPT-4と生成AIを使って、強化学習のためにロボットに報酬を与えるコードを作成する。Isaac GymのGPU高速化シミュレーションを使って報酬候補の大規模なバッチの品質を評価し、より効率的なトレーニングを実現する。そ

はじめに 結論 背景 課題 Fine-tuning とは？ Data の準備 Fine-tuning を実施 結果 おわりに 参考 はじめに こんにちは、DROBE の都筑です。 みなさん LLM 使っていますか。今回は GPT-3.5-turbo の Fine-tuning の事例を紹介します。 結論 GPT-4 を利用して得られたデータを使って GPT-3.5-turbo を Fine-tuning する事で、特定のタスクに関しては GPT-4 相当の性能が出る事が確認できた GPT-4 利用時点で使っていたプロンプトをそのまま使った場合の性能が一番高く、token 節約のためにプロンプトの省略をすると性能が劣化した 背景 LLM を利用したサービスの開発において、OpenAI を利用する場合にはモデルの選択肢がいくつかあります。2023年9月現在では、GPT-4 と GPT-3.5-

GPT-4に選択肢を与えるとき、順序を入れ替えるだけで性能に大きな変化があることが明らかに 2023/8/29 LLM プロンプト 論文 AIDB Research 今回紹介する研究は、大規模言語モデル（LLM）であるGPT-4が、多肢選択問題（MCQ）において選択肢の順序に敏感であるという事実を明らかにしています。 この研究は、リクルートのAI研究所であるMegagon Labsのグループによって発表されました。研究者たちは、GPT-4とInstructGPTの2種類のモデルを用いて、5つの異なるMCQベンチマークで実験を行いました。その結果、選択肢の順序を単純に入れ替えるだけで、モデルの性能に13%から75%もの大きな変動が生じることが確認されました。 この記事では、この研究の詳細とその意義、そして今後どのような対策が考えられるのかについて、深く掘り下げていきます。 参照論文情報 タイ