概要 背景・目的 関連研究 提案手法 実験 アルゴリズムの説明 順位相関の確認 定量評価 定量評価の内訳 定性評価 おわりに 参考文献 DROBEで機械学習エンジニアをしております、藤崎です。 概要 ファッションアイテムを特徴づけるための情報として、画像とテキストがある。これらは異なる情報を含んでいると考えられる。 類似のファッションアイテムを検索する場面で、画像とテキストの情報を両方活用することで、検索の精度を向上させることができると推測される。 類似のファッションアイテムを検索するタスクで、両方の情報を活用した提案手法の性能を評価し、片方の情報だけを活用するよりも、大幅に性能が改善することを確認した。 背景・目的 この記事は以下の記事の続編です。 tech.drobe.co.jp 以前の記事で、私たちはプロのスタイリストが作成した評価データセットを用いて、複数のアルゴリズムを類似商品検

まとめ LLMのファインチューニングにおいて、データセットは重要なものとなりつつある 以前までは人力で作る必要があったが、プロンプトが効く7Bモデル（Calm2-chat）を用いることで、LLMでファインチューニング用データセットを作ることができる データセットを作成しつつ、動的にプロンプトを修正していく手法が相当よかった 導入 LLMのファインチューニングには、大量のデータセットが必要です。良く言われているのは「少なくとも数百～数千はあった方が良い」というものです。翻訳など、皆が使うであろうようなタスクのデータセットは存在する一方で、「女の子の日記をLLMで作りたい」のような、完全に自分の癖に従ったようなデータセットは基本的には存在しません。一から自分で作っても良いのですが、人間の時間とやる気は有限なため、かなり無謀な挑戦と言えるでしょう。 この作業にLLMを用いることで、労力を最小限ま

AIが入力された内容に対して、いかにもそれっぽいように見えるいい加減な内容を出力してしまう現象を「幻覚」と呼びます。AI企業のVectaraが、オープンソースの幻覚評価モデル(HEM)を発表しました。 Measuring Hallucinations in RAG Systems - Vectara https://vectara.com/measuring-hallucinations-in-rag-systems/ 大規模言語モデルは質問に対して的確に答えることもあれば、時として学習データに含まれたいい加減な情報を出力することがあります。大規模言語モデルはあくまでも統計的に言葉を出力しているだけで、出力している内容の意味を理解しているわけではないので、何を言っているのかさっぱり分からないような回答を返してしまう可能性があり、「ユーザーの質問内容に対して、完全にありもしない内容をでっち上

We're pleased to announce the latest iteration of Whisper, called large-v3. Whisper-v3 has the same architecture as the previous large models except the following minor differences: The input uses 128 Mel frequency bins instead of 80 A new language token for Cantonese The large-v3 model is trained on 1 million hours of weakly labeled audio and 4 million hours of pseudolabeled audio collected using

こんにちは。LINEヤフー株式会社で自然言語処理の開発を担当している牧野です。 今回は、Yahoo!デベロッパーネットワークから公開しているテキスト解析 Web API の「日本語形態素解析」で使えるようになった追加機能のユーザ辞書を紹介します。このユーザ辞書を使うと、自分だけのオリジナルの辞書で独自の解析が可能です。 また今回は、ユーザ辞書機能を工夫して使った簡易感情判定についても紹介します。 日本語形態素解析 Web API でできること 最初に、日本語形態素解析 Web API について簡単に紹介します。 日本語形態素解析 Web API 日本語形態素解析 Web API は、日本語文を形態素に分割し、品詞の推定や活用処理、読みを付与することができます。形態素とは、日本語として意味を持つ最小単位のことです。「辞書に載っている単語」程度のイメージで捉えていただけると良いでしょう。 たと

はじめに OpenAIのDevDayで発表されたText2SpeechのAPIを使ってみたいと思います。Text2Speechとは簡単にいうとテキストの読み上げ機能です。 日本語を読ませる場合、まだ少し英語訛りですが、なかなか人間っぽい発音を行います。 今回はこのText2SpeechのAPIを使って遊んでみたいと思います。 なにを作るのか？ 先程記載したように、Text2Speechでは発話を行うことができます。 この特徴とGPTの会話ができる特性を組み合わせれば、会話っぽいことができるのではないかと思い実装してみました。 今回は試験的に実装を行うため、GPTには「動物博士」としてのロールを与えて動物の雑学を教えてもらいました。 完成形は以下のような動画になります。Text2Speechを利用しているため音声ONの状態での閲覧を推奨します。 発音が英語話者っぽくなっていることや漢字を稀に

より高速に効率的にFunction callingを実行できる！！OpenAI DevDayで発表されたFunction callingの並列実行について試してみた。 こんちには。 データアナリティクス事業本部 インテグレーション部 機械学習チームの中村です。 今回は前回の記事で書ききれなかった「Function callingの並列化」にフォーカスして試してみます。 機能の概要 Function callingが更新され、1つのメッセージで複数の関数を呼び出すように動作するようになりました。（正確には複数呼び出すようにレスポンス側に指示が来ます） Function calling / Parallel function calling - OpenAI API こちらはgpt-4-1106-previewとgpt-3.5-turbo-1106で使用可能です。 また、Function ca

Context Windowとは、「最大の入出力の合計トークン数」を表します。 たとえば、Context Windowが8Kの場合は、4Kのトークン数が入力された場合、出力は4Kのトークン数の長さに制限されます。 トークン数について詳しく知りたい方は、こちらをご参照ください。 ちなみに、128KのContext Windowは、PDF約300ページ以上のテキストに相当するため、かなり感動的ですね！ これまで、プロンプトエンジニアの多くは、Context Windowの制約に悩まされていたと思います。 この技術的な問題に対応するために、RAGを使用したり、Map ReduceやMap RerankやRefineを使用したり、Fine-tuningを駆使したりしていたと思います。 それに加えて、GPT-4は、API利用料金がGPT-3.5に比べて、かなり高価格であることが問題としてありました。

OpenAIの大規模言語モデル（LLM）プログラムの次期バージョン、通称「GPT-5」は、非常に困難な科学的課題に直面しているため、リリース時期について明確なスケジュールを設定するのは難しいという。同社の最高経営責任者（CEO）Sam Altman氏が米国時間11月6日に明らかにした。 サンフランシスコで開催された同社初の開発者会議「OpenAI DevDay」後の記者会見で、同氏は「GPT-5と呼ぶモデルを開発する前に、われわれが解決しなければならないことはまだたくさんある」と述べた。 この発言は、同技術の今後の方向性について出された多くの質問に対し、同氏と最高技術責任者（CTO）のMira Murati氏が回答する中で出たものだ。やり取りの中には、OpenAIが独自の消費者向けハードウェアデバイスを開発する可能性に関する話題もあった。 Altman氏はGPT-5までの道のりについて、「

「OpenAI Python API Library」のインタフェースが一新されたので、かるくまとめ直しました。 ・OpenAI Python API library v1.1.1 1. OpenAI Python API LibraryPythonで「OpenAI API」にアクセスするには「OpenAI Python API Library」を使います。 2. セットアップColabでのセットアップ手順は、次のとおりです。 (1) パッケージのインストール。 # パッケージのインストール !pip install openai(2) 環境変数の準備。 以下のコードの <OpenAI_APIキー> にはOpenAIのサイトで取得できるAPIキーを指定します。(有料) import os os.environ["OPENAI_API_KEY"] = "<OpenAI_APIキー>"(3)

概要昨日発表されたGPT-4VのAPI（画像に対して質問を投げることができるAPI）を早速利用してみたので、サクッと使ってみようと思う。 使い方当然ながら、現時点ではLangChainなどのライブラリからは利用できないし、Pythonのライブラリもなさそう（→ありました）。ここに使い方が乗っているので、そのまま使ってみる。ローカルのイメージをbase64エンコードして送る感じらしい。 やってみる今回は、インターネットで検索して出てきた画像に対して、簡単な質問をしてみよう。今後いろんな論文をサクッと実装していきたいと思うのだけど、まずは手始めに早稲田大学の講義のページを使わせてもらいます。制約条件付き最適化の問題を解かせてみようと思います。 https://www.f.waseda.jp/ksuga/2007chap17.pdfよりimport base64 import requests

AI開発企業のOpenAIが、2023年11月6日に行われた年次開発者向けイベント「DevDay」で、大規模言語モデル「GPT-4」のアップグレード版である「GPT-4 Turbo」を発表しました。 New models and developer products announced at DevDay https://openai.com/blog/new-models-and-developer-products-announced-at-devday OpenAI introduces GPT-4 Turbo: Larger memory, lower cost, new knowledge | Ars Technica https://arstechnica.com/information-technology/2023/11/openai-introduces-gpt-4-tu

米主要テクノロジー企業で生成AI（人工知能）を巡る競争が本格化してきた。火付け役となった米新興オープンAIは6日、従来の16倍の長さの文書に対応する機能や価格を引き下げる戦略を打ち出した。同社が「Chat（チャット）GPT」を公開してから1年で生成AIの関連市場は7兆円近くに拡大した。各社は次世代の覇権をかけて技術力や安全性を競う。オープンAI　企業価値13兆円「オープンAIは今や世界で最も

「Google Colab」で「OpenAI API」の「Retrieval」を試したので、まとめました。 前回 1. Retrieval「Assistant API」は、さまざまなタスクを実行できる強力な「AIアシスタント」を作成するためのAPIです。 「Assistant API」は現在、次の3つのツールをサポートしています。 ・Code Interpreter : Pythonコードを作成して実行 ・Retrieval : モデル外部からの知識を取得 ・Function Calling : 関数のレスポンスを取得 今回は、「Retrieval」を使います。「Retrieval」は、製品情報やユーザーから提供されたドキュメントなど、モデル外部からの知識を取得して、アシスタントを強化します。ファイルをアップロードして「アシスタント」に渡すと、自動的にドキュメントをチャンク化し、埋め込みの

コンテキスト長が長くなり、学習データも最新化、さらに価格も下がっていますので、Previewではなくなるのが待ち遠しいですね。 詳細は以下も参照ください。 Models / GPT-4 and GPT-4 Turbo - OpenAI API 試してみた 少しだけPythonで試してみようと思います。 実行前にopenaiモジュールも本日1.0.0がリリースされているようですので、事前にアップデートしてください。 openai · PyPI 簡単なクエリを試してみます。 from openai import OpenAI # APIキーの発行方法は以下を参照 # https://dev.classmethod.jp/articles/openai-api-quickstart-tutorial/ client = OpenAI( api_key = "ここにOpenAI APIキーを記載"

OpenAI DevDayで発表されたJSON形式で返すことが保証される「JSONモード」を、AWS Lambdaを利用して試してみた はじめに OpenAI DevDayで発表されたJSONモードをAWS Lambdaを利用して試してみました。 OpenAIの開発者向けカンファレンスのDevDayで様々なアップデートがありました。 弊社ブログでも発表内容がまとめられています。 アップデートのうち、JSON形式でレスポンスを返すことが保証されたJSONモードがサポートされましたので、今回は、新機能をAWS Lambdaを利用して試してみます。 JSONモードに関するドキュメントは、以下のみでコードの例がなかったため、コードも含めて紹介します。 利用するにあたり注意点 モデルのうちgpt-4-1106-previewとgpt-3.5-turbo-1106のみでJSONモードが利用可能です。

日本時間未明(午前三時)ものすごいスピードで語られたOpenAI初の開発者向けイベントDevDayで発表されたGPT-4-TurboとGPT-3.5-TurboによるJSONモード。 これはものすごく強力なんだけど、Python APIによる使い方がどこにも描いてないので試行錯誤の末見つけましたので共有いたします。 from openai import OpenAI import openai import os openai.api_key = "<APIキー>" client = OpenAI() def gpt(utterance): #response = openai.chat( response = client.chat.completions.create( #model="gpt-4-1106-preview", model="gpt-3.5-turbo-1106", r

こんにちは、最近ハンドブレンダーを購入し自家製バジルでジェノベーゼを作るようになった菅野です。 2023/11/6にOpenAIDevDayが開催され、ChatGPT関連の様々なアナウンスがありました。 openai.com その中でもChatGPTの新しいモデル、GPT-4 Turboについての情報をまとめていきます。 モデルについての詳細解説は以下の公式サイトをご覧ください。 platform.openai.com GPT-4 Turboのモデルは現在プレビュー版でgpt-4-1106-previewというモデルが試しに使える状態です。 数週間後に安定板のリリースがなされる予定だそうです。 コンテキスト長の増加（8,192 → 128,000トークン） ChatGPTのモデルが一度に考慮できるテキスト量を示すコンテキスト長が12万8千トークンに増加しました。 従来のモデルのコンテキスト

At OpenAI’s first DevDay Conference on November 6, 2023, Microsoft Chairman and CEO Satya Nadella made a surprise appearance during OpenAI CEO Sam Altman’s keynote to deliver a powerful message: “Our job number one is to build the best systems, so you can build the best models and deliver those to developers.” This was a testament to the deep partnership between Microsoft and OpenAI. We’re excited

今回の発表で強く感じたことは、やはりOpenAIの目指すChatGPTが単なるチャットアプリケーションではないということだ。 従来のオペレーティングシステム（OS）はハードウェアとアプリケーションの架け橋である。だがOpenAIはChatGPTを「言語で命令できるオペレーティングエージェント」と位置付け、人生のあらゆるタッチポイントで新たなゲートキーパーとなろうとしているように思える。 IT競争は手前の取り合い歴史を振り返れば、IT競争の常道とは、ゲートウェイを手前に築くことにあったようだ。PCの争いをOSが無意味化し、OSの争いをブラウザが、ブラウザの争いを検索エンジンがと、そしてそれをスマホとアプリが…このようにITの争いは常に手前を争うものだった。こうして一番手前を抑えた企業は、大きな利益を手に入れた。 今、OpenAIの動きは、このメタゲームに大きな変化を加えつつある。 OpenA

はじめに このブログで7月10日、下記のように、「LLMで勝負するには、1000億円必要か？」と書きました。 vengineer.hatenablog.com また、昨日のブログで、MosaicMLがDatabricksに$1.3Bで買収されたということも書きました。 Google、AWS、Microsoftの投資額 Google : Anthropic に最大$2B投資 (2023.10.28) AWS : 最大$4B (2023.09.25) Microsoft : OpenAI $1B (2019 => 複数年で $10B) この他では、 Intel : Stability AI (4000 Gaudi2) Apple : アップル、“Apple GPT”開発に年間数十億ドルものAIサーバーを購入予定か (2023.1024) 2023年には約6億2000万ドル、2024年には47億

★AIDB会員限定Discordを開設いたしました！ 会員登録／ログインの上、マイページをご覧ください。 --- ChatGPTなどのLLMは、自然言語を理解し、人間のように対話する能力を持っており、多くの場面でその能力を発揮しています。しかし、これらのモデルが最大限のパフォーマンスを発揮するためには、適切なプロンプト（指示テキスト）を使用することが不可欠です。 本記事では、ChatGPTをはじめとするLLMの効果的なプロンプト手法に焦点を当てた論文をもとに、「基本のキ」を紹介します。モデルに、より正確かつ効果的な回答を引き出すための原則と、現時点での主要なプロンプトエンジニアリングの知見を整理しました。 参照論文情報 ・タイトル：Unleashing the potential of prompt engineering in Large Language Models: a compr

AIが「言語生成AIとの対話」で賢くなり続ける自動成長モデル　米Meta含む研究者らが開発：Innovative Tech 米Metaやカナダのマギル大学などに所属する研究者らは、環境と直接対話せずに大規模言語モデル（LLM）からのフィードバックを用いてAIエージェントを強化学習で訓練する手法を提案した研究報告を発表した。

生成AIの普及に伴う偽情報のまん延など、デジタル空間の情報流通の新しい課題について具体的な対策を話し合う総務省の検討会が開かれました。 この検討会は法律や情報セキュリティー、心理学などの有識者およそ20人で構成され、7日、初会合がオンラインで開かれました。 座長を務める憲法が専門の東京大学大学院の宍戸常寿教授が「現在のデジタル空間では多様な情報が流れ、情報流通の全体像が刻々と変わっていく中で全体像を的確に把握し具体的な対策について活発な議論をしていきたい」とあいさつしました。 その後、委員からは ▽生成AIなどによる偽情報や誤情報がまん延していることについて判別・検証できる技術の開発や、 ▽サイバー攻撃への対応など安全保障も含めた対策の構築、 ▽幅広い年代への情報リテラシー教育、 さらに ▽SNSなどのプラットフォーム事業者に透明性の確保を求めることが必要だ、などといった意見が出されていま

生成AIの利活用をめぐり政府は、事業者が新たなシステムを開発する際に安全性が保たれているか確認するため外部監査を行うなど、具体的なルールづくりの検討を進めていくことになりました。 生成AIの利活用をめぐっては、著作権侵害や犯罪への悪用などといったリスクも指摘されていることから、政府は7日の有識者会議で今後の対応策を協議しました。 そして、事業者が新たなAIのシステムを開発する際に安全性や透明性が保たれているか確認するため第三者による認証や外部監査を行うなど、具体的なルールづくりの検討を進めていくことになりました。 また、不正なAIのサービスが提供されれば財産や生命に関わるリスクが生じる可能性が高い分野として金融やエネルギー、それに運輸や医療などを例示し、こうした事業者への規制の在り方を議論することも確認しました。 さらに新たなシステムの開発に省庁などが持つデータを積極的に活用してもらおうと

内閣府知的財産戦略推進事務局より募集がありました「AI時代における知的財産権」に対して、NAFCAが提出したパブリックコメントを公開します。 第１　I．生成ＡＩと知財をめぐる懸念・リスクへの対応等について１　生成ＡＩと著作権の関係について、どのように考えるか(1) 生成ＡＩの学習に用いられる著作物の著作権について生成ＡＩが絵、文章、音声、映像などを生成するためには、人間が創作した著作物を学習用データとして利用する必要があります。 現在、わが国では著作権法３０条の４第２号に定める「情報解析」については、その必要と認められる限度において、いずれの方法によるかを問わず、原則として自由に利用することができることとされています。 そして、生成ＡＩ開発・学習段階における学習用データの収集・加工・入力等は、この「情報解析」に該当すると考えられ、実際に様々な著作物や実演が生成ＡＩの学習に供されています。

𝙈𝙖𝙠𝙤 𝙉𝙖𝙠𝙖𝙢𝙪𝙧𝙖 @Mak0Nakamura TBS の #サンデーモーニング 今確認したけど生成AIの話でガチでデマ流しちゃったけど大丈夫なの？しかもそれを解説してたのって日本ファクトチェックセンター、元朝日新聞の古田大輔編集長だけど…… twitter.com/masayang/statu… pic.twitter.com/dswCY793WR 2023-11-05 18:39:56

インターネット上には膨大なデータが存在しており、それらを学習させることで作られたAIが続々と登場するようになりました。AIの普及が爆発的に進む一方、研究者からはAIシステムを動かす燃料である学習データが枯渇する可能性があると懸念する声が上がっています。 Researchers warn we could run out of data to train AI by 2026. What then? https://theconversation.com/researchers-warn-we-could-run-out-of-data-to-train-ai-by-2026-what-then-216741 正確で強力なAIの学習には、膨大なデータが必要です。オーストラリア・マッコーリー大学法学部の上級講師で、クリエイティブ産業のテクノロジーの法的規制に詳しいリタ・マトゥリオニテ氏によると

Microsoftがゲーム向け対話AIを開発するInworld AIと提携し、ゲーム内に登場するキャラクターやストーリー、クエストを作成するためのツールを開発することを発表しました。 Xbox and Inworld AI partner to empower game creators with the potential of Generative AI https://developer.microsoft.com/en-us/games/articles/2023/11/xbox-and-inworld-ai-partnership-announcement/ Xbox partners with Inworld AI to build generative AI tools for game development https://inworld.ai/blog/xbox-par

困難だった“食べ歩き用プリン”開発　ChatGPTに解決を託した、とある乳製品メーカーの話　【プロンプト実例付き】（1/2 ページ） AIチャット「ChatGPT」と一緒に、“食べ歩き用プリン”を開発した──乳製品メーカーの山村乳業は、そんな発表をした。一体どのようにChatGPTを活用したのか、話を聞いた AIチャット「ChatGPT」と一緒に、“食べ歩き用プリン”を開発した──乳製品メーカーの山村乳業（三重県伊勢市）は10月30日、そんな発表をした。「山村ぷりんバー」と呼ばれるこの商品は、まるで棒付きアイスのような見た目だが、中身は正真正銘のプリン。「ただ棒を刺しただけでは？」と思うかもしれないが、その開発は困難であったという。

イーロン・マスク氏が設立したAI企業のxAIが2023年11月4日に、ChatGPTのような対話型AIである「Grok」を発表しました。さらに、xAIは11月6日に、Grokの開発に使われた統合開発環境である「PromptIDE」の提供を開始しました。 PromptIDE https://x.ai/prompt-ide/ xAI Launches PromptIDE: A New Frontier in Prompt Engineering and Artificial Intelligence AI Transparency - MarkTechPost https://www.marktechpost.com/2023/11/06/xai-launches-promptide-a-new-frontier-in-prompt-engineering-and-artificial-int

You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session.