はてなブックマーク

こんにちは！AIソリューショングループの太田です。 このコラムでは生成AIエージェントは知っているが、何から始めるべきか分からない方向けに、生成AIエージェントを使った問い合わせ対応の取り組みを紹介します。 さらに、私たちの生成AIエージェント開発の失敗談や工夫点も紹介しています。 みなさんの今後の開発や検証の参考になれば幸いです。 生成AIエージェントとは？ 生成AIエージェントは何ができますか？ 最初におすすめの検証 電通総研の取り組み紹介 問題設定：ヘルプデスクの一次回答 挑戦的なポイント 開発に利用したもの 活動１）エージェントのワークフローを準備 活動２）評価データセットでの精度検証と課題の洗い出し 活動３）ナレッジのドキュメント化 活動４）各LLMの観測範囲のチューニング 活動５）計画のプロンプトエンジニアリング 活動６）ツール呼び出しのチューニング 活動７）振り返りのプロンプ

こんにちは！電通総研AITC のAIソリューショングループ太田です。 このコラムでは、Azure AI Searchを用いたマルチモダール検索とマルチモダールRAGについて紹介します。 マルチモダール検索はGPT-4V登場以前から存在する技術です。 昨年のGPT-4Vの登場により、マルチモーダル検索結果に基づくRAGが実現できるようになり、今マルチモーダルRAGがホットになっています。 マルチモーダルRAGは、通常のRAGと同じく、参考となる情報をLLMに読み込ませることで、LLMが本来持っていない知識を利用して文章生成する技術です。 通常のRAGと違い、マルチモーダルLLMを利用することで、文章だけでなく画像や音声も参照情報として扱うことが可能になります。 マルチモーダルRAGの必要性 従来のLLMを用いたRAGだと、どうしても図やグラフをLLMにテキストとして与える必要があり困難でした

こんにちは、AITC AIソリューショングループの阿田木です。 この記事では、自然言語によるデータベースの操作を可能にするText-to-SQL技術を検証します。 通常データベースを操作するには、SQLに代表されるデータベース操作言語が使用されますが、Text-to-SQL技術を応用することで、データベース操作言語に馴染みがないユーザーであっても一般的な日本語（自然言語）の文章でデータベースを操作することが可能になります。 このText-to-SQLを使用し、ユーザー側の指示文（クエリ）に対して生成AIがどれほどの精度でSQL文を生成し質問に対する回答を生成できるかを検証します。 はじめに Text-to-SQLの重要性と基本的な概念の紹介 Text-to-SQLは、ユーザーが自然言語で入力したクエリをSQL文に変換する技術です。この技術はデータベース操作言語ではなく自然言語によりデータベ

こんにちは、AIソリューショングループの太田です。 この記事ではLLMを用いた自律型エージェントの研究動向をご紹介します。 研究動向は、AI系で難関な国際会議ICLR2024と同時開催のICLR2024 LLMエージェントワークショップの論文を中心にまとめました。 llmagents.github.io 企業の皆様も学生の皆さんもぜひ、最先端の技術を知ってもらい業務で活かせないか考えてみてください。（協力が必要な場合は、AITCにもご相談いただければと思います） その前に電通総研AITCがなぜ今回技術動向を調査したのかなどその辺りを紹介します。 なぜ技術動向を調査するの？ 論文を執筆・発表する研究機関でなくても、最新の技術動向を追う必要があります。 私たちのような顧客や業務に特化したソリューションを作るチームが特にそうです。 シーズベースでできることを発信せず、ニーズベースの受け身の姿勢で

こんにちは！AIソリューショングループの太田です。 このコラムでは、Azure Log Analyticsを使ったLLMOpsの実現方法について紹介します。 昨年から大規模言語モデル（LLM）を製品やサービスに組み込む企業が増えています。 しかし、LLMサービスの品質を維持するには、その運用にも注意を払う必要があります。 具体的には、LLMの出力の品質管理や、ユーザーからのフィードバックを元にしたプロンプトの最適化など、継続的な監視と改善が求められています。 これらの運用上の活動にAzure Log Analyticsが役立ちます。 LLMOps（LLM（Large Language Model）+ Ops（Operations））とは LLMOpsは製品に組み込まれたLLMの運用に必要なベストプラクティスの概念を指します。 例えば、LLMの運用ではLLMの出力の監視と評価とプロンプト管理

こんにちは、AIソリューショングループの太田です。 昨年から引き続き生成AIブームが止まらない中、自主的に進めていた取り組みを紹介します。それは海外AIニュースの要約を、社内で使用しているTemasのチャネルに投稿する取り組みです。 投稿自体はPower AutomateやAzure Function、Azure OpenAI Serviceなどを活用することで自動的に投稿しており、数ヶ月運用した結果を踏まえて最近アルゴリズムの改善をおこなったので、改めて方法とノウハウをまとめたいと思います。 はじめに アーキテクチャ紹介 Power Automate Azure Functions Bing Search Azure OpenAI Service（AOAI） Log Analytics 海外ニュース要約 APIの処理フロー 検索ワードの翻訳 Bing 検索 HTMLの読み込み ニュース記

こんにちは、AIソリューショングループの太田です。 この記事では、生成AIのソリューション開発エンジニアの方やAI関連のDX担当者の方に向けてChatGPTとデータベースの連携を可能にするText to SQL技術ついてご紹介します。 昨年からChatGPTに代表される生成AIを導入する企業が増えています。生成AI活用の第一歩として、社内にあるPDFやテキスト文書を使用し生成AIの実用性を試すという方が多いですが、次のステップとして社内データベースとChatGPTを連携できないか検討され始めています。 こうしたニーズの背景にはデータ活用における、あるギャップが存在します。 これまで、データベースの管理や操作を実施してきたのは主にエンジニアであり、エンジニアはSQLと呼ばれる操作言語を使用してデータベースを操作します。 一方で、データを利用したいと考えてるビジネスユーザーでSQLを精通してい

こんにちは、AI製品開発グループのファイサルです。 この記事では、Know Narrator Searchで使用されている文章参照手法、Retrieval-Augmented Generation（RAG）の精度向上方法について紹介します。 はじめに ChatGPTを始めとした大規模言語モデル（LLM）の登場により、AI業界、特に自然言語処理分野で多くの素晴らしい応用先が提案されるようになりました。 LLMは素晴らしい技術であることは間違いないですが、同時に幻覚（Hallucination）という問題を抱えています。 このHallucinationという問題は、LLMが事実と異なる情報をあたかも真実であるように回答するというもので、LLMの発表当初から指摘されていました。 この問題を解決するために、さまざまな手法が存在しますが、よく用いられるのが「Retrieval-Augmented G

こんにちは、AI製品開発グループの太田です。 この記事では巨大言語モデルに基づくマルチエージェント技術についてご紹介します。 近年、人工知能（AI）の進化は目覚ましいものであり、その中でも巨大言語モデル（Large Language Models、LLM）は注目を浴びています。 その中でもChatGPTは、その優れた自然言語処理能力により、様々な応用分野で高い評価を受けています。 本記事では、ChatGPTを基にした新たな応用技術である「LLMマルチエージェント」に焦点を当て、その可能性や機能についてご紹介いたします。 LLMエージェントとは？ まず初めに、「LLMエージェント」について簡単に説明します。 LLMエージェントは、巨大言語モデルをベースに構築されたAIエージェントです。 このエージェントは、自然言語でのコミュニケーションを通じてユーザーと対話し、自ら自身がすべきタスクを考える

Kaggle Masterによるこれまでに参加したデータ分析コンペの振り返り こんにちは、AITC 製品開発グループ 阿田木です。 私は現在、業務でAI製品の開発に携わっております。さらに、趣味としてもKaggle等のデータサイエンスのコンペに参加して日々技術を磨いております。 今年の6月でKaggleに出会ってから約1年が経過し、目標であったKaggle Masterになることができました。この節目に、Kaggle Masterになるまでの道のりを振り返っておこうと思います。 本記事では技術的な内容にはあまりふれておりません。ポエムみたいな感じの自分語りとなっている点ご留意お願いいたします。 以下のような構成となっておりますので、気になったところだけでも、ご覧いただければ幸いです。 Kaggleとは？ Kaggleとの出会い 参加コンペ①: メラノーマコンペ SIIM-ISIC Mela