タグ検索の該当結果が少ないため、タイトル検索結果を表示しています。
「社内のアレ分からん、教えてAI」を支援 Microsoftの“自社版ChatGPT作成サービス”、外部データ取り込み機能が正式リリース
米Microsoftは2月20日（現地時間）、大規模言語モデル「GPT-4」などのAPIを同社のクラウド上で使える「Azure OpenAI Service」の外部データ連携機能「On Your Data」を正式リリースした。これまではパブリックプレビュー版として提供していた。 On Your Dataはいわゆる「RAG」（大規模言語モデルに外部データベースの情報を参照させ、機密情報を基にした回答などを可能にする仕組み）の構築に向けた機能。ローカルやAzure上のストレージに保管するテキストファイルやPDF、PowerPointファイルを、GUIの操作でGPT-4などに参照させられる。 参照できるのはクラウド型検索サービス「Azure Cognitive Search」のインデックス（検索対象）にインポートしたデータや、Azureのストレージ「Blob Storage」に格納したデータなど
はじめに ABEJAでデータサイエンティストをしている服部です。 今回はLLMで外部データを使うケースについてのお話をしたいと思います。 はじめに LLMと外部データの利用 RetrievalとLLM 0. (事前準備)参照したいテキストデータをDBに格納 1. ユーザの入力文とのテキスト類似度を計算して、関連テキストを抽出する(Retrieval) 2. 関連テキストをLLMのプロンプトに入れ込み、ユーザの入力文に回答する。 Retrieval時の課題 LangChainでの用意 Case1: それぞれの文章がRetrievalしにくい形で保存されている 対策案: ページ構造を意識した形で各文章を格納する 他の対策案 聞き方を明確にする 類似度を測るクエリ文章を置き換える 不要そうな文章をデータから削除する データ自体をLLMで整形し直す Case2: 未知の単語を含む 仮説: ニャオハ
LLM技術と外部データ活用による検索・回答精度向上手法（ファインチューニング、セマンティック検索、In-Context Learning、RAG）と著作権侵害｜知的財産・IT・人工知能・ベンチャービジネスの法律相談なら【STORIA法律事務所】
LLM技術と外部データ活用による検索・回答精度向上手法（ファインチューニング、セマンティック検索、In-Context Learning、RAG）と著作権侵害 第1 はじめに FAQシステムやチャットボットなど「何か知りたいこと（検索文・質問文）」を入力して検索や回答生成を行うに際して、検索や回答精度を向上させたり、回答根拠を明示させるために、LLM技術と外部データを組み合わせたシステムの研究開発や実装が急速に進んでいます。 LLMが外部データを参照できるようにするには、LLMそのものをFine-tuningする方法、プロンプトで情報を与える方法、RAGによって外部データを保存したデータベース (Data Base; 以下DB) から呼び出す方法の3つがあります。 ここでいう「外部データ」とは、「LLMの外部にあるデータ」という意味でして、その中には社内文書や、書籍・ウェブページ上のデータ
RAG (Retrieval Augmented Generation) を活用！LLMで外部データを参照する方法を解説 | 株式会社ARISE analytics（アライズ アナリティクス）
Tweet RAG (Retrieval Augmented Generation) を活用！LLMで外部データを参照する方法を解説 はじめに はじめまして、DX Technology Unitの芹澤です。普段はAI関連技術を用いた研究開発に携わっています。 昨今、ChatGPTを初めとした大規模言語モデル (Large Language Model; 以下LLM) が話題になっており、様々な質問に対して非常に優れたアウトプットが得られるようになりました。一方、LLMを企業で使用する場合、社内特有のデータを参照する必要があるため、社内特化LLMシステムを構築することが必須となります。 弊社では、社内の業務効率化を目的とした生成AIの活用を促進する「生成AIプロジェクト」が立ち上がり、ChatGPTをはじめとしたLLMの検証作業を進めています。その中で生成AIが社内情報を参照できるようにする
デジタル技術の進化により、ビジネスは大きく変わりつつあります。IoTにより取得できる多種多様なデータと、既存の業務データとを組み合わせて、新たな価値へとつなげるなど、システムは様々なデータ（システム）と連携できることが求められています。PostgreSQLには、Foreign Data Wrapper（日本語では「外部データラッパー」と呼ばれ、以降「FDW」と略します）という機能があり、RDBやNoSQLなど様々な外部データにアクセスできます。ここでは、FDWの概要と仕組み、利用時のポイントについて説明します。なお、この記事は、PostgreSQL 11.1で検証しています。 1. FDWとは FDWとは、SELECT文やUPDATE文などのSQL文を使用して、外部にあるデータにアクセスできるようにするための、PostgreSQLの拡張機能です。 FDWは、PostgreSQLが公開してい
プロンプトエンジニアリング手法 外部データ接続・RAG編 - Platinum Data Blog by BrainPad
本記事は、当社オウンドメディア「Doors」に移転しました。 約5秒後に自動的にリダイレクトします。 このたびブレインパッドは、LLM/Generative AIに関する研究プロジェクトを立ち上げ、この「Platinum Data Blog」を通じてLLM/Generative AIに関するさまざまな情報を発信をしています。 この記事では、Retrieval Augmented Generationを使用して、ユーザーからの質問に対して外部データを基に回答を生成させてみたので、その方法をご紹介します。 こんにちは、アナリティクスサービス部の秋本です。 LLMを用いてサービスやアプリを作成する場合、プロンプトに収まらない程の長い文章や独自のデータを教えたくなる事があるかと思います。また、それらは一定の頻度で整備・更新されます。その都度トレーニング済みモデルを調整するのは手間がかかります。 本
富士通株式会社 ソフトウェアプロダクト事業本部 データマネジメント事業部 デジタル技術の進化により、ビジネスは大きく変わりつつあります。IoTにより取得できる多種多様なデータと、既存の業務データとを組み合わせて、新たな価値へとつなげるなど、システムは様々なデータ（システム）と連携できることが求められています。PostgreSQLには、Foreign Data Wrapper（日本語では「外部データラッパ」と呼ばれ、以降「FDW」と略します）という機能があり、RDBやNoSQLなど様々な外部データにアクセスできます。ここでは、FDWの概要と仕組み、利用時のポイントについて説明します。なお、この記事は、PostgreSQL 11.1を前提として作成しています。 1. FDWとは FDWとは、SELECT文やUPDATE文などのSQL文を使用して、外部にあるデータにアクセスできるようにするための
Introduction Ver. 2013 2016 2019 365 エクセルのファイルを開くと、セキュリティの警告として「外部データ接続が無効になっています」と上部に表示された時の原因と削除方法です。 ※こちらは、最近のバージョンを使用している方への説明です。バージョン2010など以前のバージョンを使用している方は、「データ接続が無効にされました」というセキュリティ警告を消す方法をご覧ください。 これは、外部のテキストファイルなどからデータをインポートしたブック（ファイル）に表示されます。 「コンテンツの有効化」をクリックすれば、この表示は消えて普通に作業できるのですが、毎回押すのも面倒です。 表示されないようにしましょう。 対象のファイルだけ、表示しないようにする方法 最近のエクセルでは、「インポート機能」などを利用して外部データを取り込むと、自動で「クエリ」として読み込まれるよう
BigQueryのテーブル作成実践(外部データソース参照: Google Cloud Storage) | DevelopersIO
Google BigQueryでは、テーブル作成を行う術が複数提供されています。当エントリではその中から「外部データソース参照」による作成方法について、Google Cloud Storageに格納したCSVデータを用いた実践を交えて見ていきたいと思います。 Cloud Storage からの CSV データの読み込み | BigQuery | Google Cloud 目次 コンソール経由で実践 CLIで実践(bq load) クライアントライブラリ(Python)で実践 まとめ コンソール経由で実践 今回の手順では、予めGCS(Google Cloud Storage)の所定のバケットにデータをアップロードしておきます。フォルダ毎取り込む形を想定していましたので、以下の形で複数ファイル用意しました。 テーブル作成メニューにて、「Google Cloud Storage」を選択。
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
外部データをRetrievalしてLLM活用する上での課題と対策案 - ABEJA Tech Blog
【Excel】Webページで公開されている表を使いたい！外部データをエクセルに取り込むテク【いまさら聞けないExcelの使い方講座】
![「[作って学ぶ] ブラウザのしくみ」を読んだ - 覚書](https://cdn-ak-scissors.b.st-hatena.com/image/square/e055f35121ce76b337752125aa49685dbcf68962/height=288;version=1;width=512/https%3A%2F%2Fcdn.image.st-hatena.com%2Fimage%2Fscale%2F0f01b79209bc88a0e73a475a9bbe1a2356b4311a%2Fbackend%3Dimagemagick%3Bheight%3D1300%3Bversion%3D1%3Bwidth%3D1300%2Fhttps%253A%252F%252Fm.media-amazon.com%252Fimages%252FI%252F41AZLrZN7KL._SL500_.jpg)
外部データとの連携 ～FDWで様々なデータソースとつなぐ～｜PostgreSQLインサイド
外部データとの連携 ～FDWで様々なデータソースとつなぐ～ | Let's POSTGRES
Excel（エクセル）で、「外部データ接続が無効になっています」のメッセージを消す方法
ja.m.wikipedia.org
www.jiji.com
minami5.dt.weblog.vc
x.com
pc.watch.impress.co.jp
www.hkt1989.com