Azure Synapse AnalyticsでAzure OpenAIのLLMを利用する【1. Deltaテーブルを利用した逐次処理】 - JBS Tech Blog

Azure Synapse Analytics上で Azure OpenAI Service（もしくはOpenAI）のLLMを利用する方法として、今回はDeltaテーブルを利用した逐次処理を紹介します。 はじめに 今回紹介する方法の概要と注意事項 Deltaテーブルを使用する理由 実践 パッケージのインストール データの準備 AIからの回答を取得する関数を定義 Deltaテーブルを用いた逐次処理の実行 実行結果の確認 おわりに はじめに ChatGPTのようにチャット形式で回答を得るためにLLMを利用するケースもあれば、社内に蓄積された大量の自然言語データや、今後追加されていくデータを一括して処理したいというニーズもあると思います。 後者の場合、大量のデータを効率的に処理できる基盤上でLLMを活用したいですよね。 Azure Synapse Analyticsは、Apache Sparkや

[jbs_blog_PR]

Azure Synapse Analytics上でDeltaテーブルを利用してAzure OpenAI ServiceのLLMを逐次実行する方法を解説しています。シンプルで理解しやすい反面、Apache Sparkの持つ分散処理の利点を活かせないという課題もあるようですね！