タグ

DB/ストレージとOpenAIに関するmisshikiのブックマーク (3)

  • 【Golang】Azure OpenAI で Embedding したベクトルを使って、自前検索エンジンを作ろう

    この記事は、Azure Advent Calendar 2023 の 10 日目の記事です。🎄 はじめに Azure OpenAI Service では、 text-embedding-ada-002 というモデルを使って、文章を 1536 次元のベクトルに Embedding できます。 また、PostgreSQL では、 pgvector という拡張機能を使って、ベクトルを保存・検索機能を導入できます。 今回はこれらを組み合わせて、Azure OpenAIEmbedding したベクトルを Golang のアプリケーションから PostgreSQL に保存し、類似度検索する方法を紹介します。 pgvector とは pgvector は、PostgreSQL にベクトルデータを保存・検索する機能を追加する拡張機能です。 ベクトルデータを保存するためのデータ型と、ベクトルデータを

    【Golang】Azure OpenAI で Embedding したベクトルを使って、自前検索エンジンを作ろう
    misshiki
    misshiki 2023/12/11
    “Azure OpenAI で Embedding したベクトルを Golang のアプリケーションから PostgreSQL に保存し、類似度検索する方法を紹介します。”
  • ChatGPTを使ってDDLからER図をすばやく作成する - Taste of Tech Topics

    最近、酢を飲むと健康に良いという話を聞き、頑張って毎日飲んでいるkonnoです。 何となくですが、朝の目覚めは良くなっている気がしますよ! 今回はデータベース設計に欠かせないER図を、ChatGPTを使ってDDL(Data Definition Language:SQLのデータ定義言語)から簡単に作成できるのか試してみたいと思います。 サンプルとなるDDLを用意 DDLのサンプルとして、以下のMySQL公式サイトで公開されている従業員データベースを利用します。 dev.mysql.com 従業員データベースに必要なファイル類一式は、上記サイトで紹介されている以下のGithubリポジトリから、 "test_db-master.zip"としてダウンロードできます。 github.com ダウンロードしたtest_db-master.zipには、従業員データベースを設定するために必要なDDLとし

    ChatGPTを使ってDDLからER図をすばやく作成する - Taste of Tech Topics
  • Cognitive Searchの生成AI用ベクトルDBの構築手順書 - Qiita

    はじめに この記事は、現在(2023年8月4日時点)パブリックプレビュー中のCognitive Searchのベクトル検索機能について、ベクトルDBの構築手順を解説する記事です。公式ドキュメントにはクイックスタート記事も公開されており、こちらのブログで日語で丁寧に解説してくれています。 公式ドキュメントのクイックスタートを読んでいると、下記の課題に遭遇します。 PDFなどのドキュメントはどのように扱えばいいか? チャンク分割やベクトル生成は具体的にどのように行えばよいか? 言語アナライザーを日にするにはどこを変えればよいか? インデックスを自動更新するにはどうすれば良いか? このような課題に対して、Azure公式のGitHubリポジトリにあるcognitive-search-vector-prにあるインデックス作成ツール(azure-search-vector-ingestion-py

    Cognitive Searchの生成AI用ベクトルDBの構築手順書 - Qiita
    misshiki
    misshiki 2023/08/04
    “現在(2023年8月4日時点)パブリックプレビュー中のCognitive Searchのベクトル検索機能について、ベクトルDBの構築手順を解説する記事” 公式ドキュメントを読むと出てくる疑問にも答える形でまとめている。
  • 1