タグ

ブックマーク / book.st-hakky.com (2)

  • ベクトルデータベースを活用した独自データを使ったLLMシステム | Hakky Handbook

    はじめに​ 近年、機械学習や自然言語処理の分野が急速に発展しています。その中でも、Large Language Model (LLM)は多くの研究者や開発者の注目を集めています。 社内ドキュメントや、スクレイピングなどで取得した最新情報をデータベースに格納し、LLM と連携することで、最新の情報を含めた返答が期待できます。 この記事では、ベクトルデータベースを活用し、独自データを用いた LLM システムの構築方法について解説します。 ベクトルデータベースとは​ ベクトルデータベースとは、高次元ベクトルを効率的に格納・検索できるデータベースです。ドキュメントやテキストデータをベクトル化し、それらのベクトルをデータベースに格納します。検索では、検索するキーワードのベクトルと類似しているベクトルをデータベースから検索します。 システムのアーキテクチャ​ 文書取り込み​ 独自データを活用した LL

    tito1201
    tito1201 2024/03/17
  • VPC Endpoint の Terraform での書き方 | Hakky Handbook

    はじめに​ この記事は、AWSVPC Endpoint の Terraform での書き方をまとめた記事です。AWSVPC Endpoint の基的なことをさらいつつ、VPC Endpoint の Terraform での書き方について紹介します。 VPC Enpoint とは​ AWS において、VPC と他サービス間でプライベートな接続を提供するコンポーネントです。インターネットを介さずに他サービスと接続できるため、コストの削減に役立ちます。 "AWS VPC Endpoint とは"に詳しく書いてあります。 Terraform での書き方​ 前提​ ECS / Fargate で、コンテナーで動く Web アプリケーションのインフラを構築するとします。この時、以下の条件を満たすために、VPC Endpoint を設定するものとします。 NAT gateway を使わずに

    tito1201
    tito1201 2023/12/04
  • 1