はじめに WSL2（Windows Subsystem for Linux 2）は、Microsoft Windows上でLinuxカーネルを直接実行できるようにする機能です。 この記事ではWSL2環境にDockerを導入しGPUを用いた機械学習環境を構築する手順を紹介します。 構築イメージは以下の図の通りです。NvidiaGPUを搭載したマシンにWSL2環境を構築します。Dockerを用いてコンテナを用意し、CUDAは各コンテナ内のCUDA Toolkitを用いて利用します。 今回開発するPCのスペックは以下の通りです。 Windows 11 Windows version: 22H2 GPU：NVIDIA Geforce RTX 3060 12GB 設定 1. WSL2を有効化 デフォルトではWSL2環境が無効化されている可能性があるので、始めに有効化しておきましょう。 「コントロール

こんにちは． 今回は，テキスト埋め込みモデルはローカルで動かせるもので十分な性能が出るのか調査してみました． このテキスト埋め込みモデルは，RAGやLLMの性能の根本を決めるコンポーネントの一つであります． Sentence Transformers前提知識として，テキストを埋め込みと呼ばれるベクトル表現に変換するためのライブラリとしてSentence Transformersがあります． この埋め込みに変換する利点は次の通り． テキストの類似度算出ができる 分類やクラスタリングができる セマンティック検索ができる Multilingual-E5こちらのサイトから，上記のモデルについて考察します． このモデルは，Leaderboardでも好成績を収めており，`multilingual-e5-large-instruct`は分類，クラスタリング，検索などのデータセットによるタスクの平均で64

「これ当たるんよ」「次はいつ？」山口県のキーマンに訊く、衛星データで品質向上を実現した小麦農家の生の声と展望 2年前に宙畑が取材をした山口県の小麦の生育に衛星データを利用するという事例は今どこまで進んでいるのか。その後と農家さんのリアルな声を知ることができました。 日本の農業従事者のうち65歳以上は全体の70%を占めており、高齢化に伴う引退により農業従事者が減少しています。そのため、少ない農業従事者で多くの農地を管理するために、技術を活用して省人化を進める必要があります。 そのようななかで、山口県は農業における省力化の取り組みとして衛星データの活用が積極的に推進されており、様々な先進事例があります。そのひとつが、本記事のテーマ「小麦の品質向上」です。 この実証では、基準値を超える小麦の割合が令和4年産では25%だったところ、実証後の令和5年産では56%に倍増。その結果、農家の方からは「当た

はじめに LlamaIndexとOllamaは、自然言語処理(NLP)の分野で注目を集めている２つのツールです。 LlamaIndexは、大量のテキストデータを効率的に管理し、検索やクエリに応答するためのライブラリです。PDFや文書ファイルから情報を抽出し、インデックスを作成することで、ユーザーが求める情報をすばやく見つけ出すことができます。 一方、Ollamaは、オープンソースの言語モデルであるLLaMA（ラマ）をベースに構築された、対話型のAIアシスタントです。ユーザーとの自然な会話を通じて、質問に答えたり、タスクを支援したりすることができます。 本記事では、Windows 11環境にWSL 2（Ubuntu）とJupyterLabを設定し、LlamaIndexとOllamaを組み合わせてPDFファイルから情報を抽出し、クエリに応答する方法を初心者向けに解説します。コードの例示を交えな

pip install numpy pip install transformers pip install torch torchvision torchaudio --extra-index-url https://download.pytorch.org/whl/cu118 pip install scipy import csv from transformers import AutoTokenizer, AutoModel import torch from torch import Tensor import torch.nn.functional as F model_name = "intfloat/multilingual-e5-large" tokenizer = AutoTokenizer.from_pretrained(model_name) # CUDAが利用可

はじめに LLMは、トレーニングしたデータを使い推論するため、学習した時点の情報でしか推論できません。これを補うのがRAG（検索拡張生成 Retrieval-Augmented Generation）手法です。LLMへのプロンプトに、検索して取得した情報を追加することで、最新かつユーザが欲しい情報をもとに推論されます。 システム構成は、AzureでRAGを構築する際によくあるこのようなパターンです。 私が今まで構築してきたRAGシステムも、ドキュメントとユーザクエリのベクトル類似度が高いものを検索し、LLMで推論する方法です。この方法で、多量のドキュメントの中から類似度の高い情報から推論することができます。 この課題を解決する方法の一つとして、GraphDBを使ってドキュメントの関連性を表現することができると思います。ドキュメントを点とみなし、その点を結ぶ線が関連性を表せるようにデータを構

こんにちは。電通総研コーポレート本部システム推進部の山下です。 最近はChatGPTなどのLarge Language Model(LLM)を利用したAIが話題ですね。 そのLLMを応用したRetrieval-Augmented Generation(RAG)という技術があります。 これは、LLMに文書検索などを用いて関連する情報を与えて回答させることで、 LLMが知識として持っていない内容を回答させたり誤った情報を答えてしまうハルシネーションを抑止する技術です。 今回はこのRAGをLlamaIndexというライブラリを使ってローカル環境で実装する方法について紹介します。 なぜローカル環境でLLMを利用したいのか 大変便利なツールのLLMですが、利用が難しいこともあります。 例えば、機密情報を取扱いたい、外部インターネットへの接続に制限が掛かっているといった場合です。 最終的にOpenAI

はじめに こんにちは、GxPの森下です！ この記事はグロースエクスパートナーズ Advent Calendar 2023の24日目の記事です。 社内でデータ分析やAIに関する勉強会を行っており、その中でLLMを扱う方法に興味を持ち、学んだことをまとめました。 環境 OS : Windows11 CPU : 12th Gen Intel(R) Core(TM) i5-1235U RAM : 32.0 GB Python : 3.10 LlamaIndex : 0.9.16 llama-cpp-python : 0.2.20 llama.cppとllama-cpp-pythonについて 通常、LLMを動かす場合、GPUが必要になるかと思いますが、llama.cppを使用することで、量子化されたLLMをCPUでもLLMを動かすことが出来るようになります。ただ、llama.cppはC/C++で記述

はじめに 自社システムのFAQとして日本語AI回答機能を追加する場合、LlamaIndexで実現可能 との記事がありましたので参考にして試してみました。 結果、たしかにネットワーク接続なし (LANケーブル接続なし) 環境でも日本語で質問すると 日本語で回答してくれることが分りました。 質問と回答の組み合わせを自分で登録しておけるので、これは使えそうな気がします。 今回試した手順を残します。 前提 Windows 環境 Python 3.10.11 を使用します。 Microsoft Store からインストールでも、別の方法でも問題なし。 venv で仮想環境を構築し、そこで作業することにします。 フォルダ構成 (最終的にこうなります) 1.inputs 質問と回答の組み合わせを記載したファイルを配置します。 2.models モデル形式ファイルを配置します。 今回は別記事 (LM St

最近、というかこのGW中はRAGしかやってません。 www.nogawanogawa.com www.nogawanogawa.com www.nogawanogawa.com www.nogawanogawa.com そんなRAGをやっているんですが、実はLlamaIndexについてはちゃんと勉強してなかったことに気がついたので、今更ながら復習がてら勉強しようと思います。 LlamaIndex LangChainとLlamaIndex RAGを作る 作る 参考文献 感想 LlamaIndex LlamaIndexを調べると下記のような説明が書かれています。 LlamaIndex is the leading data framework for building LLM applications www.llamaindex.ai ドキュメントはこちらです。 docs.llamainde

データミックスの代表の堅田です。シルバーウィークの1日を使って、気になっていたLlamaindexとGradioを触ってみました。 注意 できるだけ平易な言葉で、かつ技術ワードを避けながら記載しています。その結果、厳密性に欠いた説明になっている部分もありますが、ご容赦ください。 いずれのライブラリ・サービスも記事作成時点のものです。それらがアップデートされることで、記載したコードが動かない、有料・無料の変更等が起こり得ますので、ご注意ください。 この記事で紹介するOpen AIのAPIは有料です。事前にクレジットを購入する必要がありますので、ご留意ください。 この記事のゴールこの記事のゴールは以下のような、チャットボットを作ることです。 ご覧いただいた通り、データミックスのことを聞いてもちゃんと答えてくれています。 作成したチャットボットのデモ画面ちなみに、ChatGPTに、「データミック

本記事は2023年末に公開し、某所からの依頼で一時公開を取り下げたものです。 公開可能な状態になりましたので、Qiita Engineer Festa 2024にあたり再掲いたします。 本記事はLLM Advent Calendar 2023 3日目の記事です。 初版は2023年7月末で、その後刷新と査読を経て資料化したものなので一部陳腐化していますが、参考にして頂けると幸いです。 こちらは早稲田大学の産学共同プログラムでの研究を踏まえて、工学院大学との共著により実現したものとなります。※発言･見解･研究結果は個人のものであり、所属･関与する団体を代表する物ではありません 詳細なレポートを転記すると膨大になりますので、別途提供できればと思います。 TL;DR 2023年6月ごろに、生成AIを使いたいけどクラウドに機密情報を載せたくないと言われて困った なまじ資金力があるので金額的な面は考慮

今回の統計トピック標本比率を確率変数にして正規分布近似を用いた確率計算を行います！ 二項分布の深掘りも行います！ 公式問題集の準備 「公式問題集」の問題を利用します。お手元に公式問題集をご用意ください。 公式問題集が無い場合もご安心ください！ 「知る」「実践する」の章で、のんびり統計をお楽しみください！ 問題を解く📘公式問題集のカテゴリ 確率分布の分野 問4 ２項分布の正規近似（投票の出口調査） 試験実施年月 調査中（類似問題：統計検定2級 2019年11月 問13（回答番号22） 問題 公式問題集をご参照ください。 解き方 題意 母比率の推定において、標本サイズ$${n}$$が大きい場合に標本比率$${\hat{p}}$$が近似的に正規分布に従う性質を利用して、標本比率$${\hat{p}}$$を確率変数としたときの確率を計算します。 標本サイズ$${n=100}$$、ある候補者への投