統計学では、確率密度や確率密度関数といった語句がよく出てきます。 これらの言葉は、”確率”としばしば混同されて使われていますが、確率と確率密度は大きく異なります。 では、確率と、確率密度や確率密度関数は何が違うのでしょうか。 この記事では、統計学での重要単語”確率密度と確率密度関数”についてわかりやすく出てきます。 確率密度関数とは？を理解するのに重要な確率変数 確率密度の話をするには、はじめに確率変数の話をする必要があります。 確率変数は、”ある変数の値をとる確率が存在する変数”です。 例えば、サイコロを例にして考えてみましょう。 サイコロは1、２、３、４、５、６と6つの目があります。 サイコロの各目が出る確率は1/6ですから、それぞれのサイコロの目は確率変数です。 確率変数は、上の2つ図では横軸にあたります。 この確率変数は、確率変数の性質によって、 離散確率変数 連続確率変数 2種類

はじめに こんにちは、KDDIアジャイル開発センターのはしもと（仮名）です。 エンドレス水出しコーヒーの時期になりましたね。 今回は、Ollama を使って日本語に特化した大規模言語モデル Llama-3-ELYZA-JP-8B を動かす方法をご紹介します。 このモデルは、日本語の処理能力が高く、比較的軽量なので、ローカル環境での実行に適しています。さあその性能は如何ほどに！！！！？？？？はやくAIは俺から仕事を奪え。 Llama-3-ELYZA-JP-8Bとは Llama-3-ELYZA-JP-8Bは、ELYZA社が開発した日本語に特化した大規模言語モデルです。Meta社の「Llama 3」シリーズをベースに、日本語での追加学習を行っています。80億パラメータという比較的小さなモデルサイズながら、「GPT-3.5 Turbo」や「Claude 3 Haiku」、「Gemini 1.0 P

OllamaでLlama-3-ELYZA-JP-8Bが使える？ Ollamaで用意されているモデルには、Llama-3-ELYZA-JP-8Bは含まれていません。 追加の設定をすることで、Ollamaでカスタムモデルを使えるようになります。 Ollamaを使えば、ChatGPTのようなインターフェイスで、Llama-3-ELYZA-JP-8Bをローカル環境で動かすことができます。 Llama-3-ELYZA-JPの詳細については、以下の記事をご覧ください。

はじめに こんにちは、NRIでAIソリューションの導入支援を担当している松本です。 AIや最新テクノロジーに興味のある方ならご存じかもしれませんが、最近、人工知能を活用した様々なサービスやアプリケーションが私たちの生活の中に浸透してきています。中でも、「Retrieval-Augmented Generation」（略してRAG）と呼ばれる技術が注目を集めており、これは情報検索を組み合わせたAIによる文章生成の手法です。 ただ、技術の進化にはいつも課題が伴います。RAGも完璧ではなく、非構造化データ、つまり一定の形式に整えられていないデータを扱うのが難しいのです。例としては、テキスト画像が埋め込まれたPDFファイルが挙げられます。これらのファイルをAIが理解できるようにするためには、AIによる光学文字認識（OCR）技術（略してAI-OCR）を用いて文字情報を抽出し、テキスト化する必要があり

概要 Amazon Textract、Azure AI Vision、Google Cloud Vision API、Tesseract-ocrの出力を比較していた時の備忘録です。どれを採用するか判断に迷ったときに参考になるようにまとめておきます。 すべてPythonプログラムから実行する形で実装していきます。 各OCRサービスについて Amazon Textract AWSのサービスの1つ 無料利用枠がある （Detect Document Text API: 1,000 ページ/月） 日本語は対応していない Azure AI Vision Microsoft Azureサービスの1つ 画像分析（物体検出や分類、キャプション付け）、空間分析、文字認識、顔認識のサービスが使える Free インスタンスの場合、5,000 無料トランザクション / 月 日本語対応 Google Cloud V

2024/11/01追記 GraphRAGの実装に、nano-graphragが追加されたようです。 https://x.com/kagamih/status/1852282744694587509 MSのGraphRAGよりもコンパクトに使えると思うので、個人的にはそちらをオススメします（まだ試していませんが） nano-graphragを元にしたLightRAGについては以下にまとめてます。 https://zenn.dev/kun432/scraps/1f28e5d20dfdf5 あと下に書いてる不具合も確かもう直ってると思うけど、実際に試していないのと、nano-graphragのほうがいいかなと思うので、もはや本記事はobsoleteということで。 2024/09/03追記 ちょっとX経由で見に来ていただいた方が増えているようなのであらかじめ注意。 kotaemonで普通のRAG

There are two main example folders flask_react (runs three services on localhost:5601/5602/3000) sh launch_app.sh creates a simple api that loads the text from the documents folder (if any), also launches the react frontend the "/query" endpoint accepts requests that contain a "text" parameter, which is used to query the index the "/upload" endpoint is a POST endpoint that inserts an attached text

Microsoft Power Virtual Agentsとは？バージョンや料金・使い方を解説 【自治体向け】Microsoft 365のローコード開発ツールを活用した、業務DXアプリの開発・運用支援の詳細はこちら Microsoft Power Virtual Agentsとは、マイクロソフトが提供する「AIチャットボット作成サービス」です。このサービスを利用すれば、企業の提供しているサービスや商品に合わせて、独自のAIチャットボットを作成できます。 Microsoft Power Virtual Agentsを利用すれば、顧客からの自動問い合わせや社内FAQとして利用できるため、以下のような効果が期待できます。 問い合わせ対応の自動化によるカスタマー部門の業務効率化 顧客対応の高速化による顧客満足度の向上 この記事では、Microsoft Power Virtual Agentsでで

はじめに 今回は表題の通り、Teamsから社内利用できるGPTボットについて、簡単に紹介していきたいと思います。 個人的な利用においてはChatGPTを既に使っている方も多いと思いますが、社内や業務での利用においては、ChatGPTへの社内情報等の入力はNGという企業が多く、基本的にはAzure OpenAI Serviceを使う事になるかと思います。 独自データをどう持たせてどの領域で活用していくか(Azure Cognitive Search, ベクトルストア等へのデータの蓄積と検索)という大きな論点はあるものの、とりあえず日常業務で使いたいからUIを早く解放して欲しいという声も多いのではないでしょうか？ 生成AIは、もはや影響しない領域はないと言っていいテクノロジーであるため、IT領域の一部のメンバーだけがユースケースを考えるというより、全社員が日常業務で利用しつつ(リテラシーを上げ

1. はじめに 前回、Teamsから社内利用できるGPTボットを作りましたが、今回はWeb検索と独自データ検索機能もつけていきたいと思います。 独自データ検索は、CSVやPDF、社内ウェブサイト等も利用可能で、テキスト系の情報検索だけでなく、データベース接続もやります。 2. アーキテクチャ 今回のアーキテクチャは以下です。 機能としては、「①一般問合せ」「②Web検索」「③社内情報検索」「④データアクセス」の4つを持たせ、ユーザーからのモード選択でそれぞれの処理へ分岐させています。 ①一般問合せは、GPTとの直接のやり取りのため、PowerAutomateからそのままAPIをコールさせ、②Web検索は、GoogleのCustom Search APIを利用し、最新情報も取れるようにしています。 ③社内情報検索は、テキスト系の社内情報を事前にインデックス化したものをAzure Blob S

LlamaIndex (GPT Index) is a data framework for your LLM application. Building with LlamaIndex typically involves working with LlamaIndex core and a chosen set of integrations (or plugins). There are two ways to start building with LlamaIndex in Python: Starter: llama-index. A starter Python package that includes core LlamaIndex as well as a selection of integrations. Customized: llama-index-core.

20240727追記 トークナイザーを自分で実装してBM25に渡す方法は、以下のコミットで使えなくなった。 https://github.com/run-llama/llama_index/commit/3f83323a3f006fd13847bb75013c454a820cd37c bm25sライブラリを使うのにあわせてtokenizerオプションが削除され、bm25sとpystemmerを渡すようになっているのだが、ともに日本語に対応していないと思う。。。 古いバージョン（llama-index-retrievers-bm25==0.1.5、LlamaIndex本体のバージョンタグはv0.10.52）を使うしかないのかな？ちょっとBM25s側で日本語を組み込めないかを確認してみる。 20240727追記 BM25sをざっくり見てみたけども、LlamaIndexでも使えるようにするには、

LLAMAーINDEX実験記録＆マニュアル LLAMA-INDEXは、公式ドキュメントに記載がない、あるいは機能アップデートによって、GITHUBのみに記載するコードが多数あります。このライブラリーの使い方について、ChatGPTもわからないですので、実験が苦労しました。 故に、このマニュアルは、基本的なLLAMA-INDEXの使い方から、高度の使用まで紹介させていただきたいと思います。 基本紹介 LLAMAーINDEXは、AIのメモリとして設計されています。自身は言語機能がなく、ChatGPTやLLAMA2などのAPIが必要です。 基本デザインは、Promptの中に全ての知識を書き切れない場合、ベクトルデータセットを使用し、素早くPromptに関係あるデータを抽出して、Promptの中に入れます。 例えば、辞書データの中に特定の単語の使い方を抽出することなどができます。 ただし、それは万

今回は、StreamlitとOllama Pythonライブラリを使用して、ローカルLLMを動かしてみます。 ChatGPT風の画面みたく、ユーザがPromptを入力して、クリックしたら、Ollama PythonライブラリでローカルLLMを操作して出力を得るコードとなります。 今回は、手順に従って行けば、誰で出来るようにしてあります。 最初に、OllamaとStreamlitライブラリをインストールします。 pip install ollama streamlit 次に、app.pyとして次のファイルを作成を作成します。 import streamlit as st import ollama # Streamlitアプリケーションのタイトル st.title('Ollama Chatbot') # ユーザの入力を受け取るテキストボックス user_input = st.text_inp