統計検定2級のPBT方式（紙）の試験は2021年6月をもって終わりました。これ以降はCBT（コンピュータ）方式の試験となりますので、統計検定2級の解説は2021年6月分が最後となります。そこで、これまで行われてきたPBT方式の統計検定2級の難易度や活用方法についてまとめてみたいと思います。 ※統計検定2級に対する難易度は個人の得意/不得意によってそれぞれ違うと思いますので、あくまでも統計webに掲載している解説を作るにあたって過去問を解いてみたときの感想が元になっているという点をご理解いただけますと幸いです。 目次 難易度の項目ではそれぞれの問題の解説に飛ぶことができます。 統計検定2級の難易度 過去問のレベル別活用法 過去問活用4Steps 統計検定2級の難易度 ■2012年11月 難易度：易 グラフや表の読み取り、統計検定、確率計算、いずれの問題においても基礎がしっかり身についていれば

Google GeminiでサポートされたContext Cachingを使ってコンテンツをキャッシュし、マルチターンのチャットを行うAPEXアプリケーションを作ってみます。 作成したアプリケーションは以下のように動作します。 Files APIを呼び出してファイルをGeminiにアップロードし、それを含めたコンテンツをキャッシュします。最後にキャッシュしたコンテンツを含めて、チャットします。 生成AIの出力を受けるのにストリーミングが使えないと、待ち時間が長く感じます。 Google GeminiのAPIを呼び出す処理は、ほぼすべてパッケージUTL_GOOGLE_GEMINI_CONTEXT_CACHINGに実装しています。このパッケージにコードは、本記事の末尾に添付しています。

Gemini 1.5 のロングコンテキストを活かして AI を育てるアプローチ 〜 RAG の限界を軽やかに突破するために はじめに この記事では、Gemini 1.5 のロングコンテキストを活かして LLM を用いた AI システムを段階的に育てるアプローチを説明します。後半では、RAG システムの導入ハードルを下げるためにこのアプローチを適用するイメージをサンプルコードとあわせて紹介します。 ここではまず、前提知識となるグラウンディングや RAG の仕組みを説明します。 グラウンディングと RAG の違いについて LLM の業務活用に向けて勉強していると、かならず耳にするのが「グラウンディング」や「RAG」というキーワードです。グラウンディングは、LLM の基盤モデル自身が保有していない（学習していない）追加の参考情報をプロンプトに埋め込む事で、参考情報に基づいた回答を生成させるテクニ

これまでに実施された統計検定2級の解説を掲載しています。 2021年6月実施　統計検定2級解説 その1 その2 その3 2019年11月実施　統計検定2級解説 その1 その2 その3 2019年6月実施　統計検定2級解説 その1 その2 その3 2018年11月実施　統計検定2級解説 その1 その2 その3 2018年6月実施　統計検定2級解説 その1 その2 その3 2017年11月実施　統計検定2級解説 その1 その2 その3 2017年6月実施　統計検定2級解説 その1 その2 その3 詳細版（一部問題のみ） 2016年11月実施　統計検定2級解説 その1 その2 その3 2016年6月実施　統計検定2級解説 全体版（一部問題のみ） 詳細版（一部問題のみ） 2015年11月実施　統計検定2級解説 その1 その2 その3 2015年6月実施　統計検定2級解説 その1 その2 その3 2

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 導入 以下の記事でRAGatouilleを使ったRerankを試しましたが、今回はRAGatouilleを通常のIndex作成に利用し、RAGを実装してみます。 シリーズ一覧はこちら。 検証はDatabricks on AWS上で実施しました。 DatabricksのDBRは14.2 ML、GPUクラスタ(g4dn.xlarge)上で動作を確認しています。 RAGatouilleとは？ ColBERTのような先端モデルなどを簡単に利用できるように設計されたRAG用のモジュールです。 ColBERTモデルのファインチューニングや、ドキュメ

こんにちは、AIBridge Labのこばです🦙 無料で使えるオープンソースの最強LLM「Llama3」について、前回の記事ではその概要についてお伝えしました。 今回は、実践編ということでOllamaを使ってLlama3をカスタマイズする方法を初心者向けに解説します！ 一緒に、自分だけのAIモデルを作ってみましょう。もし途中で上手くいかない時やエラーが出てしまう場合は、コメントを頂ければできるだけ早めに返答したいと思います。 1.この記事で行っていること主に以下の3つの工程について説明しています。 ローカル環境のLlama3 8Bモデルを使う🦙 埋め込み(Embeddings)を使って知識追加📚 モデルのカスタマイズ🔧 2.今回のゴールちょっとだけ複雑なタスクの例として 「テーマに沿った画像生成用プロンプトを出力するカスタムモデル」を作ることを目標とします。(一応Midjourne

はじめに 生成AIを業務に導入する際、RAGという手法がよく使われます。 RAGは企業の固有情報を元にカスタマイズされた回答を生成することが可能です。 今回はより精度の高い回答を得られると噂の「GraphRAG」をローカルで試してみました！ GraphRAGとは GraphRAGは、知識グラフを使用してRAGの性能を向上させるアプローチです。 通常のRAGはベクトル検索を用いて関連文書を取得し、回答を生成するのに対し、GraphRAGでは知識グラフを構築してデータ間の関係を明確化し、より高度な推論で回答を生成できます！ そんなGraphRAGは7月にOSSとして公開されています！ Ollamaとは Ollamaは、Llama 2などの大規模言語モデルをローカルで簡単に実行・管理できるオープンソースツールです。オープンソースLLMと組み合わせることでプライバシーを保護しつつ生成AIを利用する

どんな人向けの記事？ これからRAGを作ってみたい DifyやLangChainにこだわらず、自分で開発をハンドリングしたい ベクトルDBや埋め込みモデルの選定の勘所をサッと知りたい ここではRAGとは何かのような話題は扱いません。 RAGが、ほぼAI活用の現実的な最適解になりつつある LLMは高度な知的タスクを実行可能である。 そんな理解が世界に広まっていく中で、企業は自らが蓄えたデータをLLMに組み合わせてどう活用するか躍起になっています。これからはビッグデータだ！という時代を経ているため、情報インフラに投資した企業も多く、AIでデータを活用する流れはもはや確定路線と言えます。 この問題を解決する手法として一番最初に思いつくのは、モデル自体を改変するファインチューニングです。しかし、ファインチューニングにはいくつかの実用上の問題があります。ファインチューニング自体に専門知識が必要である

はじめにのんびり統計です。 統計を一緒に学びましょう！ 統計検定2級の公式問題集を出発点にして、統計のトピックを掘り下げて参ります！ 公式問題集がなくても大丈夫です。 問題集を解くゾーンに加えて、統計の一般的な話題のゾーンを用意しているので、どなたにもお読みいただけます。 さらにPythonやEXCELのサンプルファイルを用意した記事もあります。 概要＆テキスト「のんびり統計」のお品書きをお読みください。 シリーズ全体の共有事項、利用テキスト、参考図書などをまとめています。 目次記事のタイトルは、統計検定2級公式問題集【CBT対応版】のタイトルと連動しています。 下線付きのタイトルは記事へのリンクです。 ぜひ、記事に飛んでいってくださいね🚀 1. 1変数記述統計の分野1.1 相対度数の計算 📈度数分布表・ヒストグラム・箱ひげ図の作成 1.2 中央値を含む階級 📈四分位数の計算、度数分

RAG(Retrieval-Augmented Generation)の拡張手法がいろいろと提案されていますが、お手軽に試すことができて、LLMの処理時間やコストと性能のバランスが良さそうな RAG Fusion を試してみました。ユーザからの入力クエリを元に類似したクエリを生成AIに複数生成させ、それぞれのクエリでベクトル検索を実施、得られたチャンクをリランキングして、上位のチャンクのみを最終的なコンテキストとする手法です。 RAG Fusion とは？ RAG Fusion は、入力クエリに関連するクエリを複数生成し、それぞれでベクトル検索を実施、得られたチャンクをリランキングして、上位のチャンクをコンテキストとしてLLMに渡す手法です。 LangChainのブログに掲載されている以下の図が、RAG Fusion の手法を端的に示しています。 （出典）Query Transformat

Building an Advanced Fusion Retriever from Scratch 解説 元記事の解説 Query Fusion が気になる方向け Jupyter Notebook 上で実行 Windows 環境 概要 このチュートリアルでは、スクラッチから高度な「QueryFusionRetriever」を構築する方法を説明します。このプロセスは、RAG-fusionのリポジトリに大きく触発されています。 セットアップ まず、文書を読み込み、シンプルなベクトルインデックスを構築します。

最近では、RAG（Retrieval Augmented Generation）を使って、検索して得られた文書を生成時に活用することがありますが、その性能を改善するための手法の1つとしてハイブリッド検索が知られています。ハイブリッド検索は、2つ以上の異なる検索技術を組み合わせた検索方法です。最近は、全文検索とベクトル検索の組み合わせを見ることが多く、その良いとこ取りをすることで検索性能を改善します。 ハイブリッド検索の有効性はいたるところで報告されていますが、「適当に全文検索とベクトル検索を組み合わせるだけで性能が上がるのか？」というとそれには疑問があります。ハイブリッド検索では、全文検索とベクトル検索の結果をランク融合アルゴリズムを使って統合することが行われます。そのような仕組み上、どちらか片方の検索性能が低い場合、全体としての性能が下がることが考えられるはずです。 そこで本記事では、日

こんにちは！ACSD松崎です。 Llama_index関連のブログ投稿の第三弾として、今回は、SimpleDirectoryReaderとGPTVectorStoreIndexを使ってファイルベースのFAQエンジンを作る際に回答に使われたドキュメントの情報を生成＆回答に付与する方法を解説します。 概要 Llama_indexの SimpleDirectoryReader を使う際のサンプルコードは、 documents = SimpleDirectoryReader("data").load_data() のような例が多いと思います。代わりにSimpleDirectoryReader 生成時の第2引数にファイル名をメタデータとして取得するラムダ式を渡すことで、後段でqueryをする際のRESPONSEオブジェクトに回答に使われたファイル名が含まれるようになります。 file_metadat