【RAG】CohereのRerankerをLangchainで試す
RAGの性能改善手法の一つとして、比較的手軽に実装できるCohereのRerankerを試してみました。いったん、通常のベクトル検索で抽出したチャンクをRerankモデルに入力して、関連度の高い順にRerankする手法です。LangchainのContextual Compression Retrieverを利用すればすぐに実装できます。 RAGの性能改善手法 Rerank とは？ RerankはRAGの性能改善手法の一つです。 Rerankでは、通常のベクトル検索による検索結果に対して再評価を行い、よりクエリとの関連度の高い順序で並べ替えます。ベクトル検索では、大量の候補文書（チャンク）の中から関連度だけを元に検索を実施しますが、実施には関連度の低いものや、ベクトル距離は近くても文脈が異なるものが含まれます。Rerankはこれらのチャンクを再評価し、最も関連性が高いものを上位に配置するこ
リランキング モデルによる RAG の日本語検索精度の向上
Reading Time: 7 minutes ChatGPT が登場して以降、多くの企業/組織にて生成 AI の活用が進んでいます。その中でも LLM (Large Language Model、大規模言語モデル) は大量の知識を学習することで幅広い分野の問題を解決することができます。LLM は学習した知識には適切な回答ができるも一方で、社内ナレッジなど学習には含まれていない事がらに関する回答は得意ではありません。LLM が特定の領域の質問にも正確に回答できるようにした手法に RAG (Retrieval Augmented Generations) があります。 RAG は、大きく「レトリーバー (Retriever)」と「ジェネレーター (Generator)」の 2 つのパーツで構成されています。レトリーバーは、ユーザーによって入力されたクエリ (例: 質問文) を受け取り、そのク
VSCode(Cursor)とFastAPIでデバッガを使う
概要 FastAPIのVSCodeでの開発時にデバッガを使う方法をまとめます。 PyCharmなど他のエディタでもデバッガは使用できますが、本記事では割愛し、VSCodeとCursorでのデバッガ方法をまとめます。 GitHub: https://github.com/hosimesi/code-for-techblogs/tree/main/fastapi_docker_debugger デバッガの種類 Pythonでデバッガを使用したい場合、以下の2つが候補に上がってくると思います。 標準デバッガ (pdb) Pythonに組み込まれている基本的なデバッガであり、コマンドラインで使用する方法とコード上に埋め込んで使用する方法の2種類があります。コマンドラインの場合、以下のようにモジュールを指定し、pdbに用意されているコマンドを使用して1行ずつ確認することができます。比較的小さなアプリ
Python Plotly入門① - 基本的な使い方
今回から数回にわたってPython Plotlyを使ったデータの可視化について取り扱いたいと思います。 Pythonでグラフを描く場合、MatplotlibやSeabornを使うのが大半だと思います。 これらのツールは簡単にしかも非常に見やすいグラフを描くことができます。 しかしながら、今回オススメするPlotlyではインタラクティブな可視化を簡単に行うことができます。 データ・サイエンティストやデータ分析者にとって、データの可視化は非常に重要な技術ですので、Plotlyをマスターすると分析の高度化や、お客さんに分析結果を報告する際に非常に便利だと思います。 第一回目は基本的な使い方を解説したいと思います。 Plotlyとは Plotlyはインタラクティブなグラフを作成するPythonのライブラリです。 インタラクティブというのは、単にグラフを表示するだけでなく、以下のように、カーソルを合
Python 3 で標準出力のブロックバッファリングを止める方法 - Qiita
Python の標準出力には3つのバッファリングモードがあります。 バッファなし。バイナリモードとなり、データが即座に渡されます1。 行バッファリング。改行されるたびに、暗黙的にフラッシュします2。 ブロックバッファリング。バッファが足りなくなるたびに書き出されます3。 デフォルトでは、インタラクティブだと行バッファリングとなり、それ以外だとブロックバッファリングとなります4。この記事では、ブロックバッファリングとなっている標準出力を、行バッファリングあるいはバッファリングなしに設定する方法を4つ紹介します。 python -u python コマンドに -u 引数を与えると、標準入出力及び標準エラー出力がすべてバッファリングなしになります1。ブロックバッファリングを止める最も簡単な方法です。一時的にバッファリングを止めた状態でスクリプトを実行したい場合に適しています。しかし、実行する度に
poetryでパッケージ・仮想環境を管理 – rinoguchi's techlog
これまでpythonプロジェクトにおいては、pipでパッケージ管理しvenvで仮想環境を構築するというスタンスだったのですが、いい加減もっと便利なツールに乗り換えることにしました。 調べてみるとpipenvとpoetryという二つの良さそうな候補があり、ちょっと迷いましたがpoetryに決めました。 ドキュメントが分かりやすいので不要かもしれませんが、この記事では知っておいた方が良さそうな部分を抜粋して動作確認しつつ、poetryの使い方をまとめています。 poetryを選んだ理由 pipenvもpoetryも調べた範囲では、担当プロジェクトでやりたいことを考えると、機能的には不足を感じませんでしたが、先駆者の皆さんのブログを読むと、以下のような点でpoetryの方が優位性が高く、githubのstar数の推移を見ても、将来的にはpoetryがはやる可能性が高そうな気がするので、poetr
【Python】Poetry始めてみた & Pipenv から poetry へ移行した所感 - Qiita
動機 近頃pipenv のインストールがかなり遅いので poetry を試してみました。 一通り使ってみてわかったことをまとめます。Pipenvを使っているのでそことの比較も。 パッケージ関連のコマンド(build, publish...)に関してや、細かい機能に関しては記述しないので、公式 Docを参考にしてください。 Poetryについて Poetryは、Pythonのパッケージ管理ツールです。Pipenvと同様、依存関係を解決しパッケージのインストール、アンインストールを行ってくれ、 poetry.lockファイルによって、他のユーザーも適切なバージョン、依存関係でパッケージをインストールすることが出来ます。 仮想環境を利用でき、パッケージングも可能です。 環境 CentOS 7.6.1810 pyenv 1.2.14-8-g0e7cfc3b poetry 1.0.2 Python
2022年版pyproject.tomlを使ったPythonパッケージの作り方 - Qiita
pyproject.toml のみを使った python パッケージの書き方について説明します。 setup.py や setup.cfg は不要です。 また poetry なども使いません。 (業務レベルでは使うほうが便利だと思います。) 背景 仕事で複数のリポジトリにわたる開発をしていますが、一部リポジトリはパッケージにしたほうが使いやすいなと思うことが多々ありました。 パッケージの作り方についてはたくさん記事がありますが、setup.py、setup.cfg、 pyproject.toml などのファイルをどう使い分けるのか、初心者にはわかりにくいです。 また近年は pyproject.toml に諸々の設定が集約され始めているため、 pyproject.toml で完結できると嬉しいですね。 今回、pyproject.toml だけで設定できるパッケージのサンプルを作ったので紹介し
GitHub Actionsを用いた自動テストの実行と結果集計 - Qiita
1. はじめに GitHub Actionsを用いて自動テストの実行と結果の集計を行う方法を説明します。 具体的には、ソースコードがGitHubへpushされたタイミングで、pythonで書かれたテストをpytestを使って実行し、GitHub上に下図のサマリを表示します。 今回、GitHub Actionsを初めて使ったので、学習のためにGitHub Actionsの基本についても触れています。 2. GitHub Actionsとは GitHubのCI/CDツール。 push, pull requestなどのGiHub上のアクティビティやスケジュールした時間、外部イベントをトリガーとして、ワークフローを作成できます。 特徴 Linux, macOS, Windowsすべてのコンテナに対応 Node.js, Python, Java, Rubyなど、様々な言語に対応 複数のジョブを並行し
pytest ヘビー🐍ユーザーへの第一歩 - エムスリーテックブログ
蛇行区間にはレールの内側に脱線防止ガードが設置される（本文とは関係ありません）。 こんにちは、エムスリー・エンジニアリングG・基盤開発チーム小本です。 pytest は Python のユニットテストのデファクトスタンダードです。エムスリーでも顧客向けレポートや機械学習でPython＆pytest をヘビー🐍1に使っています。 ですが、実は pytest は、意外と入門のハードルが高い。と言うのも、pytest の公式ドキュメント が、fixtureのような新概念も登場する上、詳細で分量が多いからです（しかも英語）。初心者にいきなり読ませると挫折する可能性大です 2。 そこで、とりあえず使い始めるのに必要そうな情報を日本語でまとめました。 pytest ってどんなライブラリ？ unittest や nose から簡単に移行できる 書き方がシンプル fixture モックもできる プラグイ
Graphene + FlaskでGraphQLサーバを作り、QueryとMutationを試す | nansystem
PythonでGraphQL (opens new window)サーバーを構築する。 GraphQLサーバの構築にはPythonのGraphQLライブラリであるGraphene (opens new window)を使う。 # GraphQLとは GraphQLは、RESTに代わるAPIの仕様だ。 APIは、クライアントがサーバーからデータを取得する方法を定義する。 GraphQLクライアントはGraphQLクエリ言語(GraphQL query language)によりデータを絞り込み、GraphQLサーバから必要なデータを取得する。 GraphQLサーバは、固定のデータ構造を返す複数のエンドポイントではなく、単一のエンドポイントのみを公開し、クライアントが要求したデータを返す。GraphQLスキーマ言語(GraphQL schema language)によりデータの追加や変更、型を定
FastAPI
FastAPI¶ FastAPI framework, high performance, easy to learn, fast to code, ready for production ドキュメント: https://fastapi.tiangolo.com ソースコード: https://github.com/fastapi/fastapi FastAPI は、Pythonの標準である型ヒントに基づいてPython 以降でAPI を構築するための、モダンで、高速(高パフォーマンス)な、Web フレームワークです。 主な特徴: 高速: NodeJS や Go 並みのとても高いパフォーマンス (Starlette と Pydantic のおかげです)。 最も高速な Python フレームワークの一つです. 高速なコーディング: 開発速度を約 200%~300%向上させます。 * 少ない
pipとpipenvとpoetryの技術的・歴史的背景とその展望 - Stimulator
- はじめに - Pythonのパッケージ管理ツールは、長らく乱世にあると言える。 特にpip、pipenv、poetryというツールの登場シーン前後では、多くの変革がもたらされた。 本記事は、Pythonパッケージ管理ツールであるpip、pipenv、poetryの3つに着目し、それぞれのツールに対してフラットな背景、技術的な説明を示しながら、所属企業内にてpoetry移行大臣として1年活動した上での経験、移行の意図について綴り、今後のPythonパッケージ管理の展望について妄想するものである。 注意：本記事はPythonパッケージ管理のベストプラクティスを主張する記事ではありません。背景を理解し自らの開発環境や状態に応じて適切に技術選定できるソフトウェアエンジニアこそ良いソフトウェアエンジニアであると筆者は考えています。 重要なポイントのみ把握したい場合は、各章の最後のまとめを読んで頂
PipenvとPoetryを比較してPipenvを使うことにした · kapieciiのブログ
Sep 27, 2020 18:40 · 1014 words · 3 minute read python これまでPythonの環境管理にはPipenvを使っていました。 複数人で使うpython製ツールの実行環境構築にpipenvを使ってみたら、とても便利だった 最近はPoetryが伸びているらしいので、試しに使ってみました。 2020 年の Python パッケージ管理ベストプラクティス 今回試した内容をメモしておきます。 目次 Poetryのインストール Project Setup ライブラリ追加 スクリプト実行 その他のコマンド Pythonバージョンの切り替え 最後に Poetryのインストール Poetry Introduction % curl -sSL https://raw.githubusercontent.com/python-poetry/poetry/mast
コードファーストでOpenAPIを爆速で定義できるFastAPIを使おう！｜Tak
テックブログ担当させていただくことになりましたTakです。業務ではJavaのサーバーサイド実装が主なのですが個人的にはPythonが好きです。私の業務では使っていませんがPythonについての記事になります。 OpenAPIとは？REST APIを開発する際にAPI仕様書をOpenAPI Specificationで用意するのは一般的です。「OpenAPIとはなにか」が分からない場合はググってもらうとたくさん解説が見られるのでそちらをご覧ください。 簡単に言えば、「あるREST APIは、このようなパスで、このようなリクエストを受け付けてこのようなレスポンスを返すよ」というスキーマ定義です。 GraphQLのスキーマ定義についてはこの記事では書いてないです。 文章で書かれたAPIドキュメントは人間が読むだけのものになりますが、OpenAPIのスキーマ定義はツールに読み込ませて次のようなこと
FastAPIで作るWebアプリ - validation - Qiita
今回はRequest パラメータのバリデーションを取り上げます。パスパラメータとクエリパラメータです。Swagger UIとともに、FastAPIでの開発効率を上げてくれるものです。 【過去記事】 Python Asyncio入門 Aiohttpで作るSimple Web Server - Qiita Starletteで作る Simple Web Server - QIita FastAPIで作るWebアプリ - 基本 FastAPIで作るWebアプリ - validation FastAPIで作るWebアプリ - Body validation FastAPIで作るWebアプリ - Form validation FastAPI 公式サイト 1.パスパラメータ 1-1.型チェック 前回と同じプログラムを使います。 from fastapi import FastAPI app = Fa
FastAPI勉強メモ - Qiita
参考資料 FastAPIは？ FastAPI framework, high performance, easy to learn, fast to code, ready for production 特徴 typeの定義でrequest内容を自動bindingできる type hintで静的チェックできるので、バグになりにくい 簡単 ハイパフォーマンス OAuth2 OpenAPI docs自動作成 GraphQLサポート ドキュメントが充実 開発環境の構築 libraryインストール virtualenv is a tool for creating isolated virtual python environments. プロジェクトごとで依存するパッケージの管理環境を提供する FastAPI is a framework, high performance, easy to l
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
asdfでuvをinstallする方法 - Qiita
pyngrok - A Python wrapper for ngrok
Python3の...（Ellipsisオブジェクト）について - Qiita
