ChatGPTのコンテキストを英語要約の文書ベクトルで作る｜ふたたか
先日こちらの記事を書いたのですが、コンテキストのウィンドウが4096トークンしかない問題があり、あまり良い結果が得られませんでした。 そこで改善策として、次の点を実施してみました。 記事を要約することで、コンテキストに詰め込める情報量を増やす。 英語に翻訳する。日本語に比べるとトークン数が半減する。また、英語の方が精度が上がる。 ドキュメントを要約＆翻訳する今回もライブドアニュースを使用します。 openai.ChatCompletion.create()を使用して要約します。出力は英語になります。 プロンプトは以下のようになります。要約後のトークンが4096になるようにします。 {"role": "system", "content": '''summarize this document for me and keep the summary to around less than 4
Qdrant ベクトル検索エンジン
この記事はオープンソースのベクトル検索エンジンQdrant(クワッドラント)の使い方と類似記事検索についての前編になります。 初心者向けにコンセプトの理解を優先し、難しい用語の使用はあえて避けています。 使用するもの Qdrant オープンソースベクトル検索エンジン (Rust実装) GiNZA spaCy ドキュメントのベクトル化 livedoorニュースコーパス ライブドアのニュース記事 (株式会社ロンウィット) Python 3.10 Qdrantとは？ オープンソースのRust製ベクトル検索エンジンです。クライアントはPython SDK、REST API、gRPCで接続できます。クラウドサービス版も準備中のようです。 Qdrantを使用したデモサイトもあります。 ベクトル検索エンジンとは？ みなさんが思い浮かべる検索エンジンはキーワードを使用して検索するものでしょう。検索ボックス
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
