LlamaIndexでClaude3を使ったRAGを試してみる
LlamaIndex LLMsのAnthropicのドキュメント パッケージインストール。今回はトレーシングも有効にしてプロンプトも確認してみる。Arize Phoenixを使う。 !pip install llama-index llama-index-llms-anthropic llama-index-callbacks-arize-phoenix from google.colab import userdata import os os.environ["ANTHROPIC_API_KEY"] = userdata.get('ANTHROPIC_API_KEY') os.environ["OPENAI_API_KEY"] = userdata.get('OPENAI_API_KEY')
LLMCompilerを試す
落合陽一風まとめ。これ使ってます。超便利。 An LLM Compiler for Parallel Function Calling ひとことでまとめるとどんなものですか？ LLMCompilerは、大規模言語モデル（LLM）による関数呼び出しを並列で効率的に実行するためのフレームワークです。従来の逐次的な関数呼び出し方式とは異なり、LLMの推論能力を活用してタスクを並列に処理し、レイテンシやコストを削減しながら精度を向上させることを目指しています。 先行研究と比較してどの点がすごいのですか？ LLMCompilerは、複数の関数呼び出しを並列で実行し、これによってレイテンシを最大3.7倍、コストを最大6.7倍削減し、精度を約9%向上させることが可能です。これは、ReActやOpenAIの最近の並列関数呼び出し機能と比較しても優れた成果です。特に、複雑な依存関係を持つタスクや、中間結
(日本語訳) Vector databases (Part 1): What makes each one different?
ベクトルデータベースに関しては、カリフォルニアのベイエリアで明らかに"多く"の活動が行われている！また、資金調達と評価の額には大きなばらつきがあり、データベースの能力と資金調達額に相関関係がないことは明らかである。 プログラミング言語の選択 高速でレスポンスが良くスケーラブルなデータベースは、近年、GolangやRustのようなモダンな言語で書かれることが一般的である。ベクトル特化ベンダーの中で、Javaで書かれているのはVespaだけである。Chromaは、C++で構築されたOLAPデータベースであるClickhouseとオープンソースのベクトルインデックスであるHNSWLibの上に構築されたPython/TypeScriptラッパーとなっている。 興味深いことに、Pineconeも[2]、LanceDBのベースとなるストレージフォーマットであるLance[3]も、元々はC++で書かれて
OpenCALMをためしてみた＆LoRAでファインチューニング
npaka先生のありがたい記事をまずは写経してみます 環境 自宅サーバ Intel Core i9-13900F メモリ 32GB NVIDIA GeForce RTX 4090 24GB Ubuntu 22.04 Python-3.10.11 (pyenv-virtualenv) $ nvcc --version nvcc: NVIDIA (R) Cuda compiler driver Copyright (c) 2005-2022 NVIDIA Corporation Built on Wed_Sep_21_10:33:58_PDT_2022 Cuda compilation tools, release 11.8, V11.8.89 Build cuda_11.8.r11.8/compiler.31833905_0
LangChainのGetting StartedをGoogle Colaboratoryでやってみる ⑦Utils
7. Utils LLMを単体で使うだけでなく、他の情報ソースや処理と組み合わせることでよりいろいろな活用ができる。Chainsなどで組み合わせて使う。 以下のようなUtilsがある。 Bash Python REPL Requests Google Search SerpAPI SearxNG Search API Bing Search Wolfram Alpha IFTTT Webhook Google Server API Bash Bashコマンドを実行して結果を取る。 from langchain.utilities import BashProcess bash = BashProcess() print(bash.run("ls -la")) total 20 drwxr-xr-x 1 root root 4096 Mar 1 07:31 . drwxr-xr-x 1 ro
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
