miguchiのブックマーク - はてなブックマーク

ベクトル検索ライブラリ Faiss を試す｜npaka
ベクトル検索ライブラリ「Faiss」を試したので、使い方をまとめました。 1. Faiss「Faiss」は、Facebookがリリースしたベクトル検索ライブラリです。 2. テキストを埋め込みに変換「埋め込み」は、意味的類似性を示すベクトル表現です。2つのベクトル間の距離は、その関連性を表し、小さな距離は高い関連性、大きな距離は低い関連性を示します。一般的に次のような用途に使用されます。・検索 : 検索結果がクエリ文字列との関連性でランク付けされる・クラスタリング : テキストを類似性によってグループ化・レコメンデーション : 関連するテキストを含む項目を推奨・異常検出 : 関連性の少ない外れ値を特定・ダイバーシティ測定 : 類似性分布を分析・分類 : テキストを最も類似したラベルで分類 Colabでの実行手順は、次のとおりです。 (1) メニュー「編集→ノートブックの設定」
miguchi 2023/12/13
検索

api

Faiss
リンク
OpenAI DevDay で発表された新モデルと新開発ツールまとめ｜npaka
以下の記事が面白かったので、かるくまとめました。・New models and developer products announced at DevDay 1. GPT-4 Turbo「GPT-4 Turbo」は、「GPT-4」より高性能です。2023年4月までの知識と128kのコンテキストウィンドウを持ちます。さらに、「GPT-4」と比較して入力は1/3、出力は1/2の安い価格で提供します。開発者はモデルID「gpt-4-1106-preview」で試すことができます。今後数週間以内に、安定した実稼働モデルをリリースする予定です。 1-1. Function Calling の更新「Function Calling」に、単一メッセージから複数のFunction (「車の窓を開けてエアコンをオフにする」など) を呼び出す機能などが追加されました。精度も向上しています。 1-2. 構造
miguchi 2023/11/13
開発

ChatGPT
リンク
OpenAI API で提供されているモデルまとめ｜npaka
1. OpenAI APIのモデル「OpenAI API」は、用途に応じて「GPT-3.5」をはじめとする様々なモデルを提供しています。・GPT-3.5 : 自然言語とコードを理解および生成する最新モデル。・DALL-E : 自然言語から画像を生成・編集するモデル・Whisper : 音声をテキストに変換するモデル・Embeddings : 埋め込み (ベクトル表現) を生成するモデル・Codex : コードを理解および生成するモデル・Moderation : センシティブおよび安全でない文章を検出するモデル・GPT-3 : 自然言語を理解および生成する旧モデル 2. GPT-3.5「GPT-3.5」は、自然言語とコードを理解および生成する最新モデルです。最も高性能で費用対効果の高いモデルは、チャット用に最適化されていますが、既存タスクにも適している「gpt-3.5-tu
miguchi 2023/03/07
“GPT”

機械学習

AI
リンク
1