Lexical Search with gzip （gzipによる語彙検索）

lexical_search_with_gzip.py p&�� 0Fi� import gzip def gzip_search(query: str, candidate_chunks: list[str], top_k: int=1): """ 文字列ベースで類似したテキストチャンクを推定するアルゴリズム. `query`, `chunk`, および`query + " " + chunk`をそれぞれgzipで圧縮し、編集距離のようなものをベースに評価する. Parameters: query (str): 検索クエリとして使用する文字列. top_k (int, optional): 返される類似チャンクの上位k個を指定する (default: 1). Returns: List[str]: 最も類似したテキストチャンクのリスト. --- Reference: - “Low-Res

[serihiro]

gzipでsemanticsearchを実装するやつ

[el7]

「極めてシンプルでありながらBERT等の既存の深層学習手法を上回る」 として話題の「gzipによるセマンティック検索」の実装と直感的な説明