どんな人向けの記事？ 医薬品のような難しい検索ニーズにこたえるためにベクトル検索を利用する知見を見てみたい MySQLの全文検索と、ベクトル検索の精度や速度を比較してみたい ベクトルDBとEmbeddingモデルを利用した簡単なベクトル検索の実装方法を知りたい 医薬品の検索ニーズは多様なので、ベクトル検索で解決できるか試したい 1つの医薬品を指す名称は、複数存在するため医薬品検索は意外と面倒な問題です。 例えば、日本人なら頭痛や生理痛、発熱したときに「ロキソニン」を飲んだことがあるかもしれません。この名称は商品の名称ですが、成分の名称は「ロキソプロフェンナトリウム水和物」です。 さらに、ロキソプロフェンには錠剤以外にもテープやパップといった剤形の違いがあります。 そして最後に、ロキソプロフェンを作っている会社は複数あるので、末尾に「トーワ」や「ファイザー」などの組み合わせが存在します。ロキ
tf.data: TensorFlow 入力パイプラインの構築 コレクションでコンテンツを整理 必要に応じて、コンテンツの保存と分類を行います。 tf.data API を使用すると、単純で再利用可能なピースから複雑な入力パイプラインを構築することができます。たとえば、画像モデルのパイプラインでは、分散ファイルシステムのファイルからデータを集め、各画像にランダムな摂動を適用し、ランダムに選択された画像を訓練用のバッチとして統合することがあります。また、テキストモデルのパイプラインでは、未加工のテキストデータからシンボルを抽出し、そのシンボルをルックアップテーブルとともに埋め込み識別子に変換し、異なる長さのシーケンスをまとめてバッチ処理することもあります。tf.data API は、大量のデータを処理し、別のデータ形式から読み取り、こういった複雑な変換の実行を可能にします。 tf.data
はじめにGoogle Timesfm、Moment、IBM Graniteに引き続き、HuggingFaceにある商用可能なライセンスの時系列基盤モデルを4つ試し、比較していきたいと思います。 利用するデータはETTh1という電力変圧器温度に関する多変量時系列データセットです。事前学習にこのデータが含まれる可能性があるため、モデルの絶対的な評価に繋がらないことに注意してください。 google/timesfm-1.0-200m ダウンロード数：4.59k モデルサイズ：200m ライセンス：Apache-2.0 AutonLab/MOMENT-1-large ダウンロード数：5.79k モデルサイズ：385m ライセンス：MIT ibm-granite/granite-timeseries-ttm-v1 ダウンロード数：10.1k モデルサイズ：805k (小さい！！) ライセンス：Apa
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
医薬品検索にベクトル検索を導入したら、デフォで検索ニーズをほぼ満たせそうだった話
tf.data: TensorFlow 入力パイプラインの構築 | TensorFlow Core
Google Colabで時系列基盤モデルを試す④：amazon chronos-t5｜はち