コサイン類似度とは？ 新しい検索体験を支えるベクトルDBの基本技術を押さえる
生成AI（人工知能）のRAG（検索拡張生成）の導入など企業で使われ始めたベクトルデータベース。その特徴は検索にある。ベクトルデータベースとはどのようなデータベースで、なぜ「意味」で検索できるのか。ベクトルデータベースの基本技術についてデータベースの専門家が解説する。（編集部） ベクトルデータベースは自然言語処理などAI技術の発展の中で生まれたデータベースであり、ベクトルの概念を用いてデータを管理するデータベースです。生成AIの登場とともに注目を集め、いまや多くの既存のDBサービスやその応用サービスにベクトルデータベースの機能が組み込まれています。 以下で検索を例にベクトルデータベースの特徴や動作の仕組みを解説します。 ベクトルによる「類似度」の判断 ベクトルデータベースがストアするのは数値の羅列です。単語や文章などの「意味」「文脈」を数値化したデータであり、個々の数値を取り出して意味や違い
画像生成AIで自分が作りたいイメージから類似画像を見つけてプロンプト・呪文を次々に探していける「KREA」
画像生成AI「Stable Diffusion」は「プロンプト」として文字列を入力することで、その文字列の内容に沿った絵や写真を自動で生成してくれます。しかし、自分の理想により近い画像を生成してもらうためには、多種多様な文字列を大量にプロンプトとして入力する必要があり、この複雑なプロンプトを探ることが画像を生成する工程の中でも特に大変な作業の1つです。「KREA」はAIで生成された画像とそのプロンプトをまとめたデータベースで、自分が理想とする画像を生成するためのプロンプトを探る作業がはかどります。 KREA — create better prompts. https://www.krea.ai/ KREAのトップページはこんな感じ。 上段の「search for prompt」に「anime」と入力してみると、以下のようにサジェストが表示されました。 今回はサジェストを無視し、「anim
オンラインドキュメントと日本語全文検索
自社では Sphinx というドキュメントツールを利用しているのですが、残念ながらこれに付属している検索機能の日本語検索はかなり厳しいです。また残念ながら Sphinx 開発側も検索周りを改善するという予定は直近ではないようです。 そして検索というのはとても難しい技術なため自分のような素人では導入して「普通に期待する動作」をさせるまでの距離はとても遠いです。 ただ、なんとかして日本語全文検索を実現したいという思いはここ10 年くらいずっと思っていました。これは自社の Sphinx テーマを作ってくれている社員ともよく話をしていたのですが、どうしてもリソースをつぎ込めずにいました。 まとめ日本語検索に対応している Meilisearch を採用したドキュメントスクレイパーの実行は GItHub Actions (Self-hosted Runner) を採用した自社 Sphinx テーマの検
Google Search Console（サーチコンソール）を強力なSEOツールとして使うための究極ガイド。 - SEO Japan｜アイオイクスのSEO・CV改善・Webサイト集客情報ブログ
今、あなたが読み進めているこの記事は、GSCにおける、大学卒と言えるレベルの内容を記載している。ここでの内容をマスターすれば、あなたはGSCニンジャとなることができるだろう。 そして、それはあなたのSEOに非常に大きな違いを生むこととなるはずだ。 まずはこの記事の概略を説明したい。非常に長い記事となっているため、キリの良いところで区切って読みたいと感じるだろう。 この記事はセクションとサブセクションに分かれているが、この分け方は、GSCのメニューに基づいている。 *元記事では英語画面のキャプチャですが、日本語画面のキャプチャに差し替えています。 上記のセクションの内、始めの4つのセクションに注力している。つまり、パートAからパートDまでである。パートEとパートFも重要ではあるが、あまり説明を必要としないものだからだ。 パート A：検索での見え方 検索での見え方のセクションは、あなたのWeb
ハクビシンにもわかる全文検索 - Qiita
高速な全文検索アルゴリズムであるFM-indexについて解説する。理解しがたい点や間違っている点があれば是非コメントで指摘してほしい。 概要 FM-indexはリニアな文字列に対して検索をするアルゴリズムで、主に簡潔データ構造とBWT(およびLF mapping)という二つのアイデアから成り立っている。BWTはBurrows-Wheeler変換のことで、文字列を特殊な並び順に変換するという可逆関数である。BWTされた文字列を簡潔データ構造固有の操作をすることで、クエリ文字列の長さに比例した短い時間で文字列を探し出すのがFM-indexだ。 簡潔データ構造 簡潔データ構造に関してはFM-indexで必要となる二つの関数だけ説明して、詳細は次の機会に譲るとする。さて、二つの関数はともに文字列のある位置より前の部分に含まれている文字の数を数え上げるというものでrank()とrankLessTha
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
スマホのみ利用が1.6倍、スマホのみ検索キーワードが7倍、ヤフーの調査にみる検索市場の将来 | Yahoo!マーケティングソリューション
