Elasticsearchで関連キーワード機能がどれだけ低コストで実装できるかの旅路 - エムスリーテックブログ
クエリに対する関連キーワード機能 エムスリーエンジニアリンググループ AI・機械学習チームの中村(@po3rin) です。 好きな言語はGo。仕事では主に検索周りを担当しています。 Overview 最近の仕事で医師に質問ができるサービスで「Elasticsearchを使ってなるべく低コストで関連キーワード機能を実装する」という案件に携わっていました。本記事では関連キーワード機能を低コストで実装するための技術調査の結果と、実際に採用した方法をご紹介します。 今回紹介する方法は機械学習などは使わず、なるべく低コストである程度の品質を目指すものです。この記事を読むことで検索アプリケーションにサクッと関連キーワード機能を実装できるようになるでしょう。 Overview 検索における関連キーワード機能とは 実装の前提条件 実装パターンの紹介 (1) ログで出現した単語を数えあげる (2) ログに対
Googleが「Cloud Search Connector SDK」をオープンソース化、企業内のあらゆるデータを検索可能に
Googleは2019年1月25日（米国時間）、「Cloud Search Connector」の作成を支援する「Cloud Search Connector SDK」と、同社が作成した全てのリファレンスコネクタをオープンソースとして、公開したと発表した。 公開されたSDKとリファレンスコネクタは企業ユーザーに役立つ。Googleの「Cloud Search」を使って、自社の全てのデータを、「Google検索」と同様に高速かつ高精度、直感的に検索できるようになるからだ。 Cloud Search Connectorは、「Cloud Search Indexing API」と企業のリポジトリをつなぐパイプとして機能する。すなわち、コンテンツとアイデンティティーそれぞれのインデックスを作成するために利用できる。エンタープライズデータに対して、サードパーティーが安全な検索サービスを提供するための
Open sourcing Cloud Search SDK: create secure connectors for third-party enterprise data | Google Workspace Blog
Open sourcing Cloud Search SDK: create secure connectors for third-party enterprise data At Google, we strongly believe in community-driven development. Developers and partners in our ecosystem play a pivotal role in how we architect our products (and we cannot thank them enough!). Recently, we were fortunate to work with more than 50 partners globally to launch third-party connectivity for Cloud
Open Semantic Search
Open-Source Search Engine with Apache Lucene / Solr Integrated research tools for easier searching, monitoring, analytics, discovery & text mining of heterogenous & large document sets & news with free software on your own server Search engine(Fulltext search) Easy full text search in multiple data sources and many different file formats: Just enter a search query (which can include powerful searc
無料で世界中の芸術作品を見られる「Google Arts & Culture」は機械学習を用いてさまざまな検索方法に対応している
「Arts & Culture」は2015年にGoogleによって公開された世界中の芸術作品を集めたギャラリーアプリです。時代や製作者のほか、カラースケールによっても作品を検索できるなど、芸術作品をさまざまな方法で検索できるようになっており、作品名を知らなくてもお目当てのものを見つけ出すことができます。2018年1月には「自分の顔に似ている肖像画」を検索できるようになるなど、日々進化を遂げているArts & Cultureの検索機能ですが、その開発元のGoogle Arts & Cultureラボがこれまで行ってきた試みをムービーで解説しており興味深い内容となっています。 Putting Machine Learning to work for culture #GoogleArts - YouTube Google Arts & Cultureのラボで行っている実験は「最新の技術を使って
Bing検索の裏側―BitFunnelのアルゴリズム - Hatena Developer Blog
はてなアプリケーションエンジニアの id:takuya-a です。 この記事では、Microsoft の検索エンジン Bing で採用された BitFunnel アルゴリズムを紹介します。 昨年のエンジニアアドベントカレンダーでは、文字列検索のアルゴリズム全般について紹介しました（文字列アルゴリズムの学びかた - Hatena Developer Blog）。今年はそのなかでも、インデックス（索引）を使った全文検索アルゴリズムについてのお話になります。 この記事の前半は全文検索の入門にもなっていますので、検索技術になじみがない方にも楽しんでいただけるのではないでしょうか。 逆に、「そんなのもう知ってるよ！」という方は、本題である「BitFunnel アルゴリズムの詳細」から目を通していただければと思います。 この記事は、はてなエンジニア Advent Calendar 2017の21日目の
OpenSearch - Wikipedia
OpenSearchはシンジケーションとアグリゲーションに適する形式で検索結果を発行することを可能にする技術群である。これはウェブサイトと検索エンジンが標準的でアクセス可能な形式で検索結果を発行する方法である。OpenSearchはAmazon.comの子会社A9によって開発され、最初のバージョンである、OpenSearch 1.0は2005年5月のWeb 2.0においてジェフ・ベゾスにより公開された。OpenSearch 1.1のドラフトバージョンは2005年11月から12月にかけてリリースされた。OpenSearch仕様はクリエイティブ・コモンズ・ライセンス下で、A9によりライセンスされている。 OpenSearchは以下から構成される: OpenSearch Descriptionファイル: 検索エンジンを特定し、説明するXMLファイル。 OpenSearch Query Synta
検索エンジンまわりでの重要語リスト - Qiita
検索エンジンの本を読んでいて、独断と偏見で重要語認定した用語（単純によく見る単語）。 全文検索 全文とは「全」部の「文」を意味しており、検索の対象が「テキストからなる文書の全部の文」である場合に、その文書に対して検索を行うことを全文検索と言う。 ファイル名だけ検索する「ファイル名検索」や、「単一ファイル内の文字列検索」とは異なり、文書に含まれる全文を対象とした検索という意味で使われる。 インデックス 高速な検索が行えるように構成されたデータのこと。 インデックスを生成することをインデキシングと呼ぶ。 トークナイズ 文書をトークンに分解すること。 一般的にトークナイズには以下の2種類がある。 形態素解析 N-gram トークナイズ処理を行うモノをトークナイザと呼ぶ。 ステミング 語形の変化を取り除き、同一の単語表現に変換する処理のこと。 例えば、「run」というクエリで検索をした場合でもru
類似文字列検索ライブラリResemblaを公開しました - LINE ENGINEERING
LINEでClovaの開発をしている上村です。これはLINE Advent Calendar 2017の13日目の記事です。今日は文字列の話をします。 はじめに 与えられた文字列によく似たものを大きな文字列集合から探すということは、古典的でありふれていながら奥が深く難しい問題です。文字列の類似度を正確に見積もるには複雑な計算が必要ですが、膨大な量のコーパスが与えられたときも可能な限り高速に応答を返す必要があります。 検索する文字列の性質をよく把握することも、品質のよい類似文字列検索を行うためには極めて大切です。ここで、今回考える問題の例を見てみます。 この例では、1文字ずつ違いを見つけ出したり、単語単位で見たり、文全体が疑問文や否定文であるかどうかを調べ、それらを総合的に見ることで最終的な判断を下しています。文字だけを見た場合、1文字の違いによって全く違う単語になることは見つけられませんし
MeCabとNLTKを使って最瀕語と共起関係を出力する - Men talking over coffee with smoking Ark Royal.
MecabとNLTKを使って最瀕語と共起関係を出力するコードを書きました。 Mecabのインストールについては、Windowsなら結構難なく行くようですが、Mac OSX Lionだととても躓きました。 その辺りの経緯は、mecab-pythonをMac OSX 10.7 Lion、Python2.7にインストールする - Men talking over coffee with smoking Ark Royal.を参考にしてください。 まず、このMeCabで形態素解析を行うコードですが、以前、『入門ソーシャルデータ』勉強会で、Kenji Koshikawa (Kshi_Kshi)さんに頂いた、mecab_library.pyを元にしています（元のリンクが見つけられませんでした、申し訳ございません）。 mecab_library.py # -*- coding: utf-8 -*- im
【2019年最新版】SEOキーワード分析ツール徹底比較18選 無料・有料 | Eプロ
検索結果の上位を獲得しアクセス数を増やすためかかすことができない「キーワード調査」。 キーワード調査の調査にはツールを使うと効率的ですが、一括りに「キーワードツール」といっても様々な機能をもったツールがあります。 「どんな種類のキーワードツールがあるの？」 「どうやって使えばいいのか？」 「それぞれのツールの強みは？特徴は？」 という疑問にお答えします。 この記事では、国内外の無料(トライアル利用含む)・有料キーワードツールを比較し、基本的な使い方を紹介します。 キーワードツールは、「サジェストワード（関連キーワード）」を抽出したり、「検索ボリューム（検索数）」をチェックする目的で利用します。 キーワードツールを使う目的コンテンツ設計のためのキーワード収集を行うWebサイト設計のためのキーワード収集を行う検索ボリュームを調べるサジェスト（関連）キーワードを抽出するキーワードツールの機能キー
Google Site Searchが終了へ、サイト内検索は2018年までに他のサービスに乗り換えを | 初代編集長ブログ―安田英久
※Google Site SearchではなくGoogle検索アプライアンス（Google Search Appliance、GSA）の2019年終了に関する情報と、乗り換え先サービスの情報はこちらをご覧ください。 Google Site Searchは2018年3月で提供終了、ただしGoogleカスタム検索エンジンは継続提供Googleは、企業向けに有料で提供しているサイト内検索サービスの「Google Site Search」を終了することを決定しています。サービス提供は2018年3月31日までとされています。 そのため、サイト内検索にGoogle Site Searchを利用しているサイトでは、他のサイト内検索サービスへの移行が必要です。 グーグルは無料で利用できる「Googleカスタム検索エンジン」を提供していますが、こちらは2018年4月以降継続してサービスを提供するとのことです
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
「正しい情報」ネット利用者へ 検索の主導権取り戻す 米イエクストCEO ハワード・ラーマン - 日本経済新聞
You.com | AI for workplace productivity
DuckDuckGo
https://jp.techcrunch.com/2020/05/12/2020-05-11-amazon-releases-kendra-to-solve-enterprise-search-with-ai-and-machine-learning/
Qwant
elasticsearchのセットアップして日本語の全文検索を試す - Qiita
オープンソース全文検索サーバー Fess
Home - OpenSearch
