文書のランキングは情報推薦なのか？ - Qiita
検索エンジンにこれらのフィールドを持つ文書として格納します。「冷蔵庫 安い 黒」のような文字列のクエリが来たら単語に分解して各フィールドに一致する文書をフィルタして、なんらかの方法でソートして表示すればよさそうですね。このように基本的に検索システムは候補生成とランキングの多段構成になっています。候補生成に関してはクエリ拡張や候補拡張など様々な手法が提案されてきて、多くの現場で実際に使われていると思いますが、ランキングはどうでしょうか。 文書のランキングの目的は検索結果の有用性を最大化することです。1977年にRobertsonは与えられた文書セットに対して関連度の確率を高い順にソートしたときに有用性が最大になるというProbability Ranking Principleを提案し、それ以来人々は様々な方法で関連度を推定しようと試みてきました。 従来の単語の出現頻度からランク付けをする手法
ZOZOTOWNにおける検索速度改善までの道のり - ZOZO TECH BLOG
こんにちは。ZOZOテクノロジーズZOZOTOWN部 検索チーム 兼 ECプラットフォーム部 検索基盤チームの有村です。 ZOZOTOWNでは先日公開した記事の通り、すべての検索をElasticsearchへ置き換えました。置き換え直後は順調に見えたのですが、実際に数%ずつリリースしていく中で一部時間帯、一部リクエストでレスポンス速度の低下がみられました。 本記事ではその解決のために行ったパフォーマンス調査、チューニング方法についてご紹介します。なお、一般的に行われるであろうElasticsearch本体のパラメータチューニングの話ではなく、クエリやmapping、setting面の話がメインとなります。 改善前後の速度について 詳細な内容の前に、本改善によるレスポンス速度の最終的な改善結果を示します。 今回の計測では、一定パターンのリクエストを10秒間繰り返し、95%tileのレスポンス
検索結果の品質向上 Elasticsearch入門
2019年度リクルート新人ブートキャンプ エンジニアコースの講義資料です
Bing検索の裏側―BitFunnelのアルゴリズム - Hatena Developer Blog
はてなアプリケーションエンジニアの id:takuya-a です。 この記事では、Microsoft の検索エンジン Bing で採用された BitFunnel アルゴリズムを紹介します。 昨年のエンジニアアドベントカレンダーでは、文字列検索のアルゴリズム全般について紹介しました（文字列アルゴリズムの学びかた - Hatena Developer Blog）。今年はそのなかでも、インデックス（索引）を使った全文検索アルゴリズムについてのお話になります。 この記事の前半は全文検索の入門にもなっていますので、検索技術になじみがない方にも楽しんでいただけるのではないでしょうか。 逆に、「そんなのもう知ってるよ！」という方は、本題である「BitFunnel アルゴリズムの詳細」から目を通していただければと思います。 この記事は、はてなエンジニア Advent Calendar 2017の21日目の
日本が機械学習パラダイスなのは情報大航海プロジェクトのおかげ - kuenishi's blog
人工知能じゃ〜これからはシンギュラリティじゃ〜と盛り上がっており、猫も杓子も深層学習で人工知能で人類皆失業などと楽しいお祭り、ぼくは嫌いじゃない。我々が生きていくためには金が必要なんだ。というわけで、ちょっと気になって調べたことがあったのでここに記録しておく。もしこれが知財や法曹方面の業界で有名な話だったらコンピュータエンジニアたち何やってんのという話ではある。 AIブームというやつが燃料になって日本は機械学習パラダイスだという記事が話題になっているが、これは平成21年の著作権法改正で追加された著作権法47の7のおかげである（ラッキー！） じゃあ、そもそもどうしてそんな条項ができてるの？ 調べてみたら情報大航海プロジェクトが深く関わっているようだよ？ちょっとは感謝したらどう？？ もともとこれが気になっていた。ので調べました。という話。 著作権法の47の7が、思いがけず今重要にって解説が散見
Bayesian Setsによる関連文書検索システムStupa - mixi engineer blog
都会よりも田舎が好きなfujisawaです。Bayesian Setsというアルゴリズムを使って、関連する文書を高速・高精度に検索できるシステムを作成しましたので、そのご紹介をさせていただきます。 Bayesian Setsとは Bayesian Setsはいくつかアイテムを入力すると、それを補完するようなアイテムを返してくれるアルゴリズムです。原著論文の先頭に"Inspired by Google Sets"と書かれているように、Google Setsを参考にして作成されています。実際にどのような出力が得られるか、Google Setsに以下の表のクエリを検索して試してみますと、 クエリ 出力 apple, banana chocolate, strawberry, vanilla, cherry, ... apple, macintosh software, windows, mac,
情報爆発プロジェクト 検索エンジン基盤 TSUBAKI
TSUBAKI利用時の良かった点、問題点などご意見を頂けると幸いです。 ご意見は tsubaki あっと nlp.kuee.kyoto-u.ac.jp までお願い致します。
Wolfram|Alpha: Making the world’s knowledge computable
Compute expert-level answers using Wolfram’s breakthrough algorithms, knowledgebase and AI technology Mathematics ›Step-by-Step SolutionsElementary MathAlgebraPlotting & GraphicsCalculus & AnalysisGeometryDifferential EquationsStatisticsMore Topics »Science & Technology ›Units & MeasuresPhysicsChemistryEngineeringComputational SciencesEarth SciencesMaterialsTransportationMore Topics »Society & Cul
【レポート】ついに姿を現した"Googleキラー"、「Wolfram|Alpha」の実力は? (1) 確かな”答え”が返ってくる計算知識エンジン | ネット | マイコミジャーナル
米Wolfram Researchが開発している新検索サービス「Wolfram|Alpha」の試験公開が始まった。同社は米国時間の5月18日の正式公開に向けて同15日に最終テストを実施、問題が生じなければ同日から試験公開すると予告していた。 Wolfram|Alphaは一部で“Googleキラー”になり得ると報じられ、その実力や機能に注目が集まっていた。だが米国時間の15日夜に予定されていたカウントダウンのWebキャストがスムーズに進行せず、さらにラージスケールでのシミュレーションに失敗したという報道も加わり、一時は18日の正式公開を危ぶむ声もあった。予定より遅れはしたものの、なんとか試験サービス公開にこぎ着けたことで、期待が逆風に転じる最悪のシナリオは避けられた形だ。 Wolfram|Alphaは計算知識 (computational knowledge)エンジンである。独自のナレッジ・
インフォセンター - Yahoo!検索
クローラー ウェブページの巡回・収集を行うクローラーに関連する説明や、REP（Robots Exclusion Protocol）に従ったrobots.txtの設置方法などの解説。 クローラーによるウェブページの巡回と収集 ロボッツ・エクスクルージョン・プロトコルとクローラー サイト単位、ディレクトリ単位での巡回の拒否設定 1 » 一覧を見る
検索サイトの舞台裏--グーグル幹部が明かす改善手法
サンフランシスコ発--Googleは、こと検索クオリティに関しては複数の顔を持っているようだ。 Googleは、ABスプリットと呼ばれる手法を使って、同社のメイン検索ウェブサイト（簡素な検索ボックスと検索結果の両方について）どのような変更を加えるべきか検討している。Googleの検索プロダクトおよびユーザーエクスペリエンス担当バイスプレジデントであるMarissa Mayer氏は米国時間5月29日、サンフランシスコで開催されているGoogle I/Oカンファレンスで講演した。その中で同氏は、上記の手法について、Googleはユーザーに対し、デザインの異なる複数のページを表示し、その反応を測っていると説明した。 Mayer氏によると、例えばGoogleは、ユーザーに対して表示する検索結果を何件にすべきかを探りたかったという。通常は、10件か20件、25件か30件といったところだろう。この点に
1日で作る全文検索エンジン - Building a full-text search engine in "ONE" day - - とあるはてな社員の日記
最近、「Introduction to Information Retrieval」というStanfordの大学院向け教科書のドラフトを読んでいます。id:naoyaあたりが勉強会で読んでいる教科書です。この教科書には、効率のいい全文検索システムを作るにはどうすればいいか、という(まさに)教科書的手法が網羅的に書いてあり、そのあたりに興味がある人には、非常に興味深く読めるお勧めの本です。 ただ、面白い面白いと言っているだけでは、エンジニアとしては価値半減ですので、GW中にrubyで一日かけて実装してみました。 さすがに実装は、一日で作ったものですから、非常に素朴です。マルチバイト文字はbi-gramで、シングルバイトはスペースなどの区切り記号で認識しています。インデックスは、rubyの処理系のHashやArrayで保持しており、外部にMarshallで書き出す、というものです。検索エンジン
ケータイとPCの検索における5つの違い
携帯電話とPCには5つの大きな違いがある。PCのSEOのノウハウを携帯電話にそのまま転用しても成功には結びつかない。両者の違いを踏まえてモバイル独自の対策を実施する必要がある。下記に挙げた5つの違いについて順番に解説していく。 1.検索キーワードの違い 2.検索エンジンの違い 3.公式サイト・一般サイトの区別 4.キャリア/端末の識別 5.IPアドレスによるアクセス制限 1.検索キーワードの違い SEOで最も重要な要素のひとつが対策するキーワードだ。携帯電話ならではの特徴と、PCとの共通点が見えてきた。 携帯電話の検索の特徴「キーワードの正確さ」 ほぼすべての端末には予告変換機能が搭載されており、はじめの1文字2文字を入力すれば、大抵は自分の意図する単語が表示される。固有名詞が辞書に登録されているため、「L’Arc〜en〜Ciel」「Mr.children」などのアーティスト名や「LOUI
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
はてなブックマーク全文検索の精度改善
画像会話検索No.1／画像会話なら ちくわぶ
科学技術総合リンクセンター（J-GLOBAL)
http://www.technobahn.com/cgi-bin/news/read2?f=200903092007
Webページの文字コードをUTF-8にする方法(前編)
日本語例文検索 JReK
Cuil