Bing検索の裏側―BitFunnelのアルゴリズム - Hatena Developer Blog
はてなアプリケーションエンジニアの id:takuya-a です。 この記事では、Microsoft の検索エンジン Bing で採用された BitFunnel アルゴリズムを紹介します。 昨年のエンジニアアドベントカレンダーでは、文字列検索のアルゴリズム全般について紹介しました（文字列アルゴリズムの学びかた - Hatena Developer Blog）。今年はそのなかでも、インデックス（索引）を使った全文検索アルゴリズムについてのお話になります。 この記事の前半は全文検索の入門にもなっていますので、検索技術になじみがない方にも楽しんでいただけるのではないでしょうか。 逆に、「そんなのもう知ってるよ！」という方は、本題である「BitFunnel アルゴリズムの詳細」から目を通していただければと思います。 この記事は、はてなエンジニア Advent Calendar 2017の21日目の
12345678901234567890123456789012345678901234567890 - SEO辻正浩のサブブログ
検索エンジンは進化を続けています。その中で、特にここ数年で進化が著しいのは「意味」の認識だと私は考えます。 文字列一致を中心にした検索エンジンでは今のインターネットに対応出来ませんので、今日の検索エンジンは、検索された検索語句やWebページの意味を識別した上で検索結果を作っています。 その意味認識の進化の例としておもしろい検索結果が確認できましたのでご共有です。 これは[対馬]の検索結果の3週間での変化です。 これはGoogleの意味認識の異様な精度を表すものとして興味深いのですが、複雑ですので少し解説を書いてみます。 前提：[対馬]検索のニーズの変化 「艦隊これくしょん」というゲームがあります。旧日本軍の軍艦を擬人化したキャラクターによるシミュレーションゲームです。 このゲームで11月17日から始まったイベント「捷号決戦！邀撃、レイテ沖海戦(前篇)」で、新キャラクター「対馬」が登場しまし
情報，検索，混乱 | F's Garage
おきもち，だけなんですが， google driveには絶対位置という概念が今ひとつなくて，スケーラブルな情報管理という面ではイノベーションを感じつつも，現実にはマジで混乱してる日々を送っているのですが，そこから発想が派生して， 「ネットはゴミだらけ」を考える:Geekなぺーじ あきみちさんの記事のタイトルで「ネットはゴミだらけ」って文字列が気になってたんですが，それって，google検索が出てくる前の状況に戻っちゃったなーってふと思った． google検索のよさって，「インターネットの情報に対する信用の担保」だったんだなって今更気がついた． それがgoogle自慢の信用ロジックがハックされてるようになって，意図せぬ情報が上位に表示されるようになって，信頼が崩壊してしまった流れ． 新しいアルゴリズムで他社が抜け出すならホント今だなって思う． 更にインターネットでヒットするサービスはストック
Google Site Searchが終了へ、サイト内検索は2018年までに他のサービスに乗り換えを | 初代編集長ブログ―安田英久
※Google Site SearchではなくGoogle検索アプライアンス（Google Search Appliance、GSA）の2019年終了に関する情報と、乗り換え先サービスの情報はこちらをご覧ください。 Google Site Searchは2018年3月で提供終了、ただしGoogleカスタム検索エンジンは継続提供Googleは、企業向けに有料で提供しているサイト内検索サービスの「Google Site Search」を終了することを決定しています。サービス提供は2018年3月31日までとされています。 そのため、サイト内検索にGoogle Site Searchを利用しているサイトでは、他のサイト内検索サービスへの移行が必要です。 グーグルは無料で利用できる「Googleカスタム検索エンジン」を提供していますが、こちらは2018年4月以降継続してサービスを提供するとのことです
なぜインスタで検索するのか
「グーグル検索は文字ばかりで疲れる。行きたいお店は「インスタ検索」してスクショをLINEする。女子大生に聞いた、お店探しにグーグルをつかわない理由。」 これ、すごく面白い話題なので周辺研究者として言いたいことはたくさんあるんですけど、一つはっきりさせたいのはグーグル検索とインスタ検索って当然のことながら全然違うもので、それは若者もちゃんと理解しています。 なので、グーグル検索はもう古いとか、今時の若者は画像でしか理解できないとか、そういう言い方はちょっと的外れかなと。なんで私がグーグルの擁護をしてるのか分からないですけど。 たとえば「山本昌がノーヒットノーランをしたのって二十世紀だっけ？」と思ったら、それは若者でも年寄でも、まあグーグル検索だったりヤフー検索を使うだけです。グーグル検索は答のはっきりした問いにすごく強いし、グーグル自身がそこを研ぎ澄ましてきた経緯がある。方程式を入れたらダイ
GENKINGさん「Googleは使わない」発言から考える、プラットフォーム分散時代のSEO
Instagramでフォロワー84万人を誇るタレント・モデルGENKINGさんの「Googleでの検索はSEO対策されているから見ない（リアルじゃない）」という発言に対し、様々な意見が交わされています。 Googleは使わない、SEO対策しているから??Instagram有名人のGENKINGが語った10代の「リアル」 ＼不安がありましたらお気軽にナイルまでご相談ください！／ Twitterの反応 インスタグラムは検索ツールであるという指摘。ごちゃごちゃしてるのが大人にはわかりにくいけど、そこがいいんだろうね Googleは使わない、SEO対策しているから——Instagram有名人のGENKINGが語った10代の「リアル」 https://t.co/dNRz7MjRC0 — ガーリエンヌ (@girliennes) March 4, 2016 芯食ってるとも思うけど因果はめぐるんだよね。
文字を使わない検索の世界と、ゆるやかなWebの衰退
TechCrunch Japan に以下のような記事が載っていました。 Googleは使わない、SEO対策しているから——Instagram有名人のGENKINGが語った10代の「リアル」 この記事には以下のように書いてあります。 「Googleで検索すると文字が出てくるし、（検索結果は）SEO対策されている。あとはスポンサー（広告）とかが上がってきて…ネットってリアルじゃない。Instagramは検索することで言葉より画像が表示される」 この中で「Googleで検索すると文字が出てくる」という部分、昔からネットに触れていた方であれば「検索結果をテキストで返すのは当たり前だろww」と言いたくなるかもしれませんが、私はこれからは文字を使わない検索や検索結果が増えそうだと考えています。 例えば iPhone の Siri は音声入力で「近くのラーメン屋は？」と尋ねると地図を返してきます。 In
もうGoogle検索ってダメかもね： - ふくゆきブログ
要するに上記の表のとおりです。クリックすると拡大します。だんだん情報の本質的でない部分が検索の順位に影響してきて、検索しても見つけたい情報がさらに見つかりにくくなってくるかもしれません。要するにyahoo知恵袋やアメブロやニュース記事ばかり上位に来て、本質的に正しい情報は上位に来ないようになります。もともとはpage rankというシンプルな方針で検索順位を決めていたのが、googleさまが頑張って頑張って多くのSEO対策を施した結果、よくわかんない基準で検索順位が決まるようになってしまいました。SEO業者の結果が埋まるよりマシなんですけど、難しいところです。もちろん、上記以外の基準もたくさんあります。しかし、上記のように情報の本質的でない基準も多いです。 特に、AMPというモバイルで高速に表示するjavascriptモジュールをgoogle様が提供していただいたのは素晴らしいのですが、最
【検索神に遭遇した】ネットで検索する能力って個人差があるよね - MIKINOTE
現代人にとって、GoogleやYahooなどで調べ物をするという行為は生活の一部のような存在となっています。 そして、その能力には、個人差があるのではないかな？という話です。 やっぱりね、何かを知りたいと思った時に、その事柄をすぐに知ることができるということは、それだけ他人に比べて優位な立場に立つことができるということだと思うのです。 ググる（Googleの検索フォームに言葉を入力して調べ物をすること）ことが、上手いだけでも生きていくことができるかもしれません。 僕自身は、そんなに検索能力が高い人間ではありません。しかし、そんな僕から見てもググる能力が低い人と言うのも存在しています。もちろん、逆に、インターネットの検索能力のレベルがとてつもなく高い人もいるのですけどね。 今は、インターネットに接続できる端末を、誰もが所有している時代です。だからこそ、検索エンジンを上手に使うことができるとい
ベトナムでグーグルに対抗--現地大手のブラウザ検索エンジン「CocCoc」の3つの強み
検索エンジンは私たちが何気なく検索したキーワードに対して答えを返しているが、それが可能なのは検索エンジンがその国の言語を理解しているからこそ。 世界中の言語の中でも「ベトナム語」は特に複雑な文字を操るのだが、そんなベトナムで「Google Chrome」に対抗する地場のブラウザ検索エンジンがある。「CocCoc」だ。 Googleに対抗する3つの強み 一見、同じに見えてしまう「a」という文字も、ベトナムでは「ả」「ặ」「à」と使い分けられており、検索エンジンはそれらに対応する必要がある。それができないと、まったく見当違いな検索結果が導き出されてしまうのだが、CocCocは発音や文字が複雑なベトナム語に完全に特化しており、国内で人気を博している。 検索の仕方は、Googleなど他の検索エンジンと同様で、検索窓に知りたいキーワードを入力するだけ。CocCocがベトナム人のユーザーから評価を得て
メディア・パブ: 信頼できるニュースソース、検索エンジンがソーシャルメディアを引き離す
信頼できるニュースソースとして、グーグルに代表される検索エンジンが今年もトップとなった。ユーザーは、検索エンジン経由で接したニュースを、伝統メディアやオンラインメディア（ニュースサイト）で接する場合よりも信頼している。またソーシャルメディアで接するニュースに対する信頼度は、高くならないで頭打ちになっている。 これは米PR会社のエデルマン(Edelman)がまとめた「2016 EDELMAN TRUST BAROMETER」の調査結果である。昨年同様、今月20日から始まる世界経済フォーラム年次総会（ダボス会議）に向けて実施され調査で、2015年10月13日～11月16日の間に28か国の3万3000人を対象に行った。 昨年の調査で注目されたのは、最も信頼できるニュースソースとして、検索エンジンが初めて新聞やテレビなどの伝統メディアを追い抜いたことであった。今年はさらに、以下の図に示すように、検
DMCA(デジタルミレニアム著作権法)で権利を持ったページが削除 - 辻正浩のブログ(Web > SEO)
デジタルミレニアム著作権法、DMCAをご存知でしょうか。 米国の法律で、特にデジタルコンテンツにおいて著作権侵害されたものの流布を防ぐためのものです。詳細はWikipediaなどを御覧ください。 このDMCAに違反とされたコンテンツに対して、Googleは検索結果からの削除対応を行っています。 削除状況は「Google透過性レポート」として詳細が公開されていますので興味がありましたらご覧ください。レポートでわかる通り、非常に多くのコンテンツが削除されています。 当然ながら著作権侵害は大きな問題です。それに対してGoogleがこのように対策を行うこと、そしてその詳細情報を公開していることは素晴らしい事でしょう。 しかしこの著作権侵害の訴えは、特に2015年の夏からはその数が一気に増え、直近では1週間に1500万以上のURLに対して削除リクエストが送られています。 DMCA侵害の訴えが増えてい
爆速モバイルWeb、AMPの仕組み抄訳 - ku-sukeのブログ
鈴木さんの記事を読みましてAMPの仕組みについて読んでみました。以下抜粋して日本語メモを。 モバイルウェブが爆速に！ GoogleがAMP (Accelerated Mobile Pages) を立ち上げ | 海外SEO情報ブログ 追記：ざっくり言うと、主にニュースとか静的コンテンツを想定し、HTML+CSSでJSは原則禁止、広告とかで使いたい場合iframeを用意するのでその中だけ。iframeや画像は事前にサイズを固定し変更不可にすることでlazyloadしてもレンダリング時にガタガタしないよね。というAMP HTMLフレームワークを策定したお話です。 原文：https://www.ampproject.org/how-it-works/ モバイルのための仕組み （※見出しは筆者による） Web performance is not unexplored territory for t
AWS News Blog
New — File Release for Amazon FSx for Lustre Amazon FSx for Lustre provides fully managed shared storage with the scalability and high performance of the open-source Lustre file systems to support your Linux-based workloads. FSx for Lustre is for workloads where storage speed and throughput matter. This is because FSx for Lustre helps you avoid storage bottlenecks, increase utilization of compute
使って無い人多すぎてビビる！Search Consoleを活用した超お宝キーワード発見術【超保存版】
どうも、ブログマーケッターJUNICHIです。 やっぱりブログって色んな事書かないと飽きて続きませんね。 SEOの記事ばっかりだと頭使うから疲れます。 でも頑張れる限りは、キーワードの話をします。 今回は、多くの人が無視している、超素晴らしいキーワード選定ツールの紹介です。 それは、GoogleのSearch Consoleです。 もともと、Googleウェブマスターツールって呼ばれていたツールです。 Search Consoleを導入して、2～3カ月以上WEBサイトを運営している人ならば、このツールを上手に使う事で、掘り出し物のキーワードが見つかるので、是非この使い方を覚えてみて下さい。 Search Consoleの『検索アナリティクス』・『検索クエリ』は超優秀なツール Seach Console自体は、キーワード選定をするためだけのツールではないんだけど、その中にある「検索アナリティ
ハクビシンにもわかる全文検索 - Qiita
高速な全文検索アルゴリズムであるFM-indexについて解説する。理解しがたい点や間違っている点があれば是非コメントで指摘してほしい。 概要 FM-indexはリニアな文字列に対して検索をするアルゴリズムで、主に簡潔データ構造とBWT(およびLF mapping)という二つのアイデアから成り立っている。BWTはBurrows-Wheeler変換のことで、文字列を特殊な並び順に変換するという可逆関数である。BWTされた文字列を簡潔データ構造固有の操作をすることで、クエリ文字列の長さに比例した短い時間で文字列を探し出すのがFM-indexだ。 簡潔データ構造 簡潔データ構造に関してはFM-indexで必要となる二つの関数だけ説明して、詳細は次の機会に譲るとする。さて、二つの関数はともに文字列のある位置より前の部分に含まれている文字の数を数え上げるというものでrank()とrankLessTha
Ngramのサイズに応じたMroonga/Groongaの全文検索性能について - Createfield
はじめに この記事はGroonga Advent Calendar 2013の7日目の記事です。 Mroonga/Groongaでは、トークナイザにより文章が分かち書きされて、分割されたトークン（語句）で転置インデックスが作成されます。 Mroonga/Groongaでは、様々な環境に柔軟に対応できるよう、多数のトークナイザが用意されています。 Ngramトークナイザは、文章の意味合いを考慮せず文字列的に漏れの少ない検索を行うことができます。 Mecabトークナイザは、文章の意味合いを考慮して意味的なノイズの少ない検索を行うことができます。 トークナイザの種別に応じて、分かち書きルールが異なり、転置インデックスの語句のサイズや、種別数および出現回数が異なってきます。 Ngramトークナイザでは、Nのサイズが大きくなればなるほど、転置インデックスの語句のユニーク性が増し、転置インデックスの語
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
MySQL FULLTEXT Ngram : LIKE検索より数十倍高速な、お手軽 日本語全文検索 について｜blog｜たたみラボ
グーグル検索：逮捕報道、削除命じる さいたま地裁 - 毎日新聞
はてなブックマーク全文検索の精度改善
