Mic King @iPullRank Ok, let's get this party started! A couple weeks ago I said I was publishing the most important thing I ever wrote. I was wrong. Documentation related to the Google Search algorithm leaked and I spent the weekend tearing it apart. ipullrank.com/google-algo-le… ✌🏾 2024-05-28 11:10:19 数週間前、私はこれまで書いた中で最も重要なものを発表すると言いました。それは間違いだった。 Google検索のアルゴリズムに関するドキュメントが漏洩したため、私は週末をかけてそれを徹底的に調
perplexity.aiが速攻で$20払って良いと思えたくらいに情報収集を効率化してくれた件 - 理系学生日記
従来の検索エンジン Perplexity.aiの検索 RAGとの関係 perplexity.aiでリサーチするときのプラクティス 英語で検索しよう しっかり調べたい時はPage機能を使う ちょっとした調べ物 今使えるモデル まとめ Perplexity.aiがすごく良かったです。何か知りたいことが出てきたら、Google検索するよりもPerplexity.aiで検索している。 Perplexity.aiは、生成AIを用いた検索エンジンと見なすことができるサービスで、情報収集の効率を劇的に向上させてくれます。ユーザーの質問に対してWebをクローリングし、関連情報を要約し、それらの参照リンクとともに高精度な回答を提供してくれる。 最初にネタバレしておくと、このエントリ自体もかなりの部分をperplexity.aiの要約と回答生成能力に頼りました（Github Copilotにもわずかに頼ってい
[レベル: 初級] パソコン用 Googlebot によるクロールとインデックスを 2024 年 7 月 5 日以降 Google は完全に終了します。 検索セントラルブログでアナウンスがありました。 ウェブサイトをクロールするのは スマートフォン用 Googlebot だけ 2023 年 10 月末に、モバイル ファースト インデックスへの移行が完了したことを Google は宣言していました。 しかし実際には、モバイル ファースト インデックスに対応できていないごく一部のサイトについては、パソコン用 Googlebot によるクロールを継続していました。 ですが、2024 年 7 月 5 日以降は、モバイル ファースト インデックスに対応していないこうしたサイトのクロールもスマートフォン用 Googlebot で実行します。 もし、スマートフォン用サイトのコンテンツを省略していたり、あ
Google検索結果からAIによるまとめを排除するフィルタ「&udm=14」 - YAMDAS現更新履歴
udm14.com このサイトのドメイン名にもなっている「&udm=14」とは何かということだが、その前に the disenshittification Konami code というサイト名にも注意する必要がある。 disenshittification とは、ワタシも何度も（その1、その2）取り上げているコリイ・ドクトロウによるオンラインプラットフォームの質低下を指す造語 enshittification（メタクソ化）の対義語である。 そして、Konami code だが、もちろんコナミに由来する言葉で、いわゆる「隠しコマンド」全般を指すフレーズになってるそうな。 つまりは、「メタクソ化に抗う隠しコマンド」、それが「&udm=14」というわけだ。サイトデザインを見れば分かることだが、ここで対象となっているのは Google である。 検索エンジンとしての Google の質低下につい
Secrets from the Algorithm: Google Search’s Internal Engineering Documentation Has Leaked
Google, if you’re reading this, it’s too late. Ok. Cracks knuckles. Let’s get right to it. Internal documentation for Google Search’s Content Warehouse API has leaked. Google’s internal microservices appear to mirror what Google Cloud Platform offers and the internal version of documentation for the deprecated Document AI Warehouse was accidentally published publicly to a code repository for the c
生成AIの登場により、検索市場が大きく変わろうとしている。米国ではグーグル対抗のAI検索エンジン「Perplexity」の検索から流入するトラフィックは毎月40％増加していることが判明。日本でもソフトバンクと連携して本格参入することが明らかになった。これに対抗してグーグルも生成AIを活用した検索システム「Search Generative Experiences（SGE）」を利用者全員に早期に展開する見込みだ。生成AIによる検索が増えるとSEO（Search Engine Optimization）にどのような影響が出るのかは多くのデジタルマーケターが注目するところ。生成AIの登場で、検索市場に何が起きるのか。
ElasticsearchによるZOZOTOWNへのベクトル検索の導入検討とその課題 - ZOZO TECH BLOG
こんにちは。検索基盤部の橘です。ZOZOTOWNでは、商品検索エンジンとしてElasticsearchを利用し、大規模なデータに対して高速な全文検索を実現しています。 Elasticsearchに関する取り組みは以下の記事をご覧ください。 techblog.zozo.com 検索基盤部では、ZOZOTOWNの検索結果の品質向上を目指し、新しい検索手法の導入を検討しています。本記事ではベクトル検索と呼ばれる検索手法に関して得た知見を紹介します。 ※本記事はElasticsearchバージョン8.9に関する内容となっています。 目次 目次 ベクトル検索とは ベクトル検索に期待すること Elasticsearchを使用したベクトル検索の導入 導入の簡略化 デプロイ可能な埋め込みモデル ベクトル検索のクエリ ハイブリッド検索とは Elasticsearchを用いたハイブリッド検索 RRF(Reci
米Pew Research Centerの調査によれば、2023年10月の時点で10年前（2013年）のWebページの38%がアクセス不能であるという。 10年前といえばそこそこ昔だと感じるかもしれない。20代の人からすればまだ子供時代だろう。10年前のガジェット、例えばPCやスマホはすでに役に立たなくなっても、新しいものがそれに変われば問題ない。 だが情報はどうだろうか。われわれは常に最新の情報を求めており、うっかり古い情報をつかんでしまうと判断を誤る可能性が高くなる。その一方で過去の情報が無ければ、今の情報の価値が分からなくなるのも事実だ。データとしての年次変化やトレンドの変遷など、過去からのベクトルが追えなくなってしまえば、未来予測もできない。つまり情報は過去からの 連続性が無ければ、未来線が描けないということである。 Webページが失われていくということは、当時のトレンドが分からな
アメリカのIT大手グーグルが今月から提供を始めたばかりの生成AIを活用した新たな検索サービスで、誤った情報が表示されたとアメリカのメディアが伝えています。ピザにチーズをくっつけるために接着剤を使うことを勧めるなどの回答が表示され、波紋を呼んでいます。 これはグーグルが5月14日に発表し、アメリカで提供が始まった生成AIを活用した検索サービス「AIオーバービュー」です。 文章で質問を入力すると生成AIが調べて回答をまとめる機能です。 アメリカの有力紙、ニューヨーク・タイムズなどよりますと、検索サービスで「ピザにチーズがくっつかない」と尋ねたところ、「ソースに無害の接着剤を使うこと」を勧めたり、ガソリンでパスタの調理が早くなるかと質問したところ、「早くはならないが、ガソリンによって辛い味付けになる」と回答したということです。 また、実際はキリスト教徒であるアメリカのオバマ元大統領が、イスラム教
生成AI検索エンジンのPerplexityはクローラーを防ぐ「robots.txt」を無視してウェブサイトから情報を抜き出している
Perplexityは生成AIを利用した検索エンジンであり、ユーザーの質問に対してAIが直接回答を生成できるほか、ユーザーのプロンプトに基づいたウェブページを生成する「Pages」という機能を提供しています。そんなPerplexityが、検索エンジンやAIトレーニングなどのボット(クローラー)を制御するテキストファイル「robots.txt」の指示を無視し、管理者がPerplexityの巡回を禁止したウェブサイトにもアクセスしていることが判明しました。 Perplexity AI Is Lying about Their User Agent • Robb Knight https://rknight.me/blog/perplexity-ai-is-lying-about-its-user-agent/ GoogleやBingなどの検索エンジンやChatGPTをはじめとする生成AIは、ク
前回、蔵書数80万冊を誇る雑誌の図書館、大宅壮一文庫の書庫に、みっちみちに所蔵されている雑誌の山に大興奮した我々（ライター・西村、ライター・唐沢、デイリーポータルＺ・林）は、取材そっちのけで雑誌の立ち読みに耽ってしまう。 今回は、気を取り直し、大宅壮一文庫の最大の特長である「雑誌記事の索引づくり」について、大宅壮一文庫の黒澤さんにお話を伺う。 大宅壮一文庫のなにがすごいのか さて、書庫の中で古い雑誌を立ち読みして盛り上がるのもほどほどにして、大宅壮一文庫の何がすごいのかを、黒澤さんに訊いてみた。 大宅壮一文庫、最大の特長として忘れていけないのが、雑誌記事索引だ。 大宅壮一の書斎を再現した部屋でお話を伺いました 大宅壮一文庫では、収蔵した雑誌はすべて職員が目を通し、主な雑誌記事は、その記事ごとに、誰が登場し、どんな内容が書かれているのかを、人物名と件名にまとめてリスト化しており、膨大な量のデ
Googleの検索ランキングアルゴリズムに関する2500ページ超の内部文書「Google API Content Warehouse」がリークされました。この内部文書についてコメントを拒否していたGoogleですが、ついにこれが本物であることを認めました。 Google confirms the leaked Search documents are real - The Verge https://www.theverge.com/2024/5/29/24167407/google-search-algorithm-documents-leak-confirmation 世界最大級の検索エンジンであるGoogle検索を運用するGoogleの、検索アルゴリズムに関する2500ページ超の内部文書「Google API Content Warehouse」がリークされました。この内部文書により
こんにちは。NEO(x) 機械学習エンジニアの宮脇（@catshun_）です。 RAG システムの開発、いざ業務に統合するとなると結構大変ですよね。 構築してみたがユーザ数が伸びず、、なんてことはよくあると思います。 実際こんな記事も話題になりましたね。 本記事では、コラムとして RAG システムの設計で考慮したい点を自戒を込めて記述したいと思います。 誤っている記述等もあると思いますが、本記事を読んだ方の議論のネタになってくれれば幸いです。 また Retrieval-based LM の技術的な話は、以下で触れておりますので併せてご覧ください。 RAG とは RAG (Retrieval-Augmented Generation) とは、社内文書・長期記憶に該当する対話履歴・API 仕様書などの 外部知識資源 を、言語モデルが扱えるよう入力系列に挿入する手法です。もともと Lewis+'
空気清浄機のテストやレビューを行う独立系メディアのHouseFreshが、「Google検索の検索結果ページから、HouseFreshが事実上消えてしまった」と報告しています。 HouseFresh disappeared from Google Search results. Now what? https://housefresh.com/how-google-decimated-housefresh/ 2024年2月、HouseFreshは「Google検索の検索結果上位に表示される有名メディアの商品レビュー記事を信用しないように」という警告記事を公開しました。この記事が公開されてから10週間以上が経過してからも、ソーシャルメディア経由で多くの反響メッセージが届くそうです。 問題の記事を公開してから数日後、HouseFreshはデジタルメディア・Dotdash Meredithの元従
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Googleの検索アルゴリズムの内部資料が漏洩か？「SEO業界で長年疑われていたものが明らかに」
グーグル、12時間先まで5分刻みで降雨予測する「Google ナウキャスト」
Google、パソコン用 Googlebot によるクロールを完全に終了。 2024年7月5日以降
生成AIで検索市場が大変革、グーグル対抗の「Perplexity」が月40％も大躍進のワケ
いざ調べ始めると大変、ネットにない古い情報を探すには
グーグル 生成AI活用した新たな検索サービスで誤情報が表示 | NHK
雑誌の図書館「大宅壮一文庫」の雑誌記事索引は人力検索エンジンだった
Google検索のアルゴリズムに関する2500ページ超の内部文書が本物であることをGoogleが認める
社内文書検索&QAシステムの RAG ではないところ - Algomatic Tech Blog
Google検索のアルゴリズム変更でトラフィックの90％超を失ったウェブサイトが窮状を訴える