検索結果の品質向上2017年4～5月開催「ブートキャンプ特別講座」の資料になります。
オープンソースの全文検索エンジンFessを試してみた
みなさんこんにちは。@ryuzeeです。 このWebサイト、昔はWordpressを使っていたのですが、本体やプラグインのメンテナンスを頻繁にやらなきゃいけなくて面倒なのと性能面などで辛くなって、その後Ruby製の静的サイトジェネレータであるMiddlemanに変更し、その後ビルドの遅さに耐えられなくなってGo言語で作られているHugoに置き換わっています。 静的コンテンツになればAmazon S3などで運用できるので非常に楽なのですが、一方でサイト内を検索したい場合は別の解決策の用意が必要になります。Googleの検索を埋め込んでももちろん良いのですが、調査の一環として、今回はオープンソースの全文検索エンジンFessを試してみました。 Fessの特徴公式サイトで詳細に紹介されていますが、主な特徴として以下のようなものが挙げられます。 5分で簡単に構築可能Apache ライセンスJava
全文検索システムFessを用いた検索システム構築入門
Fessは「5分で簡単に構築可能な全文検索サーバー」です。 Javaで開発され、検索エンジン部分にはelasticsearchを採用しています。起動すればすぐに全文検索システムとして利用することも可能ですが、APIも提供しているので、開発しているシステムに組み込んで利用することも可能です。 FessではWebやファイルシステム上のHTML、PDF、MS Office系ファイルなどをクロールしてインデクシングすることができます。また、データベース内のデータも取り込んでインデクシングすることも設定だけで可能です。検索についても複雑なクエリーを覚える必要もなく、必要な検索をシンプルに行うことができます。 今回は、Fessを用いた全文検索システムを簡単に構築する方法からJavaでどのように開発しているかなどをご紹介します。Read less
Fessを用いた検索システム構築入門 | 今日のひとこと
中身の細かい実装について話すというよりは、Fessも7年近く作り続けているものだけあって、そもそもの機能がいろいろとあるので、その機能紹介を中心に説明している資料になります。最近、機能が多々あるので、一通り説明するようないい感じの資料がなかったので、今回、まとめられてよかったと思います。ただ、サムネイル表示など、資料に含まれていない機能についてもまだまだあるので、その資料にあるものが全てではない感じではありますが…。 Fessの認知度もまだまだな感じですので、この資料内に想定されるユースケース的なことも書いてあるので、参考にして、どんどん利用していただければと思います。機能的な要望などは、GitHubのIssueに英語で書いていただければと思います(日本語の場合は、OSDNのフォーラム等に上げてもらえれば良いかもしれません)。
SolrとElasticsearchを比べてみよう
2. 名前: 菅谷信介 所属: N2SM, Inc. オープンソース活動: Apache Portals (Jetspeed2など) コミッタ Seasarプロジェクトコミッタ(S2Container, Teeda, SAStruts, DBFlute, S2Portlet, S2Robot..) Fessプロジェクト運営 などなど・・・ Github: https://github.com/codelibs Blog: http://www.chazine.com/ Twitter: https://twitter.com/shinsuke_sugaya/ 自己紹介
PFIから自然言語処理と機械学習の部門がスピンアウト、新会社「レトリバ」が2.5億円を調達 | TechCrunch Japan
Tempus, a genomic testing and data analysis company started by Eric Lefkosky, who previously founded Groupon, debuted on Nasdaq on Friday, rose about 15% on the opening. The company priced… The tech layoff wave is still going strong in 2024. Following significant workforce reductions in 2022 and 2023, this year has already seen 60,000 job cuts across 254 companies, according to independent layoff
Google、HTTPSページのインデックスを優先に
米Googleは12月17日（現地時間）、デフォルトでのHTTPS接続を推進する一環として、検索結果のWebサイトがHTTPであっても、同等の内容のHTTPS接続サイトがある場合は後者を優先的にインデックスするようにシステムを変更したと発表した。 同社は昨年8月から、WebサイトがHTTPSを使っているかどうかを検索ランキングに反映させてきた。 今回のシステム変更では、HTTPサイトを検出した場合、同等のHTTPS接続サイトがあるかどうかを確認し、ある場合は例えそのHTTPS接続サイトに他からのリンクがないとしても、HTTPではなくHTTPS接続サイトをインデックスする。2つのURLの内容が同じでも異なるプロトコルで提供されている場合は、セキュアではない内容を含んでいないか、クローリングをブロックしていないかなどの幾つかの条件をクリアしている場合のみHTTPSサイトを優先する。 関連記事
Google、モバイル重視の検索アルゴリズム変更を4月21日に実施へ
次に、2013年12月に提供を開始した「App Indexing」の情報を、Androidからログインして検索するユーザーの検索結果に反映させる。こちらは即日実施。これにより、ログインしているモバイルユーザーの検索結果に、そのユーザーがインストールしているアプリ内コンテンツが優先的に表示されるようになる。アプリ開発者は、こちらのページでアプリをApp Indexingに対応させることができる。 関連記事 Google、Androidアプリストアでの検索広告表示のテスト開始 GoogleがAndroidアプリストア「Google Play」の検索結果のトップに広告アプリを表示するテストを開始した。 WebサイトのHTTPS対応、Google検索ランキングに反映 Googleは実験結果を踏まえて、HTTPS対応の有無をランキングの要素として使用する措置を導入した。 Google、「アルゴリズム
スマートフォン用のコンテンツをクロールするための新しい Googlebot ユーザーエージェント
+1 ボタン 2 AMP 11 API 3 App Indexing 8 CAPTCHA 1 Chrome 2 First Click Free 1 Google アシスタント 1 Google ニュース 1 Google プレイス 2 Javascript 1 Lighthouse 4 Merchant Center 8 NoHacked 4 PageSpeed Insights 1 reCAPTCHA v3 1 Search Console 101 speed 1 イベント 25 ウェブマスターガイドライン 57 ウェブマスタークイズ 2 ウェブマスターツール 83 ウェブマスターフォーラム 10 オートコンプリート 1 お知らせ 69 クロールとインデックス 75 サイトクリニック 4 サイトマップ 15 しごと検索 1 スマートフォン 11 セーフブラウジング 5 セキュリティ 1
Google、スマートフォン版User-Agentを変更。Googlebot-MobileからGooglebotへ。
[対象: 中級〜上級] Googleは、スマートフォン向けのクローラが使用するUser-Agent（ユーザーエージェント、以下「UA」）を変更する予定であることをアナウンスしました。 これまでは、スマートフォン版クローラのUAとして「Googlebot-Mobile」をGoogleは使っていました。 これを、標準のウェブ版クローラと同じ「Googlebot」に今後3〜4週間後に切り替えます。 スマホ版Googlebotの新しいUser-Agent スマートフォン版Googlebotの新しいUAは以下のようになります。 Mozilla/5.0 (iPhone; CPU iPhone OS 6_0 like Mac OS X) AppleWebKit/536.26 (KHTML, like Gecko) Version/6.0 Mobile/10A5376e Safari/8536.25 (c
実践！Elasticsearch - Wantedly Engineer Blog
（募集はダミーデータです） （参考: ドキュメント登録の流れについては Elasticsearch 入門 を参照すると良いです。） Analyzer 上記のデータを実際に入れる前に、index の作成と analyzer の設定をします。 以下のコマンドを実行することで analyzer の設定ができます。 下記で説明して行きます。 curl -XPUT 'http://localhost:9200/wantedly-demo' -d \ '{ "settings": { "analysis": { "filter": { "pos_filter": { "type": "kuromoji_part_of_speech", "stoptags": [ "助詞-格助詞-一般", "助詞-終助詞" ] }, "greek_lowercase_filter": { "type": "lowerc
検索技術を使うなら知ってないと損する6つのこと～クックパッド、グリー、ぐるなび、CROOZは検索技術をどう使っているのか（2/2） - ＠IT
グリーでログ分析システムの開発を行っている一井崇氏からは、「全文検索のちょっとちがった使い方（仮）」と題する発表があった。 グリーにおける数値指標管理では、基本となるデータの総数が「1億キー×最大7年」という膨大な量に上り、さらに時間ごとに増え続けるアプリIDとの組み合わせなども考慮すると、すでに人間の手では管理しきれない状態にある。 同社ではMySQLベースのKVS（Key Value Store）によって、これらのデータを管理しているが、問題はkeyの数が膨大過ぎて必要なkeyを見つけるのが困難になっていることだという。 その解決のためにHadoopやMongoDBを導入するといった選択肢もあるが、同社が取った方法は「key stringを全文検索することで目的のkeyを探す」というものだった。一井氏によれば、グリーの数値指標管理システムの目的を整理すると、以下のようになるという。 や
クックパッドの検索の裏側 - クックパッド開発者ブログ
初めまして、インフラストラクチャー部の加藤 (@EugeneK) です。 クックパッドでは現在178万ものレシピが公開されていますが、目的のレシピを探すために検索機能を提供しています。 今回は検索機能の裏側の仕組みについて、インフラストラクチャーの観点からお話ししようと思います。 全ての検索機能を支えるSolrと周辺のアーキテクチャ クックパッドにはレシピの検索だけでなく様々な検索機能がありますが、その全てはSolrを活用して実装されています。 以前はMySQL Tritonnによる全文検索機能を使用していましたが、2011年頃からSolrに切り替わりました。 クックパッドではSolrをマスタ - スレーブ構成にすることで冗長性と負荷分散を実現しています。以下の構成図をご覧ください。 マスタとスレーブの間には、リピータと呼ばれる検索インデックスを中継するためだけの役割のサーバがいます。この
米Yahoo!、原点である「Directory」を年末に終了へ
米Yahoo!は9月26日（現地時間）、同社の原点ともいえる「Yahoo! Directory」（日本のYahoo!の「Yahoo！カテゴリ」に当たる）をこの年末（12月31日）に終了すると発表した。マリッサ・メイヤー氏のCEO就任以来取り組んでいる“大掃除”の一環。 Yahoo！は、米スタンフォード大学の大学院生だったジェリー・ヤン氏とデビッド・ファイロ氏が1994年に趣味で立ち上げたWebディレクトリ「Jerry and David's Guide to the World Wide Web」が元になっている。当時はまだテキストのハイパーリンク集で、カテゴリ別にURLへのリンクのリストが表示されるだけだった。
検索エンジン自作入門 ～手を動かしながら見渡す検索の舞台裏
2014年9月25日紙版発売 2014年9月25日電子版発売 山田浩之，末永匡 著 A5判／224ページ 定価2,948円（本体2,680円＋税10%） ISBN 978-4-7741-6753-4 ただいま弊社在庫はございません。 Amazon 楽天ブックス ヨドバシ.com 電子版 Gihyo Digital Publishing Amazon Kindle 楽天kobo honto 本書のサポートページサンプルファイルのダウンロードや正誤表など この本の概要 まいにち使っている検索エンジンがどうやって動いているか，知っていますか？ 本書では，小さな検索エンジンを作りながら，ソースコードレベルで検索エンジンのしくみを解説。 Yahoo!Japanの検索エンジン開発チームを経て2008年度上期未踏IT人材発掘・育成事業において高性能分散型検索エンジンの開発によりスーパークリエータに認定さ
グーグルがJavaScriptを本格的に読んで実行するようになった! など10+4記事 | 海外&国内SEO情報ウォッチ
「検索エンジンはJavaScriptを実行できない」と一般的に言われていたが、グーグルに限って言えばそうとは限らない。 というのも、グーグルは、以前から行っていたような簡単なJavaScriptのクロールよりも、さらに進んだ形でJavaScriptを実行してその結果を解釈するようになっているようだ。そう、ブラウザで見るのと同様な状態で。 公式ブログで次のように語っている。 Google は現在、最新のウェブ ブラウザに近いコンテンツの表示、外部リソースの追加、JavaScript の実行、CSS の適用を実現しています。 ここ数か月間、Google のインデックス登録システムは、かなりの数のウェブページを JavaScript が有効な一般ユーザーのブラウザのようにレンダリングしています。 GooglebotがJavaScriptを理解する力は相当に高まっているようだ。ウェブページの表示に
検索エンジンLuceneの歴史とこれから - ワザノバ | wazanova
http://www.youtube.com/watch?v=5444z-L2V2A 1 comment | 0 points | by WazanovaNews ■ comment by Jshiike | 約3時間前 Luceneのオリジナルの開発者であるDoug Cutting（ClouderaのChief Architectと Apache Software FoundationのDirectorを兼務）が、Luceneの歴史と今後の展開を紹介しています。 検索サイトExciteに勤務していた1997年に開発開始。当時新しくでてきたJavaを使ってみたかった & ネットバブルが弾けるのが不安で何かかたちに残るものをつくっておきたかった。2000年にオープンソースとして提供。Solrは2006年、Solr Cloudが2012年。昨年にはHadoopプラットフォームの検索エンジンに
Googleパンダアップデートの余波を探る – 敗者は復活できたのか？ - SEO Japan｜アイオイクスのSEO・CV改善・Webサイト集客情報ブログ
無料で資料をダウンロード SEOサービスのご案内 専門のコンサルタントが貴社サイトのご要望・課題整理から施策の立案を行い、検索エンジンからの流入数向上を支援いたします。 無料ダウンロードする ＞＞ 昨年は日本でもついにパンダアップデートが導入され、SEO業界大激震の日々でした。米国では2年前に既にパンダアップデートが登場し、様々なサイトが順位下落の憂き目に会い、順位改善の努力を行ってきたわけですが、今回はそんなパンダアップデートの被害に会った主要サイトの今日の順位状況をパンダアップデート登場前と比較してみよう、というSEOに関わる人なら誰もが気になる記事をやっぱりサーチエンジンランドから。 — SEO Japan （編集者による注記: これは、2011年2月24日に導入されたグーグルのパンダアルゴリズムアップデートのその後に注目したシリーズ記事の第一弾である） 2年前の今日、グーグルは、パ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Apache Solr vs Elasticsearch - the Feature Smackdown!
Loading...
