META Robotsタグ活用完全ガイド noindex nofollow noarchive など まとめ ::SEM R (#SEMR)
META Robotsタグ活用完全ガイド noindex nofollow noarchive など まとめ robots meta タグの意味と用法まとめ noindex, nofollow, noarchive, nosnippet, noimageindex などの主要なMETAタグの利用方法と注意事項など。 公開日時：2015年01月08日 12:18 検索エンジンのクローラの動作や行動を制御するためのロボット排除プロトコル（REP、Robots Exclusion Protocol）の中でも、META robots タグを用いた方法の紹介です。2015年1月1日時点でサポートされているものを紹介しています。 nositelinkssearchbox などSEO担当者に関連するMETA要素も含んでいます。 以下、基本的な知識と、noindex, nofollow, nositeli
クックパッドの検索の裏側 - クックパッド開発者ブログ
初めまして、インフラストラクチャー部の加藤 (@EugeneK) です。 クックパッドでは現在178万ものレシピが公開されていますが、目的のレシピを探すために検索機能を提供しています。 今回は検索機能の裏側の仕組みについて、インフラストラクチャーの観点からお話ししようと思います。 全ての検索機能を支えるSolrと周辺のアーキテクチャ クックパッドにはレシピの検索だけでなく様々な検索機能がありますが、その全てはSolrを活用して実装されています。 以前はMySQL Tritonnによる全文検索機能を使用していましたが、2011年頃からSolrに切り替わりました。 クックパッドではSolrをマスタ - スレーブ構成にすることで冗長性と負荷分散を実現しています。以下の構成図をご覧ください。 マスタとスレーブの間には、リピータと呼ばれる検索インデックスを中継するためだけの役割のサーバがいます。この
最も危険な検索エンジン？ 「Ｓｈｏｄａｎ」が浮き彫りにする無防備なネット環境
ニューヨーク（ＣＮＮＭｏｎｅｙ） 「グーグル検索で見つからないものは誰にも見つけられないと思われがちだが、それは真実ではない」――。インターネットの「闇グーグル」とも呼べる検索エンジン「Ｓｈｏｄａｎ」を開発したジョン・マザリー氏はそう話す。 ウェブサイトを巡回して情報を収集するグーグルに対し、Ｓｈｏｄａｎはサーバー、ウェブカメラ、プリンター、ルーターなど、インターネットに接続された機器５億台あまりを巡回して情報を収集する。 ごく単純な検索でも、Ｓｈｏｄａｎに表示される結果には息をのむ。インターネットに接続された無数の信号機、防犯カメラ、ホームオートメーション機器などが簡単に見つかるほか、親水公園やガソリンスタンド、ホテルのワインクーラー、火葬場などの制御システムも検索できる。サイバーセキュリティーの専門家は、原子力発電所や粒子加速器の制御システムまで探し当てたという。 何よりも恐ろしいこと
140行で作る分散リアルタイム検索エンジン（Twitter Streaming API対応） - 古橋貞之の日記
マトモに使えるRPCライブラリ MessagePack-RPC for Ruby のバージョン 0.2.0 をリリースしました！ 新たにコネクションプーリングの機能を追加しました。一度接続したコネクションを共有して使い回すことができます。コネクションを何度も張り直す負荷と遅延を削減でき、リソースの消費も抑えられます。 また、不意に切断されたコネクションを自動的に再接続する機能を導入し、信頼性を向上させています。 これを使って何か作ってみようと言うことで、twitterのリアルタイム検索エンジンを作ってみました。日本語を検索できないなど機能は貧弱ですが、プログラム全体がわずか140行に収まっています（クローラ27行、インデクサ48行、クラスタ管理ノード37行、検索クライアント28行）。 新しいつぶやきを受信するたびに、リアルタイムで転置インデックスを作成していきます。インデックスを作成するノ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
