[RFMS]RFCrawlerクローラ情報
RFMS Crawler Information 1. 本書の目的 本書はサイト運営者様が楽天・ファスト・モバイルサーチ株式会社の検索エンジンにページ取得(クロール)をさせ、インデックス作成をする為に必要な技術情報を提供するものです。 本書では特に、クローラーの仕様について情報提供致します。 2. サーチエンジンシステム概要 楽天・ファスト・モバイルサーチでは独自のシステムを使用して、ウェブ上にある数億のモバイルサイトのページを取得(クロール)します。この取得プログラムをRFCrawlerと呼びます。RFCrawlerはアルゴリズムにより、クロールするサイト、各サイトから取得するページを決定しています。 RFCrawlerはリンクのクリックによって動的に生成されるページ（CGI）は処理できますが、FLASHコンテンツについては処理されない場合があります。 3. RFCrawler仕様 Us
楽天版MapReduce・HadoopはRubyを活用 － ＠IT
2008/12/01 楽天は11月29日、東京・品川の本社で開催した技術系イベント「楽天テクノロジーカンファレンス2008」において、近い将来に同社のEコマースサービス「楽天市場」を支える計画があるRubyベースの大規模分散処理技術「ROMA」（ローマ）と「fairy」（フェアリー）について、その概要を明らかにした。 レコメンデーションの処理自体はシンプル 楽天市場では現在、2600万点の商品を取り扱い、4200万人の会員に対してサービスを提供している。この規模の会員数・商品点数でレコメンデーション（商品の推薦）を行うのは容易ではない。 ※記事初出時に楽天市場の会員数を4800万人としてありましたが、これは楽天グループのサービス利用者全体の数字でした。楽天市場の会員数は正しくは4200万人とのことです。お詫びして訂正いたします。 レコメンデーションの仕組みとして同社は、一般的でシンプルなア
楽天ブログに書けない“NGワード”
楽天ブログに昨年末ごろから「NGワード」が設定された。一定のキーワードを投稿しようとすると、「わいせつ、もしくは公序良俗に反すると判断された表現が含まれています」と表示され、公開したり、下書きを保存したりできなくなる。 楽天によると「わいせつ、暴力的、差別的な表現など公序良俗に反する内容を含むブログ投稿を禁じる規約に抵触する可能性のあるキーワードを、投稿できないようにした」という。どの単語が“NGワード”に当たるかは非公開としてる。 編集部では「盗撮」「パンチラ」「強姦」が投稿できないことを確認した。これらの単語が含まれてればどんな文脈でも投稿不可能で、例えば「盗撮は絶対ダメ」「強姦はしてはいけない」と書いても投稿できない。 ただ「レイプ」はNG設定されておらず「レイプしたい」なら投稿できた。このほかにも、わいせつとされる表現や「差別語」といわれるいくつかのキーワードで試してみたが、たいて
楽天、システム開発拠点を国内主要5都市に分散化へ
楽天は7月19日、事業の開発拠点を国内主要5都市に分散すると発表した。開発生産能力を増強し、多様化する開発ニーズに対応するため。第一拠点として宮城県仙台市に開発体制を構築する。 楽天はこれまで、東京本社集中型の開発体制をとってきたが、サービス数が38となり開発ニーズが多様化したことに対応するため、開発拠点を分散する方針を決定した。 2007年9月に仙台市に「東北テックセンター（仮称）」を新設し、すでに地方営業拠点として展開している国内主要5都市にも順次開発拠点を設置していくという。 東北テックセンターでは、これまでシステム開発を担当してきた関連会社のカサレアルとともに地元の直接雇用や地元企業との提携による開発体制を構築。「東北楽天ゴールデンイーグルス」を運営するプロスポーツ事業をはじめ、楽天グループ各事業のシステム開発を担当する。 また、地元企業や大学、NPO団体との協業によりオープンソー
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
