サイト高速化の「戦略」と「戦術」- GradeAのその先へ | ゆっくりと…
サイト高速化をネタにした記事は星の数ほどありますし、YSlow や PageSpeed、あるいは両方同時にチェックできる GTmetrix のおかげで、アドバイスに従って問題点を一つ一つ潰し込んでいけば、着実にスコアを「Grade A」に近づけられるようになりました。 またベスト・プラクティスなんて知らなくても、「CloudFlare 導入、一発 OK！」なんていうお手軽なサービスもあります。 一方、これら個々の Tips、テクニックを断片的に積み上げていくアプローチやブラックボックス方式では、サイト全体を通して「本当に最適なの？」という疑問も生じます。 別な言い方をすれば、「Grade A は取ったけど… その先は？」に対する処方箋が必要なんじゃないかと思っています。 そこで今回は、「スコア」だけでは見えてこない、サイト高速化の「戦略」と「戦術」の話にチャレンジしてみたいと思います。これ
SolrにWikipediaのデータを入れて遊ぶ
概要 全文検索エンジンのSolrを使って、Wikipedia（日本語版）の記事を検索する機能をさらっと作ってみる。面倒なことはすっ飛ばして、できるだけ少ない手数を選択。あと、ソースコードはJava。 注意事項として、Solrはけっこうメモリ食う。特にoptimize時とか、大掛かりなソート時とか。 メモリが少ないマシンでは使うと不自由するので避けた方が良いかもしれない。とりあえず手元の4G積んだマシンでは快適に動いている。 @CretedDate 2011/09/04 @Env Solr3.5.0 / lucene-gosen1.2.1 @UpdateDate 2012/02/21 Solr3.5.0に変更したりクエリの誤りを直したり Solrの導入 まずSolrをダウンロードして解凍する。 ここからダウンロード http://lucene.apache.org/solr/#getstar
実践！Elasticsearch - Wantedly Engineer Blog
（募集はダミーデータです） （参考: ドキュメント登録の流れについては Elasticsearch 入門 を参照すると良いです。） Analyzer 上記のデータを実際に入れる前に、index の作成と analyzer の設定をします。 以下のコマンドを実行することで analyzer の設定ができます。 下記で説明して行きます。 curl -XPUT 'http://localhost:9200/wantedly-demo' -d \ '{ "settings": { "analysis": { "filter": { "pos_filter": { "type": "kuromoji_part_of_speech", "stoptags": [ "助詞-格助詞-一般", "助詞-終助詞" ] }, "greek_lowercase_filter": { "type": "lowerc
livedoor Developers Blog:String::Trigram でテキストの類似度を測る - livedoor Blog（ブログ）
こんにちは。検索グループ解析チームの nabokov7 です。 今回は、livedoor キーワードでの事例より、テキストの類似度を測るのに便利な手法を紹介します。 livedoor キーワードは、livedoor ブログでその日その日で話題になった語をランキング表示するサービスです。 当初、はてなキーワードやWikipediaを足して2で割ったようなサービスを作れといった開き直った指示のもとで開発が開始されたともいう、分社化前の芸風の名残で、キーワードの検索結果にはユーザが自由に解説を書き込める Wikipedia 的スペースもついています。 で、この解説部分に、さまざまなサイトから文章をまる写ししちゃう人がとても多いのですね。 特に多いウィキペディア日本語版からの剽窃を防止するために、livedoor キーワードでは以下のような対策を講じることにしました。 ウィキペディア日本語版の解説
優れた検索技術はどちらか---長年の論争がついに決着：ITpro
インターネットの膨大な情報の中から自分が求めるものを探すとき，誰しもまずGoogleなどの検索エンジンを使うだろう。この検索エンジンは，文書中のすべての文字列を検索対象にし，入力された検索語を含む文書を返す。これを全文検索という。 全文検索では，まず検索対象となる文書を短い文字列に区切る。そして，どの文書が区切った文字列を含んでいるかを対応付けた表（インデックス）を作成する。検索文が入力されると，こちらも同じように短く区切り，インデックスと比較する。つまり，両者が同じ文字列を含んでいても，その区切りが異なると正しく検索できない。 実はここに，長きにわたる論争があった。文字の区切り方に二つの有力な手法があるのだ。しかし2002年12月，この論争に決着がついたようだ。国立情報学研究所が主催する検索エンジンの評価型国際会議NTCIR（NII Test Collection for Informa
検索エンジンの常識をApache Solrで身につける
表のような転置インデックス完成後は、クエリに対する結果を返す処理は簡単です。例えば、ユーザーが「Vim」というクエリを発行すると、検索エンジンは「Vim」を含む文書IDリストを返します。表では文書IDの「2」を返します。 検索エンジンを取り巻く7つの技術 検索エンジンのコア技術は前節で紹介したインデックスです。しかし実際に、検索インデックスだけで構成する検索エンジンから、検索サービスを構築するには多大なコストが掛かります。以下の節で検索エンジンを利用したシステム、検索サービスを構築する際に便利なコンポーネントを紹介します。 これらの機能のいくつかは、多くの検索エンジンが組み込んでいます。一方で、簡素な検索エンジンは、以下で紹介するコンポーネントをサポートしていないため、ユーザーが独自に開発するか、その機能を持つコンポーネントを組み込む必要があるものもあります。 【1】トークナイザ 検索エン
Windows XP support has ended - Microsoft Support
What is Windows XP end of support? Microsoft provided support for Windows XP for the past 12 years. But the time came for us, along with our hardware and software partners, to invest our resources toward supporting more recent technologies so that we can continue to deliver great new experiences. As a result, technical assistance for Windows XP is no longer available, including automatic updates t
Lucene/Solrの活用方法 - 株式会社データ・コム・ナレッジ:Data Com Knowledge
昨今のインターネットの普及、CGM（Consumer Generated Media）の普及によって私たちが接する情報量は爆発的に増大しています。 その中から私たちが探したい情報を見つけ出すこと、または情報を分析することが困難になっています。 また、情報を提供している側にとってもユーザーが情報を素早く見つけやすくする必要性があります。（ファインダビリティの向上） このような状況のなかで、超高速高性能な検索エンジンのニーズは高まっております。そこで私たちはオープンソース検索エンジンの【Lucene/Solr】をご紹介します。 Lucene/Solrの利用例 私たちがLucene/Solrに注目したのは、その圧倒的な検索パフォーマンスとスケーラビリティなのですが、ここではLucene/Solrが持っている機能を使ってどのようなことが出来るのかを具体的にご紹介したいと思います。 社内文書検索 毎
[Think IT] 第1回：OSS検索エンジンLuceneとは (1/3)
「JBoss Enterprise Application Platformの全貌」では全4回にわたって、JBoss Enterprise Middleware全般について解説している。 本連載ではJBoss Enterprise Middlewareを使った具体例として「エンタープライズレベルの検索サービス」を提供するWebアプリケーションを取り上げ、試作する。なお、検索エンジンにはオープンソースソフトウェア（以下、OSS）のApache Lucene（以下、Lucene：ルシーン）を使用する。 ここで述べる「エンタープライズレベルの検索（注1）」サービスとは、企業が保有する大量のコンテンツを高速に検索するサービスのこととする。Luceneは小規模（文書数が数万件以下）から大規模（数百万件以上）のコンテンツを高速に検索することを得意としているため、「エンタープライズレベルの検索」に適して
jbuilderで良い感じのハッシュ形式のJSONを返したいならこれだけ押さえておけば大丈夫かも - (ﾟ∀ﾟ)o彡 sasata299's blog
2014年04月09日11:24 Ruby JavaScript jbuilderで良い感じのハッシュ形式のJSONを返したいならこれだけ押さえておけば大丈夫かも JSON を返すときに、良い感じにごにょごにょしたいみたいなときってあるじゃないですか。そういうときに jbuilder ではどうやるのかなーと思ってちょっと調べたのでメモしておきます。 基本的な使い方はこんな感じです。 # こう書くと json.user do |json| json.nickname @user.name end # こうなる { "user": { "nickname": "sasata299" } } ただ、これだとキーの部分（"nickname" の部分）が定数となってしまい、変数が使えません。変数を使ってキーを動的に変えたい場合には set! というメソッドを使います。 例えば、"nickname"
ウェブ・セキュリティを脅かす重大なバグ「Heartbleed」について知っておくべきこと | readwrite.jp
「Heartbleed」はウェブ・コミュニケーションを安全にするOpenSSLと呼ばれる暗号化ソフトの中に長く発見されずに潜んでいたバグだ。その発見が遅れたため、ウェブの2/3に及ぶトラフィックが過去2年間に渡って盗聴や攻撃の危険にさらされていたことになる。Heartbleedは一般的なウェブ・ユーザーにとってなじみのある脆弱性でない。そのため、それがなぜそれほど重大なのか、またデータを安全にしておくためには何ができるかについて、ここでなるべく分かりやすく紹介したい。 Heartbleedとは簡単にいうと、ブラウザとウェブサイト間の暗号化通信に関する脆弱性だ。攻撃者は理論的にはこのバグを悪用することで、銀行やEコマース・サイトなどの安全な通信が必要なサイト上で使用されるセキュアな接続を解読し、パスワードなどの重要な情報を盗み取ることができる。 もう少し技術的な説明をするとHeartblee
JavaScriptでカスラムエラーをどう作るか - rikubaのブログ
はじめに：IE 11、Firefox 28、Chrome 34で試している JavaScriptのErrorオブジェクトにはstackプロパティにコールスタックを表す文字列がセットされる。これは現行のECMAScript仕様では規定されておらず、実装によって違いがある。 function foo() { bar(); } function bar() { baz(); } function baz() { throw new Error('X'); } (function main() { try { foo(); } catch (error) { console.log(error.stack); } })(); Chromeでのコンソール出力の例。 Error: X at baz (http://localhost/CustomError.html:8:24) at bar (htt
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Amazon.co.jp: 仕事に効く教養としての「世界史」: 出口治明: Digital Ebook Purchas
#278 Search with Sunspot - RailsCasts
Rails fuzzy searching with Sunspot gem
Solr勉強会第７回に参加しました。（発表もしました） | @johtani の日記
Amazon.co.jp: 行動することが生きることである 生き方についての３４３の知恵 (集英社文庫): 宇野千代: Digital Ebook Purchas
DiredやOrg-modeのテーブルをシマシマにするstripe-bufferの紹介 - sheephead
【勉強会報告】Crafting Rails 4 Applications読み会 第四回資料｜TechRacho by BPS株式会社