はてなブックマーク

noindexについて noindexとは？ クローラに「このページはインデックス化しないでね」というヒントを与えます。 あくまでヒントなので、適用するかどうかはクローラが決定します。 重要なヒントなので基本的に適用されますが、行儀の悪いクローラは無視するかもしれません。 また、検索エンジン以外の目的でクロールするクローラも無視する可能性があります。 単にnoindex機能未対応のクローラも同様でしょう。 使い方 headタグ内にmetaタグを記述します。 <meta name="robots" content="noindex" /> どういう時に使えばいい？ 主に以下がnoindexの使い所かと思います。 管理画面 確認・完了画面 開発者用のデバッグページ 個人情報が絡む確認・終了画面には必須です。個人情報がインデックス化されると最悪の事態を招くでしょう。 よくある間違い noinde

mysqldumpのオンラインバックアップ mysqldumpのオプション mysqldump時にロックをかけないオプションは「--single-transaction」です。 --single-transaction このオプションはサーバからデータをダンプする前にBEGIN SQLステートメントを発行します。InnoDBといったトランザクションテーブルに対してのみ便利です。なぜなら、アプリケーションをブロックせずに、BEGINが発行された当時のデータベースの状態をダンプするからです。 このオプションを使用しているときは、一定の状態でダンプされるのはInnoDBテーブルのみだということを留意してください。例えば、このオプションを使用中にダンプされたMyISAMやMEMORYテーブルは状態が変化する可能性があります。 mysqldump — データベースバックアッププログラム リファレンス

MySQLの後方一致検索 インデックスを設定せずに後方一致検索してみる 住所が「三丁目」で終わるデータの件数をカウントしてみます。 まずはインデックスを設定せずに後方一致検索します。 mysql> select count(*) from address where town_street_name like '%三丁目'; +----------+ | count(*) | +----------+ | 12263 | +----------+ 1 row in set (0.29 sec) mysql> explain select count(*) from address where town_street_name like '%三丁目'; +----+-------------+---------+------+---------------+------+---------+

大量レコードのjoinは遅い 遅くなるのはMySQLだけなの？ そんなことはありません。MySQLもPostgresもOracleもSQLServerも遅くなります。 Oracleのオプティマイザは賢いですが、基本的に大量レコードのjoinは避けるべきです。 何故遅くなるの？ データ量が多すぎてテンポラリ領域を使う（バッファに乗り気らない）から、です。 何件くらいからjoinが遅くなるの？ スキーマ構造によるので一概には言えませんが、大体1000件辺りから微妙に遅くなり、1万件を超えると一気に遅くなります。 1万件程度なら割と力技（マシンパワー）で何とかなるので、1万件を超えた辺りから注意してみて下さい。 よくある例では、ログを元にしたアクセスレポートの生成時に、大量レコードのjoinが必要になり易いかもしれませんね。 解決策 データ量を減らしてからjoinする。 データ量が多いならデータ

MySQLでgroup byした結果をカウントする テスト用テーブル +--------------------------+--------------+------+-----+---------+-------+ | Field | Type | Null | Key | Default | Extra | +--------------------------+--------------+------+-----+---------+-------+ | pref_cd | char(2) | NO | PRI | | | | pref_name | text | YES | | NULL | | | city_cd | char(5) | NO | PRI | | | | city_name | text | YES | | NULL | | | town_street_cd

-eオプションでSQLを実行する。 mysql -uroot -e "show tables" -eオプションはトランザクションに注意。 以下はトランザクションは効いていません。 mysql -uroot -e "begin;" date mysql -uroot -e "insert into hoge values(1, 2, 3);" date mysql -uroot -e "commit;" トランザクションが効かない理由は簡単です。 mysqlコマンド毎にコネクションが切れているからです。 従って、-eオプションでトランザクションを有効にするには、以下のようにワンライナーにするしかありません。 mysql -uroot -e "begin; insert into hoge values(1, 2, 3); commit;" bashの変数をSQLに埋め込む事も可能です。以下は

solrのレプリケーション レプリケーションとは、複数のサーバでデータを同期することを言います。 solrのレプリケーションには2通りの方法があります。 solr1.3までのバージョンではssh + rsyncによるレプリケーションが行えます。 solr1.4以降ではReplicationHandlerでhttp通信によるレプリケーションが可能になりました。 ReplicationHandlerはhttp通信なので、ssh+rsync形式と違ってdaemonの起動も不要でportを開ける必要もありません。 solr1.4以降ではReplicationHandlerを使う事をおすすめします。 なお、ReplicationHandlerを行うにはcommons-httpClientが必要なので、jarを追加しましょう。 レプリケーションの設定をする レプリケーションの設定はsolrconfig

Spatial Searchの設定 Spatial Searchとは？ Spatial Searchは、位置情報を使って空間検索する機能です。 緯度・経度を使って、中心点から半径Nkm以内で検索し、中心点から距離が近い順にソート、等が可能です。 Spatial Searchのためのschema.xmlの設定 必要な設定のみを抽出しました。 <schema name="address" version="1.5"> <types> <fieldType name="tdouble" class="solr.TrieDoubleField" sortMissingLast="true" precisionStep="8" positionIncrementGap="0"/> <fieldType name="location" class="solr.LatLonType" subFieldS

dynamic fieldについて 通常のフィールド（以降、static fieldと呼びます）とdynamic fieldのどちらを使うか。 一番最初に検討するべき部分です。 まずは両者をよく知っておく必要があります。 static fieldとは？ static fieldはsolrの標準のフィールドです。 static fieldの使い所 私は以下の3種類についてのみstatic fieldにしています。 uniqueKeyフィールド timestampフィールド _version_フィールド uniqueKeyフィールドは必ず1個必要なので、これは必然的にstatic fieldになります。 <field name="id" type="string" indexed="true" stored="true" required="true" multiValued="false"

トランザクション分離レベルの種類 ANSI/ISO SQLでは、以下のように定義されています。 ロストアップデートについては特に策定されていないと思いますが、一覧に加えておきます。 分離レベル 性能 ダーティーリード ファジーリード ファントムリード ロストアップデート read uncommitted 高 起きる。 起きる。 起きる。 起きる。 read committed ｜ 起きない。 起きる。 起きる。 起きる。 repeatable read ｜ 起きない。 起きない。 起きる。 起きる。 serializable 低 起きない。 起きない。 起きない。 起きない。 ただし、ANSI/ISO SQLはあくまで仕様であって、実装・動作は各データベース毎に異なります。 MySQLの場合は以下のようになります。 分離レベル 性能 ダーティーリード ファジーリード ファントムリード ロス

関連記事 solrjでfacet field検索 solrjでfacet query検索 solrjでランダムソートする Data Import Request Handler Data Import Request Handler solrの標準機能で、xmlファイルやRDBからデータを取得し、インデクシングする機能です。 今回はData Import Request Handlerは使いません。 Data Import Request Handlerを使わない理由は以下の通りです。（DataSourceがRDBの場合） data-config.xmlに実装を書いてしまうので、IDEによるリファクタリング機能が効かない。 data-config.xmlの実装ルールを知っていないといけないので、実装できる人が限られる。 ORMによるタイプセーフな実装ができない。 data-config.x

形態素解析による検索とは？ 形態素・同義語の辞書のメンテナンスをする前に、形態素解析による検索について軽く解説します。 検索対象の文字列 文字列１「私はjavascriptというプログラミング言語が得意です！」 文字列２「私はjavaというプログラミング言語が大嫌いです・・・」 RDBで検索する場合 検索ワード「java」をRDBで検索すると、以下のようになります。 select * from hoge where freeword like '%java%'; 文字列１・・・ヒットする。 文字列２・・・ヒットする。 likeは中間一致検索であるため、文字列１・２共にヒットしてしまいます。 文章に対して完全一致検索をしてもほぼ検索にヒットしないので、通常中間一致検索をします。 しかしこの場合、javaを検索したいのであって、javascriptをヒットさせたくありません。 こういう状態を「

solrって何？ Apache solr solr wiki オープンソースのpure javaの全文検索エンジンです。 Apacheのトッププロジェクトであり、twitterやfacebook級のサイトでも使用されています。 solrにできる事は？ 超高速検索のエンジンを自分で作成可能（オレオレMySQLのようなものを作る事ができる）。 検索する項目を自分で定義可能（RDBのカラム）。 定義した項目に、順序を保持したままリスト形式で値を保存可能（カラムにjavaでいうところのListを保存できる）。 完全一致検索可能。 中間一致検索可能（フルスキャンで超低速になるので非推奨）。 前方一致検索可能。 超高速に件数を取得する、ファセット検索が可能。（select count(*)を100回同時に行なっても超高速） 超高速に同義語検索可能で、同義語の辞書を自分で定義可能。（or name =

MySQLキャッシュヒット率計算ツール 一々excel等でMySQLのキャッシュヒット率を計算する事ってありますよね。 もうそんな無駄な作業はやめましょう。 コピペだけでMySQLのキャッシュヒット率を出力するツールを用意したのでぜひ使ってみて下さい！ 【ステップ１】キャッシュに関する値を取得する。 mysqlクライアントで以下のSQLを実行して下さい。 show global status like 'QCache%'; -- ↓このテーブルごとコピーして下さい。 +-------------------------+----------+ | Variable_name | Value | +-------------------------+----------+ | Qcache_free_blocks | 1 | | Qcache_free_memory | 67079328 |

Waiting for table metadata lockって何？ 8.10.4. Metadata Locking Within Transactions 日本語ページにこの説明は無いので、頑張って翻訳してみます。 To ensure transaction serializability, the server must not permit one session to perform a data definition language (DDL) statement on a table that is used in an uncompleted transaction in another session. トランザクションの直列化を確保するため、他セッションによる処理が完了するまでの間、DDLの実行は許可しません。 As of MySQL 5.5.3, the serv

外部キーでデッドロックを起こすサンプルコード。 drop table if exists child; create table child (id int, pid int, primary key (id, pid))engine=innodb; drop table if exists parent; create table parent (id int, count int, primary key (id))engine=innodb; insert into parent values (1, 0); alter table child add foreign key (id) references parent (id); トランザクションA ------------------------------------- begin; insert into child val

インデックスデータを確認する。 開発時でも必要になりますが、リリース後の運用でも値の確認は非常に重要になりますね。 まず、インデックスデータと言っても2種類有る事を認識しておく必要があります。 １つ目は「stored」、2つ目は「indexed」、です。 storedの値は容易に確認できますが、indexedの値は非常に確認がし難いです。 その2つは何が違うのでしょう。storedは検索結果として返却される値で、indexedは検索時に使用される値です。 RDBと比較すると解りやすいので、以下をご覧下さい。 solr MySQL stored selectした結果 indexed Bツリーインデックスやユニークインデックスの値 いかがでしょうか。 indexedの値が確認し難いのですが、RDBはindexされた値は確認する事ができません。 理由は、RDBには基本的に形態素解析が無く常に指定

lock in share modeとは？ lock in share modeは、共有ロック・shared lock・slock、と言われているロックです。 for updateは、排他ロック・xlock、と言われています。 参照(select)する時にロックをする機能です。 lock in share modeはどんな時に使う？ 主な使い道は、ファジーリード・ロストアップデートを防ぐ、です。 ファジーリードはトランザクション分離レベルがread committed以下の場合の発生します。repeatable readの場合はそもそもANSI/ISO SQLの仕様上発生しません。 具体的な使い所としては、一覧画面の表示時のSQLや、不正データ検出、等で使うかと思います。 for updateとの違いは？ 最大の違いはslockによる参照をブロックしない・されない点です。つまり、参照同士の

関連記事 solrjでfacet field検索 solrjでfacet query検索 solrjで独自のインデクサを実装する solrjでランダムソートする 何故solrjを使うのか。 solrでインデックスを生成するには、xmlをpostするか、ファイルからxmlやjsonを読み込むか、DBから読み込む等の方法があります。 それらを簡単い行う事ができるAPIがsolrjです。かなり簡単にインデックス生成できます。 apache-solr-3.6.0.zipに含まれているので、すぐ試すことができます。 solrjでインデックス生成と検索する。 習うより慣れろ、という事でいきなりインデックス生成とインデックス検索のs2JUnitのテストケースです。 solrのインストールとsolrの日本語形態素解析の設定を済ませている事前提のコードです。 solrjのConcurrentUpdateSo

関連記事 solrの同義語の設定 kuromojiの辞書のメンテナンス 形態素解析器の種類 初期設定の状態で検索し、問題点を探る。 まずはanalysis画面で、形態素解析のユーザ定義辞書未設定の状態で検索してましょう。 初期設定のschema.xmlに日本語形態素解析を設定した「text_ja」があるので、typeに「text_ja」を指定します。 「宇治抹茶ケーキ」で検索したのですが、この文章にヒットしました。この結果、どう思いますか？ ユーザ視点では「宇治抹茶ケーキ」を探しているのであって、分割された単語を含むページが見たい訳ではないのです。 この状態は検索の精度が低いと言えると思います。 よほど困っているユーザでない限り、必要な情報を頑張って探してくれないので、コンバージョンも下がり、売上も比例して下がるでしょう。 ユーザ定義辞書を設定する。 kuromojiの形態素解析辞書は、j

doltengをインストールする。 Seasarプロジェクトの作成方法ですが、eclipseプラグイン「dolteng」を利用すると簡単に作成可能です。 doltengのページに書かれたeclipse更新サイトからインストールします。 doltengでseasarプロジェクトの作成。 s2strutsやsastrutsはsolr adminと相性が悪い為、doltengで生成する際のプロジェクトは以下のようにします。 Application Typeが「Web Application」だが、Presentationを未選択にするのがポイント。 Persistenceは任意で構いません。Server ManagementはWTPにするとよいです。 続いてパスの設定ですが、任意で構いません。 solrをダウンロードする。 solrのオフィシャルサイトからsolrをダウンロードします。 Apac