第3回 様々なデータ型を扱えるTokyoTyrant | gihyo.jp
どんなところに使える？ もっとも簡単な利用方法は、前回紹介したmemcachedの代替として利用するというものです。memcached互換プロトコルが実装されているため、memcachedを利用している場合ポート番号を変えるだけでTokyoTyrantに差し替えることが可能です。これだけで簡単にデータの永続性が得られます。 また、テーブルデータベースを利用すれば一つのkeyに対して複数のvalueを持たせることが可能であり、keyだけでなく任意のvalueを条件としてデータの検索を行うこともできます。JOINやGROUP BYといった処理は行えませんが、それ以外のほとんどの検索条件を扱えます。レスポンスはRDBMSに比べて高速なので、アクセス数が多いテーブルをTokyoTyrantのテーブルデータベースに載せ換える、といった利用方法も効果的かもしれません。 具体的な利用シーン memcac
PHP: tokyo_tyrant - Manual
tokyo_tyrant はじめにインストール/設定要件インストール手順実行時設定リソース型定義済み定数例TokyoTyrant — TokyoTyrant クラスTokyoTyrant::add — 数値キーを加算するTokyoTyrant::connect — データベースに接続するTokyoTyrant::connectUri — データベースに接続するTokyoTyrant::__construct — 新しい TokyoTyrant オブジェクトを作成するTokyoTyrant::copy — データベースをコピーするTokyoTyrant::ext — リモートスクリプトを実行するTokyoTyrant::fwmKeys — 前方一致でマッチするキーを返すTokyoTyrant::get — 値を取得するTokyoTyrant::getIterator — イテレータを取得する
myfinder's blog: 今日から使える実践的Tokyo Tyrantのrpm講座
タイトルはまたもホッテントリメーカーから。 先日Tokyo Tyrantについていろいろ誤解して書いてしまったので罪滅ぼし的に、 「CentOS5.2でTokyo Tyrantのrpmを作ってインストールして運用できる状態にするまで」を書いてみる。 「rpmがないと使えない〜」というrpm厨の方もこれで安心。 今回は1サーバ1インスタンスでセットアップする想定です。 レプリケーションなどはまた別の機会に。 一応自分のとこでは動きましたが、エントリの内容は無保証です。自己責任でお願いします。 手順は大まかに言うと↓のような感じ。 Tokyo CabinetとTokyo Tyrantのソースアーカイブを手に入れるrpmを作るTokyo Tyrantが依存している別のパッケージをインストールするTokyo TyrantをインストールするTokyo Tyrantをchkconfigに登録するlog
Tokyo Tyrant 雑多なメモ (Tokyo Cabinet も可) : 管理人@Yoski
合宿で Tokyo Tyrant 部分、いろいろチューニングしたのでメモ。細かいのでその手の方以外はスルーの方向で。 対象は便利すぎる Tokyo Tyrant Table。 ・インデックス addCond()->addCond()->addCond() で絞り込んでいくとき、hint() で調べると最後に追加した Query から順に Index を使っていることがわかる。(5/3追記)⇒最後ではなく、2番目、一番目、と使う様子。 なので最初は大雑把な絞り込み（カテゴリとか）を行い、最後に詳細な絞り込み（ユーザーID）なんかをかけた方がパフォーマンスがあがる様子（手元のベンチマークでは上がった）。 ・数値インデックスに対する NUMGT や NUMGE 日付のタイムスタンプなどで、過去三日以内、というときに addCond(日付のとこ, 数値が～より大きい, 3日前） みたいな感じにする
Tokyo TyrantとテーブルDBでリアルタイム検索 - mixi engineer blog
ドラクエは卒業して、もっと英語漬けをやっているmikioです。さて今回は、データベースサーバTokyo Tyrantとテーブルデータベースを使ってリアルタイム検索システムを構築する方法について語ります。 テーブルDBを分散させたい Tokyo TyrantでもテーブルDBがサポートされているわけですが、これはリアルタイム検索システムへの布石です。テーブルDBは任意のコラムにインデックスを張ることができ、時系列のコラムにインデックスを張ればその値によって古いコラムを効率的に消すことができます。チュートリアルの「Persistent but Expirable Cache」でもその方法を示しています。また、任意のコラムに分かち書きトークン方式もしくは文字N-gram方式で転置インデックスを張ることができます。これらを総合すると、最新のデータのみを保持してサイズと性能を一定に保ったインデックスを
ウノウラボ Unoh Labs: Tokyo Tyrantを使ってみて
yamaokaです。 通常のデータベースとしてではなく、Key-Valueストアの選択肢として Tokyo Tyrantを少しずつ使ってみています。 実際に運用するにあたって、いくつか行ったことを書いておきます。 ちなみに、現在の構成は1台のみでの運用です。 マルチマスター構成やレプリケーションなどは行っていません。 PHPのクライアント Tokyo Tyrantを利用するのはPHPのアプリケーションからです。 最初はmemcachedプロトコルを利用して PECL::memcacheを使っていましたが、 データの大量更新を連続で行うとデータの取得が正常に行えなくなる現象が発生したため、 Net_TokyoTyrantを一部改変したものをライブラリとして利用しています。 パフォーマンスではPECL::memcacheに負けますが、クリティカルな処理をしていないこともあり、 今のところ問題に
ウェブリブログ：サービスは終了しました。
「ウェブリブログ」は 2023年1月31日 をもちましてサービス提供を終了いたしました。 2004年3月のサービス開始より19年近くもの間、沢山の皆さまにご愛用いただきましたことを心よりお礼申し上げます。今後とも、BIGLOBEをご愛顧賜りますよう、よろしくお願い申し上げます。 ※引っ越し先ブログへのリダイレクトサービスは2024年1月31日で終了いたしました。 BIGLOBEのサービス一覧
MemcachedではなくRepcachedをセッション管理に使用する（ついでにTokyo Tyrantについても少し）
森川です。 複数台のWebサーバでセッション管理をする場合、NFS・DB・Memcachedなんかが一般的ですが、今回はMemcachedじゃなくてレプリケーションができるRepcachedを使ってみよう！というお話です。 まずは、Repcachedの話です。といってもMemcachedにレプリケーション機能が追加されたものというものです。 RepcachedはKLab株式会社さんのクラブラボで公開されています。インストール方法などについては、リンク先のページを見ればわかると思います。 今回のエントリで重要なのは、 ・高速であること （Memcachedと遜色ない） ・レプリケーションができること （１台が落ちてもデータが失われない） ・Memcachedのクライアントが使えること（設定を変更する必要がない） ということです。 ただし、割り当てたメモリを超えてデータを保存した場合には、デー
はてなブックマーク全文検索機能の裏側
そろそろ落ち着いて来たころ合いなので、はてなブックマーク全文検索機能の裏側について書いてみることにします。 PFI側は、8月ぐらいからバイトに来てもらっているid:nobu-qと、id:kzkの2人がメインになって進めました(参考: 制作スタッフ)。数学的な所は他のメンバーに色々と助言をしてもらいました。 はてな側は主にid:naoyaさんを中心に、こちらの希望や要求を聞いて頂きました。開発期間は大体1〜2か月ぐらいで、9月の上旬に一度id:naoyaさんにオフィスに来て頂いて合宿をしました。その他の開発はSkypeのチャットで連絡を取りながら進めてました。インフラ面ではid:stanakaさん、契約面ではid:jkondoさん、id:kossyさんにお世話になりました。 全文検索エンジンSedue 今回の検索エンジンはSedue(セデュー)という製品をベースにして構築しています。Sedu
Tokyo Tyrantによるリアルタイム検索 - mixi engineer blog
どうぶつの森にハマって、たぬきち商店が早終いする関係で退勤時間もめっさ早くなったmikioです。今回は、Tokyo TyrantのキャッシュとLua拡張を使って超お手軽にリアルタイム検索システムを作る方法について述べます。 ユースケース 高い頻度で更新されるWeb上のテキストをリアルタイムに検索したいと思ったことはありませんか？ mixi日記や各種のブログサービスやRSSリーダなどで扱う大量のコンテンツを安価かつ簡単に検索したいと思ったことはありませんか？ 私は結構あります。要件を箇条書きすると以下のような感じでしょうか。 最新データの合計100万件くらいを検索できればよく、古いデータは自動的に消えてほしい。 ただし、更新はリアルタイムにして、書いた瞬間に検索結果に反映されてほしい。 サーバ1台で更新1000qpsおよび検索100qpsは処理したい。 再現率よりも精度とリアルタイム性を重視
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
TokyoシリーズのFAQ
PECL :: Package :: tokyo_tyrant
AndroidのNFC機能でFeliCaの読み書きをする | −ゆめログ− | ゆめみスタッフブログ
Tokyo Tyrant + PHP