ニコニコ大百科のアーキテクチャ - グニャラくんのグニャグニャ備忘録@はてな
Twitter mongrelP: @tasukuchan グニャラくーん、ニコ百の鯖がEeePCという話が持ち上がってますがただの監視用ですよね（しんぱいそうなめでみている） http://twitter.com/mongrelP/status/1524183917 ニコニコ大百科のアーキテクチャについてメモしておきます。 本当は、このネタでRuby Kaigiに申し込もうと思ったけど、すっかり忘れていたのでエントリを起こしておきます。Rubyあんま関係なかったし。 全てのリクエストを受付、セッション情報も保持するEeePC 次世代サーバプラットフォーム EeePC ニコニコ大百科宛ての全てのリクエストは、全てEeePCに送られます。 実物の写真を載せておきます。 EeePCは2台稼動しており、１台はホットスタンバイです。 EeePCは、SSDとUPSを備えた次世代サーバプラットフォーム
groongaデータベースAPIについて概説 - グニャラくんのグニャグニャ備忘録@はてな
groongaにおいて、データベースを扱うためのAPI群について概説します。 groongaは、RDBMSでいうところのテーブル・カラムを扱うAPIを提供します。 テーブルは、内部的にハッシュテーブルもしくはパトリシアトライが基となっています。 それぞれの要素について、どのような操作が行えるかを説明します。 grn_hash grn_hashとは、以下の操作を行えるAPI群です。 任意のkeyを指定したデータ保存 任意のkeyを指定したデータ取得 任意のkeyを指定したデータ削除 カーソルを用いた、全てのkey/valueの取得・設定・削除 内部の実装は、ハッシュテーブルです。 メモリ上に作成することも、ファイルとして作成することもできます。 いわゆる*DBMと同等のことができます。 Tokyo CabinetでいうところのTCHDBですね。 grn_pat grn_patとは、以下の操作
全文検索エンジンgroongaをテストリリースしました。 - グニャラくんのグニャグニャ備忘録@はてな
全文検索エンジンのgroongaをテストリリースしました。 groonga 本日開催された、key-value store勉強会で発表させていただきました。 今まで、Sennaには Tritonn経由で使った場合、MySQL側のインデックスとの併用が難しく、Senna本来のパフォーマンスが発揮できなかった。 従来のインターフェースでは、トークナイザの切り替えなどの柔軟性がなかった。 といった問題がありました。 groongaは、それに対する返答です。 自分でデータベース書けばいいんじゃね？ 柔軟なAPI用意すればいいんじゃね？ ってことですね。 データベースは、key-valueストアを組み合わせたcolumnストア的な感じになっています。 詳細については、今後別エントリやドキュメントで述べます。 今後は、Sennaはバグ修正のみ行うメンテナンスモードに移行します。 実際使ってみよう 今回
memcachedを愚弄する１つの方法 - グニャラくんのグニャグニャ備忘録@はてな
某サービスでセッション情報を保持するために利用している memcached(repcached)に障害が起こった。 ちゃんと追えていないけど、おそらく以下のような原因。他の人がハマらないように。 障害発生まで memcached(repcached)の中には揮発したらそれなりにマズい情報が入っている。 repcachedサーバ２台のOS入れ替えをしていて、１台は再起動が成功した。 １台目のサーバへ２台目のサーバからのレプリケーションが完了したのをstatsのcurr_itemsにて確認した。 よって２台目を再起動するものの、起動しなくなった。 この時点では、１台は生きているから後でデータセンターいこうっと、という気軽な気持ちだった… 現象 生きている１台目のサーバで、以下のような現象が起こった… 値をsetする際に、ある閾値以上のexptimeを指定すると即expireされる。 その閾値は
Senna 2.0の展望と、Tritonnで問題が発生している人向け情報 - グニャラくんのグニャグニャ備忘録@はてな
Senna 2.0βのリリースが見えてきました。 去年の夏に出すと言っていましたが、紆余曲折あっての現状です。 ライバルのTokyo Cabinet/Tokyo Dystopiaについては、 ストレージと全文検索インデックスを分割する方向性です。 mixi engineer blog 今までのSennaはTokyo Dystopiaに近いものでしたが、 Senna 2.0では逆にHyper Estraierのほうに近づく感じになっています。 それぞれ特色が出て面白いですねー。 今回は転置インデックス部分にもかなり手が入っているので、 Senna/Lucene/Tokyo Dystopiaのパフォーマンス比較もやってみたいと思います。 （とはいえ、パフォーマンス比較はそれぞれのライブラリに精通しないと意味のある情報が出せないので、大変ではありますね…） Senna 2.0 + MySQL 5
ツッコめ！全文検索エンジンSennaの新しいAPIについての素案。 - グニャラくんのグニャグニャ備忘録@はてな
みんな、［Senna-dev 884］のメールは読んだかな！？ 全文検索エンジンSennaの新しいAPIについての素案がついに公開されました。 今までのAPIのほとんどを刷新するという 大改造！劇的ビフォーアフター的API群です（APIの匠）。 んで、この新しいAPI群で何ができるようになるのでしょうか。 簡単に言うと、 「Sennaは、データベースになります！」 といいつつも、全文検索機能を充実させるために、 データベース的機能を強化した、という感じになっておりますぞ。 データベース機能 新しいSennaでは、複数のテーブルというものを持つことができます。 テーブルは、複数のレコードを持つことができます。 レコードは、複数のカラムを持つことができます。 カラムは、ある型のデータを保持します。 一般的なRDBMSの２次元表をまずはイメージしてください。 ポイント1. レコードごとにカラムが
PHPで高速に携帯ゲートウェイのIPから携帯キャリアを判別する - グニャラくんのグニャグニャ備忘録@はてな
[追記]id:hetimaに指摘された、32bitアーキテクチャでの問題を修正。大感謝。 携帯電話からのWebアクセスゲートウェイのIPアドレスから、 携帯キャリアを判別したい場合がある。 通常は、id:tokuhiromによる Net::CIDR::MobileJP(WWW::MobileCarrierJP)を使うといいと思う。 DSAS開発者の部屋:携帯ゲートウェイのIPアドレス帯更新を効率的に確認する方法 http://d.hatena.ne.jp/tokuhirom/20071207/1196989588 YAMLが出力されるので、さまざまな環境で利用ができるよ！ 今回、PHPで携帯キャリアを判別したいと思ったんだけど、 PHPでYAMLを読んでその中身をすべて検査するなんてやだいやだい！ と沸き立つような強い衝動が。 というわけで、cidr-mobilejpというPythonスク
pytc-0.1 - Tokyo Cabinet Python bindings公開 - グニャラくんのグニャグニャ備忘録@はてな
お待たせしました。Tokyo CabinetのPython bindingsを公開します。 sourceforgeで公開を予定していましたが、 pypiで公開することにします。 http://pypi.python.org/pypi/pytc/ リポジトリはCodeReposにあります。 http://svn.coderepos.org/share/lang/python/pytc/ 使い方(適当) HDB/BDBとも、永続化できるdictみたいな感じで使えます。 簡単な使い方(hash database) import pytc db = pytc.HDB('hdb.db', pytc.HDBOWRITER | pytc.HDBOCREAT) db['niku'] = 'umai' print db['niku'] db['ra-men'] = 'kuitai' print db['ra
DjangoのテンプレートエンジンをPHPに移植してみた。 - グニャラくんのグニャグニャ備忘録@はてな
ブラジルのPHP仕事をひさびさにやることになった。 そこで思ったこと。テンプレートエンジンを使いたいよ… しかも、Djangoみたいに継承ができるやつを。 というわけで、よさげなテンプレートエンジンを探してみようか、 と思ったんだけど、PHPテンプレートエンジン多すぎっす。調べる気失せるっす。 世界のPHPテンプレートエンジン、トップ25 - GIGAZINE rhacoのテンプレートエンジンはDjango風らしいけど、 テンプレートエンジンだけ使う方法を調べるまで至らなかった… rhacoの公式サイト: ハゲてもかっこいい芸能人-ハゲていてもかっこいい有名人 じゃあ、自分で書いちゃう！？書いちゃう！？ … 書いちゃった！！ その名もGunyaTemplate。ダサいので名前募集中です。 ブラジル社長によってmumuという名前が授けられました！ (EbiTemplateとかMaitakeT
Django勉強会 Disc 4での資料を公開します - グニャラくんのグニャグニャ備忘録@はてな
Django勉強会 Disc 4で発表させていただいた資料を公開します。 今回は構成とかグダグダ＆Djangoの話が少なくてすみませんすみません… DjangoでSenna 2.0!(PDF注意) Senna 2.0を用いたWikipedia検索はリポジトリに公開しています。 Senna2.0でのWikipedia検索@Django Tritonn版はこちら TritonnでのWikipedia検索@Django 公式の場でSenna 2.0について話すのは初めてだったのですが、 やはり説明のための構成を練らないといけないですね… なぜSchemeを採用したか、というのは皆さん興味を持たれるようです。
グニャラくんのグニャグニャ備忘録@はてな - Lucene 2.2の新機能を調べてみた。
関口宏司さんのLuceneブログによると、 Lucene 2.2がリリースされ、 ペイロードをつけることができるようになったようだ。 Lucene 2.2のリリース | 関口宏司のLuceneブログ 記事から名詞だけを取り出す | 関口宏司のLuceneブログ 人名がヒットしたときはスコアを上げる | 関口宏司のLuceneブログ ペイロードを使ってのスコア操作についても 実例を挙げて説明している。面白い。 Senの品詞情報や読み情報を利用した検索・スコアリングは 夢が広がりまくりんぐな感じ。 んで、Lucene 2.2でついたペイロード以外の機能も調べてみた。 Luceneの知識は適当なので、間違っていたら訂正・突っ込み求む。 point-in-time機能 インデックスを読み込むIndexReaderクラスと インデックスを用いて検索を行うIndexSearcherクラスにおいて、 イ
ClearSilverについて調べる - グニャラくんのグニャグニャ備忘録@はてな
Python + Djangoで掲示板システムを書いてみていたんだけど、 どうもスマートに書けない。 O/Rマッパが必要となるようなシステムでもないし、 入力フォームもそう多くない。 というわけで、 自前でテンプレートシステムを呼び出して、 データベースとのやりとりやロジックは自前で実装しちゃおうぜ、 という気分になりました。 ClearSilverっていうテンプレートエンジンが動作がはやそうなので調査。 PythonでもCでも使えるみたい。 随時更新。 目標 すばやく動的なHTMLを出力したい。 でも楽もしたい。 かんたんな仕組み HDFっていうデータ構造を作るよ テンプレートにそれ流し込むよ できあがり！ 導入事例 www.livedoor.comのトップページ (Cで書かれてるらしい) Trac (Python) でも次期バージョンではGenshiというテンプレートエンジンになるらし
MySQLのUDF(ユーザ定義関数)をDjangoから使う - グニャラくんのグニャグニャ備忘録@はてな
動機 SennaのMySQLバインディングには、 UDFというMySQLのユーザ定義関数を使ってスニペットを返す関数があります。 スニペットとは、検索対象文書の一部を抜粋したものです。 通常はKWICと呼ばれる、検索キーワードとその周辺の文書を抽出したものを出力します。 この関数を使うと、 MySQLのデータすべてをクライアントに転送する必要がないので効率がよい 面倒なマルチバイト対応やタグ付け処理等もやってくれる といった嬉しい点があります。 というわけで、この関数を是非Djangoから呼びたいと考えていたわけです。 前提条件 articlesというテーブルに、bodyというフィールドがある、モデル名はArticle この中を全文検索して、検索結果をsnippet関数を通じて取り出したい bodyのデータそのもの必要ない、サイズが大きいので、できればMySQLからロードしたくない キレイ
MySQL or PostgreSQL + Sennaのオススメ構成 - グニャラくんのグニャグニャ備忘録@はてな
Sennaの主な利用用途であると考えられる、 データベース組み込み用途。 ブラジル内部でもSennaを用いたサービスを運用していますが、 その運用ノウハウの一部をメモ。 Sennaはメモリ食い Sennaはインデックスをメモリにマップすることによって 高速な追加・更新・削除を実現しています。 よって、メモリ使用量が多くなっています。 INITIAL_N_SEGMENTSを減らすことによって、 メモリ使用量を下げることができますが、 特に追加・更新においてパフォーマンスが低下します。 また、Linuxの場合、 空きメモリはI/Oキャッシュに割り当てられます。 Sennaのメモリ使用量が多いため、 I/Oキャッシュとして用いられるメモリ容量が減り、 結果としてシステム全体のパフォーマンスが落ちる場合があります。 MySQLのkey_buffer_sizeは、 Sennaと他のインデックスを組み
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
